CN1679261A - 内容识别的方法、设备和软件 - Google Patents

Abstract

内容识别的方法包括创建签名以包含一个或多个子签名。通过求内容项的多个帧中的特征的平均值来创建子签名(24)。电子设备(62)能够从存储装置(66)中检索第一内容项的第一签名，并利用接收器(68)来接收第二内容项。所述设备具有控制单元(70)，其能够通过求第二内容项的多个帧中的一个或多个特征的平均值来创建一个或多个子签名，并利用所述一个或多个子签名来创建第二签名。所述控制单元(70)还能够通过对于相似特征确定子签名的相似性来确定两个签名之间的相似性。所述软件能够通过求内容项的帧序列中多个帧的特征的平均值来创建内容项的签名。

Description

内容识别的方法、设备和软件

本发明涉及一种内容识别的方法，它包括为包括第一帧序列的第一内容项创建第一签名的步骤。

本发明还涉及一种电子设备，它包括：用于与存储第一内容项的第一签名的存储装置进行接口连接的接口，所述第一内容项包括第一帧序列；能够接收包括第二内容项的信号的接收器，所述第二内容项包括第二帧序列；以及控制单元，它能够使用接口来从存储装置中检索第一签名，能够为第二内容项创建第二签名，并且能够确定第一签名与第二签名之间的相似性。

本发明还涉及这样的软件，当所述软件执行时它使可编程装置能起电子设备的作用。

所述方法的一个实施例可从EP 0 248 533中获知。已知的方法通过根据将要识别的片段的已知样本构造数字签名来执行广播片段的实时连续模式识别。通过数字地参数化片段、依照一组预先规定的规则遍及所述片段选择随机帧位置中的部分以形成签名、并且将所述签名与所述部分的帧位置相关联来构造签名。已知的方法声称能够实时地以一种有效而经济的方式来识别大量的商业广告节目，而无需诉诸昂贵的并行处理或最大功效的计算机。

作为已知方法的一种缺陷：如果限制随机帧位置的数目的话，则只能以一种经济的方式实时地执行它。令人遗憾的是，限制帧位置的数目也限制了模式识别的可靠性。

本发明的第一个目的是提供一种在开始段落中描述的那种方法，所述方法可以以经济的方式实时地被执行，同时实现相对较高的模式识别的可靠性。

本发明的第二个目的是提供一种在开始段落中描述的那种电子设备，所述电子设备能够以相对较高的可靠性执行实时模式识别。

本发明的第三个目的是提供在开始段落中描述的那种软件，所述软件可以以经济的方式实时地被执行，同时实现相对较高的模式识别的可靠性。

根据本发明，第一个目的是如下实现的：创建第一签名的步骤包括创建第一子签名以包括第一平均值的第一序列，第一平均值是由第一帧序列中的多个帧中的特征值得到的。特征可以是例如帧亮度、帧复杂度、MPEG2编码器所使用的平均绝对差(MAD)误差或MPEG音频编码器所使用的比例因子。帧可以是音频帧、图像帧或同步化后的音频和视频帧。

本发明的所述方法的实施例进一步包括为包括第二帧序列的第二内容项创建第二签名的步骤；在其中创建第二签名的步骤包括创建第二子签名以包括第二平均值的第二序列，第二平均值是由第二帧序列中的多个帧中的特征值得到的。所述实施例进一步包括确定第一与第二签名之间的相似性的步骤；并且所述确定第一与第二签名之间的相似性的步骤包括确定第一与第二子签名之间的相似性。

第一与第二签名之间的相似性可以用来识别其它流中的短音频/视频序列。对于数十个乃至数以百计的签名的实时比较，计算工作量必须要低。可以生成新内容的签名并且将其每N个帧地与签名的数据库相比。每一帧地比较签名将是计算量过大且甚至在时间上不必要地准确。签名对噪声及其它失真而言必须是稳健的，因为像个人录像机这样的设备可能具有从高质量数字视频数据到低质量模拟电缆或VHS信号范围的许多不同输入源。通过在多个帧上求平均值，减少了噪声及其它失真的影响。

在本发明的所述方法的实施例中，确定第一与第二签名之间的相似性的步骤包括计算第一与第二签名之间的相关系数并且将该系数与阈值进行比较。通过在多个帧上求平均值，得到了具有近乎正态分布的数据集。分布的正态程度取决于求平均值的帧的数量。可以例如利用皮尔逊相关通过使两个数据集与正态分布相关来获得相似性的良好测量。作为选择，可以从特征值序列的第二平均值减去特征值序列的第一平均值来得到不同的相似性测量。通过将相似性测量与阈值进行比较，能够得到正的或负的识别，它们能够作为进一步步骤的基础。

确定第一与第二签名之间的相似性的步骤可以包括：计算位于平均值的第一序列中的一个位置上的第一子序列与在平均值的第二序列中的对应位置附近中的多个第二子序列之间的相关系数。这减少了时移的问题，例如在存在这种问题的情况下内容项中的丢失帧可能会导致负的识别。当显示较旧的VHS源材料时可能丢失帧。有时候丢失了帧同步导致丢失帧。当不是每一帧地创建签名而是每多个帧地创建签名时，时移问题也可能会发生。

第一子序列与多个第二子序列之间的相关系数可以通过利用加权来计算，如果第二子序列接近对应位置则加权较大，而如果第二子序列远离对应位置则加权较小。由于相似内容项之间的时移将更可能同主要问题比起来是次要的，因而如果第二元素远离对应位置，则相关性更可能是不重要的。可以通过利用加权来实现更好的识别。

创建签名的步骤可以包括创建多个子签名，并且通过利用多个子签名来确定第一与第二签名之间的相似性。虽然每个签名的一个子签名在有些情况下可能是足够的，但是短视频序列的低级AV特征的组合行为更可能对于这个序列是唯一的。包括多个子签名的签名的唯一性取决于它表示的信息量。特征序列越长，所述签名可能就越唯一。同样，同时使用越不同类型的特征，那么因此可能就有越多的子签名，所述签名也就越唯一。由于签名的唯一性，因而可以利用单个预先定义的识别标准在各种情况下来唯一地识别大量签名。假如服务供应商提供了签名，那么原则上就有可能每个签名都设计了一个识别标准。这是因为服务供应商能够在大量内容的基础上预先测试签名的识别标准。然而，在由用户定义签名的情况下，单个预先定义的识别标准应该足以满足所有的签名。

创建子签名可以包括减少平均值的数目。这降低了所需的处理量。由于求了特征值的平均值，因而能够对子签名进行二次采样，而不会丢失重要的信息。数值之间的大差值比小差值更重要。由于平均特征值之间的差将小于特征值之间的差，因而平均特征值的数量可能小于特征值的数量。

如果第二内容项包括在第三内容项内并且第一和第二签名相似，那么进一步的步骤就可以包括跳过第三内容项中的第二内容项。例如，可以为商业广告节目块的介绍来产生签名。每当识别所述介绍时，可以跳过3分钟。作为选择，可以为示出当前无信号的黑色或蓝色屏幕产生签名。可以自动地跳过或者用户可以按下按钮来跳过一个给定量的内容。

进一步的步骤可以包括识别第三内容项的第一片段和第二片段之间的边界，而另一个步骤可以包括如果第二内容项包括第一片段并且第一和第二签名相似则跳过第三内容项中的第一片段。第一片段例如可以是商业广告节目。第二片段例如可以是另一个商业广告节目或电影的一部分。商业广告节目块的片段可以通过利用A/V领域中的更一般的鉴别器和分离器来识别。可以可靠地检测商业广告节目块内部的片段，并且甚至能够识别片段之间的边界。可以把所检测的片段的签名存储在数据库中。可以实时地将新输入的内容与数据库中现有片段的签名相关，并且如果所述相关性足够高的话，则将把所述内容标记为商业广告节目片段。由于商业广告节目块的片段具有重复的特性并且其在商业广告节目块内部的位置方面有变化的事实，因此存在良好的机会来获知未知商业广告节目的可靠签名。利用这种方法，能够显著地增加商业广告节目块检测器的精度。

进一步的步骤可以包括：如果第一和第二签名相似，则记录第二内容项。如果为喜剧系列片的介绍产生第一签名，则使用本发明的所述方法的个人录像机(PVR)一发现第一和第二签名相似就可以开始进行记录。也可以使用时移机制来以倒行方式记录。这当系列片的一般介绍不是在节目起始处时是有用的。第一签名、相对于第一内容项中的第一帧序列的位置的记录开始时间和结束时间和为第二签名扫描的一组频道，都能够由用户来给出或者从服务供应商那里下载。本发明的所述方法还可以用来在数据库中搜索第二签名、从数据库中检索附带的第二内容项、并存储第二内容项。

进一步的步骤可以包括：如果第一和第二签名相似，则生成警告。使用本发明的所述方法的PVR可以通过在画中画(PIP)窗口中利用图标和/或声音显示感兴趣内容来警告用户。所述用户能继而通过按下遥控器上的按钮或删除该警告来决定切换到已识别出的内容。当用户切换到已识别出的内容时，他或她能够开始观看已识别出的内容的实况转播或者利用时移机制以倒行方式从内容的开始处的播放。

根据本发明，所述第二目的是这样实现的：所述控制单元能够根据第一签名来创建第一子签名，所述第一子签名包括第一帧序列中的多个帧中的特征的第一平均值序列；通过求第二帧序列中的多个帧中的特征值的平均值来为第二签名创建第二子签名；确定第一与第二子签名之间的相似性；以及依据第一与第二子签名之间的相似性来确定第一与第二签名之间的相似性。本发明的所述设备可以是个人录像机(PVR)、数字TV或卫星接收器。所述控制单元可以是微处理器。所述接口可以是存储器总线、IDE接口或IEEE 1394接口。所述接口可以具有内部的或外部的连接器。所述存储装置可以是内部硬盘或外部设备。所述外部设备可以位于服务供应商的地点上。

在本发明的所述设备的一个实施例中，所述控制单元能够通过计算第一与第二签名之间的相关系数并将所述系数与阈值进行比较来确定第一与第二签名之间的相似性。

如果第二内容项包括在第三内容项内并且第一和第二签名相似，那么所述控制单元将能促使另外的存储装置存储不带有第二内容项的第三内容项。

如果第一和第二签名相似，则所述控制单元将能促使另外的存储装置存储第二内容项。

如果第一和第二签名相似，则所述控制单元将能生成警告。

根据本发明，所述第三个目的是这样实现的：所述软件包括用于为包括帧序列的内容项创建签名的功能，所述功能包括创建子签名以包括平均值序列，平均值是由帧序列中的多个帧中的特征值来得到的。

本发明的所述软件的实施例进一步包括用于通过计算两个签名之间的相关系数并将所述系数与阈值进行比较来确定两个签名之间的相似性的功能。

可以把所述软件存储在记录载体上，比如磁性信息载体，例如软盘，或光学信息载体，例如CD。

将进一步阐明并参照附图描述本发明的所述方法和设备的这些及其它方面，在图中：

图1是所述方法的优选实施例的流程图；

图2是详述图1的第一和第二步骤的流程图；

图3是详述图1的第三步骤的流程图；

图4是所述电子设备的一个实施例的框图；

图5是图2的两个步骤的示意图；

图6是图5的两个步骤的变形的示意图；

附图内相应的元件用相同的附图标记来表示。

图1的方法包括步骤2：为包括第一帧序列的第一内容项创建第一签名。步骤2包括：创建第一子签名以包括第一平均值的第一序列，第一平均值是由第一帧序列中的多个帧中的特征值来得到的。

图1的方法还可以包括步骤4：为包括第二帧序列的第二内容项创建第二签名，以及步骤6：确定第一和第二签名之间的相似性。步骤4包括创建第二子签名以包括第二平均值的第二序列，第二平均值是由第二帧序列中的多个帧中的特征值来得到的。步骤6包括确定第一和第二子签名之间的相似性。

步骤2和4可以包括：创建多个子签名，以及可以通过利用多个子签名来确定第一和第二签名之间的相似性。

如果第二内容项包括在第三内容项内并且第一和第二签名相似，则可选的步骤8允许跳过第三内容项中的第二内容项。进一步的步骤可以包括识别第三内容项的第一片段和第二片段之间的边界。如果第二内容项包括第一片段并且第一和第二签名相似，则可选的步骤10允许跳过第三内容项中的第一片段。如果第一和第二签名相似，则可选的步骤12允许记录第二内容项。如果第一和第二签名相似，则可选的步骤14允许生成警告。

图1中所示的步骤2和4两者都可以再分成三步，参见图2。还参见图5，步骤22：根据帧序列的多个帧中的特征I_j来创建特征值的序列featureSeq(j，k)。k是帧序列的唯一标识符。Content(k)是包括帧序列的内容项。Time(k)是表示为content(k)中的帧号的帧序列的最后一帧的时间实例。Feature(C，p，j)是在内容项C中的时间实例p上的特征I_j的值。特征值序列将具有长度L。

featureSeq(j，k)

＝[feature(content(k)，time(k)-L+1，j)...feature(content(k)，time(k)，j)]

也参见图5，步骤24：利用特征值序列来创建第一子签名。特征值序列是利用下列函数以F帧的过滤窗口长度被采用窗平均方式过滤：

$\mathrm{filter}(j,k,p)=\frac{1}{F}\underset{m=1}{\overset{F}{\mathrm{\Σ}}}\mathrm{featureSeq}{(j,k)}_{p+m-1}$

通过使用过滤函数，减少了噪声和失真的问题。由于信号条件或编码条件的变化，所以能够以多种方式使特征序列失真。失真可能导致视频序列的丢失或错误识别。

步骤24：通过利用二次采样来减少平均值的数目。因为特征值序列是被采用窗平均方式过滤，所以它能够被二次采样而不丢失重要的信息。每F/2周期的二次采样具有下列优点：签名中数据点的总数减少因子F/2，由此使同时比较更多的签名成为可能。r是二次采样率，在假定偶数F的情况下，缺省值是F/2。K是二次采样的过滤序列中的样本数目。如果L-F+1不是r的整数倍，则K是下舍入的自然数。

sub-signature(j，k)是在用于特征I_j的time(k)上、在过滤窗口的content(k)中被二次采样和过滤的特征值序列：

sub-signature(j，k)＝[filter(j，k，r)filter(j，k，2r)...filter(j，k，Kr)]

可以重复若干次步骤22和24以为多个特征创建多个子签名。步骤26利用在步骤24中创建的子签名来创建第一签名。一个签名包括M个子签名：

signature(k)＝[sub-signature^T(1，k)...sub-signature^T(M，k)]

在一般情况下，在在线操作期间能够非常有效地生成已提出的签名。每第N个帧就产生已接收的或存储的内容的新的signature(k_new)。第一次必须产生完整的signature(k_old)。然而，在那之后，能够通过利用N个新帧来容易地创建新的signature(k_new)。如果N是二次采样率r的倍数，则sub-signature(j，k_new，k_old)等于sub-signature(j，k_new)。Content(k_new)包括content(k_old)，而time(k_new)＝time(k_old)+N。

在图6中所示的步骤82中，FeatureSeq(j，k_new，k_old)根据已更新的帧序列中的多个帧中的特征I_j来创建已更新的特征值序列：

newFeatureSeq(j，k)

＝[feature(content(k)，time(k)-N+1，j)...feature(content(k)，time(k)，j)]

featureSeq(j，k_new，k_old)

＝[featureSeq(j，k_old)_N+1...featureSeq(j，k_old)_LnewFeatureSeq(j，k_new)]

Filter(j，k_new，k_old，p)是对应已更新帧序列中的多个帧中的特征I_j的已更新的过滤函数：

预先计算出Filter(j，k_old，p)。如果N是二次采样率r的精确倍数，那么Z＝N/r，并且参见步骤84，sub-signature(j，k_new，k_old)是已更新的二次采样过滤序列。预先计算出Sub-signature(j，k_old)。

 sub-signature(j，k_new，k_old)＝

[sub-signature(j，k_old)_z+1...sub-signature(j，k_old)_k fllter(j，k_new，k_old，(K-Z+1)r)...fllter(j，k_new，k_old，Kr)]

在优选的实施例中，确定第一和第二签名之间的相似性的图1中所示的步骤6可以再分成六步，参见图3。在优选的实施例中，不是从总体上比较子签名而是比较称为上下文窗口的小滑动窗口序列。利用上下文窗口解决了在两个相似的乃至相等的子签名之间的时移问题。这些移位可能因仅仅每N个帧地比较签名而发生。利用上下文窗口还解决了序列中由于丢失或插入帧而局部移位的问题。虽然比较子签名的傅里叶功率谱也可以解决这个问题，但是因为功率谱对于移位是不变的，所以在子签名的边界上的差就可能会导致功率谱中的差。此外，这种解决方案的计算工作量可能高得多。

步骤42：为在图1中所示的步骤4和6中创建的第一和第二签名创建上下文窗口。为两个签名中的每个子签名中的每个值创建上下文窗口，并且所述上下文窗口包括来自子签名中的一个位置周围的子签名的多个值。对应sub-signature(j，k₁)的上下文窗口的矩阵如下：

步骤44：计算第一子签名中的每个上下文窗口与第二子签名中的每个上下文窗口之间的相关性。所述计算包括创建规一化的上下文窗口并且计算contextCorr(j，k₁，k₂，p₁，p₂)：

${\mathrm{ncw}}^T(j,k_1,p)=\left\{\begin{array}{cc}\frac{{\mathrm{cw}}^T{(j,k_1)}_p)-\mathrm{mean}\left({\mathrm{cw}}^T{(j,k_1)}_p\right)}{\mathrm{std}\left({\mathrm{cw}}^T{(j,k_1)}_p\right)},& \mathrm{std}\left({\mathrm{cw}}^T{(j,k_1)}_p\right)\≠0\\ {\left[\mathrm{Not\; A\; Number}\left(\mathrm{NaN}\right)\right]}^{1\×W},& \mathrm{std}\left({\mathrm{cw}}^T{(j,k_1)}_p\right)=0\end{array}\right.$

$\mathrm{NCW}(j,k_1)=\left[\begin{array}{c}{\mathrm{ncw}}^T(j,k_1,p)\\ \·\\ \·\\ \·\\ {\mathrm{ncw}}^T(j,k_1,K-W+1)\end{array}\right]$

所提出的相似性测量是基于相关性的。相关性可以总是被一贯地定标在-1和1之间，而与签名的平均值和方差无关。因此，相关性对于失真而言也是比例如均方差更稳健的。如果其中一个窗口序列是常数，则上下文相关性就是不定的。虽然如果其中一个上下文窗口标准偏差为零则能够定义另一种测量，但是这将导致整体的签名相似性测量的不一致性。由此，实际上仅仅比较不恒定的部分，这具有比较不太严格的缺点。增加上下文窗口宽度能够增加不恒定部分的数目；然而，这增加了计算的负荷。为对相同的特征而创建的每个第一子签名和每个第二子签名重复步骤44。

步骤46：计算位于第一子签名中的位置p上的上下文窗口与第二子签名中的多个上下文窗口之间的相关系数contextSim(j，k₁，k₂，p)。最后的位于sub-signature(j，k₁)中的位置p上的上下文窗口与位于sub-signature(j，k₂)中的对应位置p上的上下文窗口的相似性被定义为与位于sub-signature(j，k₂)的邻近位置p-L_n到p+L_n上的上下文窗口的最佳上下文相关性。L_n是邻近半径。Q(j，k₁，k₂，p)是来自sub-signature(j，k₂)的一组位置，所述位置位于来自sub-signature(j，k₁)的位置p的附近：

Q(j，k₁，k₂，p)＝{q：max{p-L_n，1}，...，min{p+L_n，K-W+1}}|contextCorr(j，k₁，k₂，p，q)≠NaN}

为对相同的特征而创建的每个第一子签名和每个第二子签名重复步骤46。

步骤48：计算第一sub-signature(j，k₁)和第二sub-signature(j，k₂)之间的相关系数subSigSim(j，k₁，k₂)：

P(j，k₁，k₂)＝{p：{1，..，K-W+1}|contextSim(j，k₁，k₂，p)≠NaN}

如上所示，完整的子签名相似性是通过定义的平均上下文相似性来定义的。如果所有上下文窗口都是常数，则不定义子签名相似性。最后，完整的签名相似性被定义为定义的子签名相似性的平均值。为对相同的特征而创建的每个第一子签名和每个第二子签名重复步骤48。

步骤50：计算第一和第二签名之间的相关系数signatureSim(k₁，k₂)。

J(j，k₁，k₂)＝{j：{1，..，M}|subSigSim(j，k₁，k₂)≠NaN}

定标签名相似性以便使它的范围从零到一，不过这不是必须的。注意：在极端的情况下，如果签名的一个或两者全部都是常数，则签名相似性可能是不定的。

步骤52：将所述系数与阈值进行比较。当所述系数高于该阈值时，就可以认为第一和第二签名并且由此的诸如音频/视频序列之类的第一和第二内容项是等同的。当签名过于简单时，即不够特殊时，则不存在好的阈值。存在能够被改变以提高签名特殊性的多个签名生成参数。能够通过在多个时间实例上、例如在time(k)、time(k)+G、time(k)+2G等上为音频/视频序列生成多个签名来进一步改善识别质量。为了识别所述序列，应该正地识别大部分生成的签名。这改善了识别机制的稳健性和质量。

可以在步骤46中使用加权以计算位于第一子签名中的位置p以及第二签名的第二子签名中的多个上下文窗口上的相关系数contextSim(j，k₁，k₂，p)，如果第二子签名中的上下文窗口靠近对应位置p则加权较大，而如果第二元素远离对应位置p则加权较小。重新定义ContextSim(j，k₁，k₂，p)以将加权w(p，q)包括在内：

Q(j，k₁，k₂，p)＝{q：{1，..，K-W+1}|contextCorr(j，k₁，k₂，p，q)≠NaN}

如果在对应位置p附近的第二子签名中的所有上下文窗口都具有相等的加权，则加权函数w(p，q)是块函数。利用这个加权函数，保留如先前所定义的原始公式：

如果以距对应位置p越远的上下文窗口越不重要的方式来使用加权，则所述加权函数w(p，q)是三角形函数：

2L_w是三角形底边长度。

在在线操作期间能够有效地估计相似性。每N个帧地产生已接收的或存储的内容的新签名并且将其与多个参考签名相比较。对于每个参考sub-signature(j，k₁)，维持上下文相关性矩阵CC(j，k₁，k₂)，包括sub-signature(j，k₁)的每个上下文窗口与sub-signature(j，k₂)中的所有上下文窗口之间的上下文相关性。

通过利用邻近加权矩阵W来计算上下文相似性矩阵：

所述上下文相似性矩阵：

CS(j，k₁，k₂)＝[contextSim(j，k₁，k₂，1)...contextSim(j，k₁，k₂，K-W+1)]

＝max(W.*CC(j，k₁，k₂))

矩阵max(A)运算找到A的每列的最大值。根据最大值运算来丢弃A的所有NaN元素。如果一列的所有元素都是NaN，则那一列的最大值就为NaN。‘.*’运算符是元素型矩阵乘法运算符。通过使用上下文相似性矩阵能够计算SubSigSim(j，k₁，k₂)和signatureSim(k₁，k₂)。

因为其中time(k_2new)减time(k_2old)等于N的已更新的signature(k_2new)仅仅包含子签名末尾处的Z(＝N/r)个新值，所以仅仅计算Z个新的规一化的上下文窗口。对于sub-signature(j，k_2new)中的Z个新上下文窗口，计算与sub-signature(j，k₁)的(K-W+1)个上下文窗口之间的上下文相关性。使用这些相关值来更新上下文相关性矩阵CC(j，k₁，k₂)：＝CC(j，k₁，k_2new)。sub-signature(j，k)中的Z个新的规一化的上下文窗口：

$\mathrm{newNCW}(j,k_2)=\left[\begin{array}{c}{\mathrm{ncw}}^T(j,k_2,K-W+1-(Z-1))\\ \·\\ \·\\ \·\\ {\mathrm{ncw}}^T(j,k_2,K-W+1)\end{array}\right]$

新的上下文相关矩阵：

$\mathrm{newCC}(j,k_1,k_2)=\frac{\mathrm{NCW}(j,k_1)\mathrm{new}{\mathrm{NCW}}^T(j,k_2)}{W-1}$

$\mathrm{CC}(j,k_1,k_{2_{\mathrm{new}},}{k}_{2_{\mathrm{old}}})$

$=[\mathrm{cc}{(j,k_1,k_{2_{\mathrm{old}}})}_{Z+1}\·\·\·\mathrm{cc}{(j,k_1,k_{2_{\mathrm{old}}})}_{K-W+1-Z}|\mathrm{newCC}(j,k_1,k_{2_{\mathrm{new}}})]$

假定任何与NaN的线性运算都会产生一个NaN。由此，如果规一化的上下文窗口中的一个或两者都是常数，则所得到的上下文相关性就是NaN。通过使用已更新的上下文相关矩阵，能够计算所有新的相似性。

图4的电子设备62包括用于与存储第一内容项的第一签名的存储装置66进行接口连接的接口64，所述第一内容项包括第一帧序列。所述设备62还包括能够接收包括第二内容项的信号的接收器68，所述第二内容项包括第二帧序列。所述设备62还包括控制单元70，它能够使用接口64来从存储装置66中检索第一签名，能够为第二内容项创建第二签名，并且能够确定第一签名和第二签名之间的相似性。所述控制单元70能够根据第一签名来创建第一子签名，所述第一子签名包括第一帧序列中的多个帧中的特征值的第一平均值序列。可以从第一签名中提取第一子签名，或者如果第一签名包括原始数据，例如特征值序列，则可以用和第二子签名一样的方法来计算第一子签名。还可能需要以其它方式来处理第一签名以创建第一子签名。所述控制单元70能够通过求第二帧序列中的多个帧中的特征值的平均值来为第二签名创建第二子签名。所述控制单元70能够确定第一和第二子签名之间的相似性。所述控制单元70能够依据第一和第二子签名之间的相似性来确定第一和第二签名之间的相似性。所述存储装置66可以包含在设备62中或者可以是一个外部设备。所述存储装置66例如可以包括硬盘或光存储介质。所述接收器68可以利用电缆76来接收信号。所述接收器68例如可以从电缆操作器中接收信号或从卫星碟中接收信号。

所述控制单元70将能通过计算第一和第二签名之间的相关系数并将所述系数与阈值进行比较来确定第一和第二签名之间的相似性。如果第二内容项包括在第三内容项内并且第一和第二签名相似，则所述控制单元70将能促使另外的存储装置72存储不带有第二内容项的第三内容项。如果第一和第二签名相似，则所述控制单元70将能促使另外的存储装置72存储第二内容项。所述另外的存储装置72可以包含在设备62中或者可以是一个外部设备。所述另外的存储装置72例如可以包括硬盘或光存储介质。所述另外的存储装置72和存储装置66可以是相同硬件的物理上或逻辑上不同的部分。所述控制单元70将能使用另外的接口78来从另外的存储装置72中检索数据。所述接口64和另外的接口78可以是相同硬件的物理上或逻辑上不同的部分。

如果第一和第二签名相似，则所述控制单元70将能生成警告。所述警告可以通过利用显示器74来显示。所述警告还可以是听得见的。如果设备62是数字TV，则所述显示器74可以包含在所述设备62中。如果设备62是个人录像机，则所述显示器74可以是一个外部设备。所述显示器74例如可以是CRT、LCD或等离子体显示器。所述用户可以负责启动第一签名的创建。他或她能够在显示节目的一般介绍的的时刻按下PVR的遥控器上的“生成签名”按钮。在按下按钮之后，当第一签名和第二签名相似时，所述PVR能够询问用户做什么。如果该用户想要记录节目，则他或她也许能指定相对的记录开始时间和结束时间，而且还指定一组要扫描的频道。例如，ABC、CBS和NBC上的-3min.00sec到+30min.00sec。如果用户想要得到警告，则他或她也许能指定一组要扫描的频道。所述用户还也许能指示将相似签名存储在数据库中的发生，所述数据库使用户能在重放期间跳至内容或跳过内容。

所述PVR还也许能在许多存储的内容中搜索类似于第一签名的第二签名，并且如果找到第二签名则重放第二内容项。这样，用户能够从相同系列片的一个已存情节的起始跳到另一个已存情节的起始。跳转的另一种方式是具有预先规定的签名。用户也许能从签名列表中选择特定的第一签名。利用按钮按下，所述用户能够跳至介绍的下一个实例。代替利用列表，用户能够在遥控器上对一小组签名进行编程。如果用户总是喜欢观看特定的新闻节目或特定的TV喜剧片，那么他或她能够对遥控器上的一般按钮进行编程以利用预先规定的签名来链接到这些节目。如果用户正在重放已存的内容并且按下链接到特定的新闻节目的一般按钮，则所述PVR就跳至特定的新闻节目的下一个已识别出的介绍。如果再次按下按钮，则所述PVR将再次跳到下一个已识别出的介绍。当第二内容项正存储在已存内容的集合中时，可以比较第一和第二签名。

虽然已经结合优选实施例描述了本发明，但是将要理解的是，其在上面概述的原理范围内的修改将对本领域的技术人员而言是明显的，且由此本发明不限于优选实施例，而是用来涵盖这类修改。本发明在于每一个新颖性的特征和每一个特征组合。权利要求中的参考数字不限制它们的保护范围。动词“包括”及其变化形式的使用不排除除了权利要求中陈述的那些之外的元件的存在。元件前的冠词“一”或“一个”的使用不排除多个这类元件的存在。

如对本领域的技术人员显而易见的“装置”意味着包括在操作中执行的或用来执行指定功能的、单独使用或与其它功能同时使用的、单独工作或与其它元件合作的任何硬件(比如独立的或集成的电路或电子元件)或软件(比如程序或部分程序)。可以借助于包括几种不同元件的硬件以及借助于适当编程的计算机来实现本发明。在枚举几个装置的设备权利要求中，这些装置中的几个都能用一个完全相同的硬件项来体现。“软件”将被理解成意指任何存储在诸如软盘之类的计算机可读介质上的、可经由诸如因特网之类的网络下载的或可以任何其它方式销售的软件产品。

Claims (19)

1.一种内容识别的方法，包括以下步骤：

为包括第一帧序列的第一内容项创建第一签名(2)，其特征在于

所述创建第一签名的步骤(2)包括：创建第一子签名(24)以包括第一平均值的第一序列，第一平均值是由第一帧序列中的多个帧中的特征值得到的。

2.如权利要求1所述的方法，其特征在于进一步包括以下步骤：

为包括第二帧序列的第二内容项创建第二签名(4)；

在其中创建第二签名的步骤(4)包括：创建第二子签名(24、84)以包括第二平均值的第二序列，第二平均值是由第二帧序列中的多个帧中的特征值得到的；

所述方法进一步包括以下步骤：确定第一和第二签名之间的相似性(6)；以及

所述确定第一和第二签名之间的相似性的步骤(6)包括：确定第一和第二子签名之间的相似性(48)。

3.如权利要求2所述的方法，其特征在于所述确定第一和第二签名之间的相似性的步骤(6)包括：计算第一和第二签名之间的相关系数(50)并且将所述系数与阈值进行比较(52)。

4.如权利要求2所述的方法，其特征在于所述确定第一和第二签名之间的相似性的步骤(6)包括：计算位于第一平均值序列中的位置上的第一子序列与位于第二平均值序列中的对应位置上的附近多个第二子序列之间的相关系数(46)。

5.如权利要求4所述的方法，其特征在于通过利用加权来计算第一子序列与多个第二子序列之间的相关系数(46)，如果第二子序列靠近对应位置则加权较大，而如果第二子序列远离对应位置则加权较小。

6.如权利要求2所述的方法，其特征在于创建签名的步骤(2、4)包括：创建多个子签名，并且通过利用多个子签名来确定第一和第二签名之间的相似性(6)。

7.如权利要求2所述的方法，其特征在于创建子签名(24)的步骤包括：减少平均值的数目。

8.如权利要求2所述的方法，其特征在于如果第二内容项包括在第三内容项内并且第一和第二签名相似，则进一步的步骤包括：跳过第三内容项中的第二内容项(8)。

9.如权利要求2所述的方法，其特征在于进一步的步骤包括：识别第三内容项的第一片段和第二片段之间的边界，以及另一个步骤包括：如果第二内容项包括第一片段并且第一和第二签名相似，则跳过第三内容项中的第一片段(10)。

10.如权利要求2所述的方法，其特征在于进一步的步骤包括：如果第一和第二签名相似，则记录第二内容项(12)。

11.如权利要求2所述的方法，其特征在于进一步的步骤包括：如果第一和第二签名相似，则生成警告(14)。

12.一种电子设备(62)，包括：

用于与存储第一内容项的第一签名的存储装置(66)进行接口连接的接口(64)，所述第一内容项包括第一帧序列；

能够接收包括第二内容项的信号的接收器(68)，所述第二内容项包括第二帧序列；以及

控制单元(70)，它能够使用接口(64)来从存储装置(66)中检索第一签名，能够为第二内容项创建第二签名，并且能够确定第一签名和第二签名之间的相似性，其特征在于所述控制单元(70)能够：

根据第一签名来创建第一子签名，所述第一子签名包括第一帧序列中的多个帧中的特征值的第一平均值序列；

通过求第二帧序列中的多个帧中的特征值的平均值来为第二签名创建第二子签名；

确定第一和第二子签名之间的相似性；以及

依据第一和第二子签名之间的相似性来确定第一和第二签名之间的相似性。

13.如权利要求12所述的设备，其特征在于所述控制单元(70)能够通过计算第一和第二签名之间的相关系数并将所述系数与阈值进行比较来确定第一和第二签名之间的相似性。

14.如权利要求12所述的设备，其特征在于如果第二内容项包括在第三内容项内并且第一和第二签名相似，则所述控制单元(70)能够促使另外的存储装置(72)存储不带有第二内容项的第三内容项。

15.如权利要求12所述的设备，其特征在于如果第一和第二签名相似，则所述控制单元(70)能够促使另外的存储装置(72)存储第二内容项。

16.如权利要求12所述的设备，其特征在于如果第一和第二签名相似，则所述控制单元(70)能够生成警告。

17.当其执行时使可编程设备能起电子设备的作用的软件，包括：为包括帧序列的内容项创建签名的功能，所述功能包括：创建子签名以包括平均值序列，平均值是由帧序列中的多个帧中的特征值得到的。

18.如权利要求17所述的软件，其特征在于它进一步包括以下功能：通过计算两个签名之间的相关系数并将所述系数与阈值进行比较来确定两个签名之间的相似性。

19.如权利要求17所述的软件，其特征在于它被存储在记录载体上。

Images