CN101438284A - 利用用户相关反馈更新视频概要的方法 - Google Patents

Abstract

一种更新内容项(100)的初始概要的方法，所述内容项包括多个段(101a…1011)，每个段具有相应的初始重要性分数。初始概要(110)包括已基于其相应的重要性分数而被选择的所述内容项(100)的多个段的一个子集。所述方法包括接受对所述初始概要(110)的选择段的用户反馈(301)；基于所接收的用户反馈(301)来确定多个内容特征(201)中的每一个对于重要性分数的影响程度，该影响程度基于对应于所述选择的段的内容特征(201)来影响给定段的重要性分数的导出；基于内容特征(201)的已调整的影响程度来导出属于所述内容项的多个段的至少一部分的已更新的重要性分数；以及通过基于其相应的已更新重要性分数来更新所述多个段的子集，从而更新所述概要。

Description

利用用户相关反馈更新视频概要的方法

本发明涉及一种更新包括多个段的内容项的初始概要的方法，所述多个段中的每个段都具有相应的初始重要性分数。所述初始概要包括已基于其相应的重要性分数而被选择的、所述内容项的多个段的一个子集。

近年来，配备有视频捕获功能的消费型设备的可用性和可提供性(affordability)得到了增长。这使得用户能够记录他们在其生活中所经历的许多事件。这进而又导致了由单个用户制作的大量视听资料。因为有趣的视听资料与不太吸引人的视听资料相混合，所以观看完整长度的记录可能是非常耗时且令人厌烦的。已经开发了各种用于创建任意的视听内容项的概要的技术。

专利申请WO 2005/119515A1(律师案卷号PHNL040728)公开了用于使得能够动态地影响多媒体流的概要的方法和电子设备，其中该方法包括下列步骤：将所述概要呈现给用户，从该用户获得与至少出现在所述多媒体流中的主题相关的用户输入，以及至少相对于所获取的用户输入来更新概要，使得所述概要能够被改变且被呈现给用户。所述主题被封装在含有诸如基础多媒体流的主题或者属性之类的内容描述符的元数据流中。为此，该元数据流与所述基础多媒体流相关联。

上述方法和电子设备的一个缺点是它们需要预先准备元数据且使其在多媒体流中存在，以便更新概要。需要为任意的多媒体内容来准备这个元数据。此外，所述元数据必须被获取，这意味着需要接收和处理一个附加的数据流。另外，提供操纵元数据的用户输入是相当冗长乏味和不方便的。

本发明的一个目的是提供一种更新内容项的初始概要的方法，它不需要对应于所述内容项的元数据来更新所述概要。

这个目的是根据本发明利用上述方法来达到的，所述方法的特征在于：接收对于初始概要的选择的段的用户反馈，基于所接收的用户反馈来确定多个内容特征中的每一个对于重要性分数的影响程度，该影响程度基于对应于所选择段的内容特征来影响一个给定段的重要性分数的导出，基于内容特征的已调整的影响程度来导出属于内容项的多个段的至少一部分的已更新的重要性分数，以及通过基于其相应的已更新的重要性分数来更新所述多个段的子集，而更新概要。

当制作概要时，段是基于它们的内容特征而被选择的。每个特征在该选择中具有某个影响程度。例如，亮度和声频电平可能是用于选择的一个重要因素，但是视频中的红色电平量就没有这么重要。根据本发明，基于用户反馈，选择的段的内容特征被评估，并且基于该评估来调整所选择段的特征的影响程度。例如，如果选择的段具有低亮度电平，并且用户表达了肯定的反馈，则可以降低亮度的重要性。随后，使用各种内容特征的已调整的影响程度来得到段的新的重要性分数。利用新的重要性分数来创建更适合于用户偏好的已更新概要。因为只有内容特征被考虑，所以不需要元数据来更新概要。

在一个实施例中，用户反馈包括关于用户喜欢还是不喜欢所述段的指示。这使得能够以简单和直观的方式与用户进行交互。

在另一个实施例中，将接收到对其的用户反馈的段选为当反馈正被接收时概要已在该处暂停的段。这允许提供用户反馈的聚焦的方式，因为对于一个所提供的反馈涉及哪个段不会出现不定性。

在另一个实施例中，在已更新的概要中，只有从被提供了有关其的反馈的段直到概要结尾的段被更新。这允许用户保留已经被认可的概要的已更新部分，并且只更新用户还没有看见的这部分概要。

在另一个实施例中，主张了一种方法，该方法使得用户能够通过邻近所选择段来添加或者消除至少一个段而缩减或者扩展概要。这使得用户能够扩展其反馈的内容。代替简单的喜欢/不喜欢，有更多的信息在用户反馈中传送。也即，用户如此喜欢特定的段，以至于应当扩展一个包括这个段的镜头(shot)。另一方面，用户如此不喜欢特定的段，以至于包括这个段的镜头应当被缩减。

在另一个实施例中，通过自动添加或者消除段来保持概要的大小。这提供了对于选择要被并入到已更新概要中的段的附加约束。基本上，这防止概要变得太长或者太短。

在另一个实施例中，概要被实现为段的播放列表。段的播放列表是实现概要的一种有效方式。对于概要的任何新的更新都需要在不对视听内容项进行任何处理的情况下更新段指示符的列表。

本发明还提供了用在根据本发明的方法中的一种设备。在从属权利要求中给出了方法和设备的有利的实施例。

参考附图中所示的实施例，来阐明本发明的这些和其它方面，并且使得这些和其它方面明显。

图1示意地示出了具有对应的初始概要的内容项；

图2举例说明了对应于一个段的初始重要性分数对于对应于所述段的多个内容特征的相关性；

图3示出了更新初始概要的所建议的方法的流程图；

图4示出了用户反馈对于已更新概要的影响；

图5示出了其中能够实现概要更新的设备的结构(set-up)的例子；

图6示出了部分更新概要的一个例子，其中只有从被提供了有关其的反馈的段直到概要结尾的段被更新；

图7说明了其中通过邻近所选择的段来消除或添加至少一个段而缩减或扩展已更新概要的例子；

图8说明了其中通过添加或者消除段来基本上保持概要的尺寸的例子；

图9说明了将概要实现为段的播放列表。

在全部附图中，相同的参考编号指示类似或者对应的特征。在附图中指示的某些特征通常用软件来实现，并且如此便表示软件实体，诸如软件模块或者对象。

图1示意地示出了具有对应的初始概要110的内容项100。内容项100包括范围从第一个段101a到结尾段1011的多个段。有大量众所周知的方法来确定段。可供选择的方法之一是手工确定段。另一个可供选择的方法是通过例如在1995年的Int.Conf.on Image Processing的Yeung，MM和Liu，B的“Efficient matching and clustering of videoshots(视频镜头的有效匹配和聚集)”的第338-341页中描述的方法来自动分段。上述分段方法只是例子，其它的方法也是可能的。

属于内容项的每个段都具有相应的由封闭在表示段的框中的数字所指示的重要性分数。这些重要性分数是段的重要性的主观分数或者客观分数。主观分数是手工引入的并且直接反映某人-例如内容项的导演或者创作者的判断的分数。可替代地，客观分数是在没有人干预的情况下，基于封闭在段中的内容来计算的。将参考图2来讨论本发明的这个方面。

初始概要110包括基于其相应的重要性分数被选择的内容项的多个段的子集。段103是所选择的段之一。段103的框的粗实线指示这个段已经被选择用于概要。段104的框的虚线指示这个段尚未被选择用于概要。

在图1所示的例子中，初始概要包括具有大于5的重要性分数的所有段。使用一个阈值，在这种情况下是值5，来选择概要段只是多种可供选择的方式之一。也可以使用其它标准来为概要选择段。例如，可以选择包括固定数量的段的子集，使得所选择的段具有最高重要性分数。还有另一个选项是选择具有最高重要性分数的段的子集，使得对应于所选的段的总尺寸最接近于概要的预定尺寸。许多其它的选择标准也是可能的。

内容项最好包括一个视听内容。内容项最好包括：音乐、视频、电影、剪辑、多媒体内容、图形等。

图2说明了对应于段101(101a，...，1011之一)的初始重要性分数对于对应于这个段的多个内容特征201的相关性。术语“内容特征”指内容本身的特征，而不是与这个内容相关联的描述或者其它元数据。内容特征的一些例子是：亮度电平、色调和饱和度电平、音量电平、音频类别(语音、音乐、噪音、人群等)、语音检测和语句边界检测、照相机运动(摇镜头、倾斜、变焦等)、运动模糊、聚焦模糊、镜头类型(长、短、特写等)、面部检测以及许多其它内容。另一方面，当术语内容特征在本文档中使用时，诸如标题、导演、演员、用于内容的关键字或者内容的段之类的项不是内容特征。可以为包括在段101中的内容测量这些内容特征中的每一个，并且可以为多个内容特征中的每一个给定一个值，该值与某个预定的最大值有关。

通常，段例如包括一系列帧。内容特征的值可以是例如对应于属于段的帧的内容特征的值的算术平均或者最小值。可替代地，可以对于特定的帧子集计算这样一个平均值。例如，对于在段内均匀隔开的预定数量的帧，或者对于基于其内容被认为是段的代表的帧。计算对应于段101的内容特征值的方法是众所周知的。

为了测量涉及内容的某些内容特征，可能需要对内容进行完全或者部分解码。经常出现在具有可携式摄像机功能的当代设备中的用于视听内容的格式是：MPEG2、MPEG4或者DV(数字视频)。不过，并不排除其它格式。

应当指出，与内容相关联的元数据不是内容特征，这是因为术语内容特征要被理解为视听内容的可测量特征属性而不是内容的描述。内容特征201是直接从内容中导出的，并且决不与元数据相关。

不过，不应当排除这样一种情况：所建议的更新概要的方法可以使用基于对应于内容项的元数据的附加的选择标准。但是，在这种情况下，元数据尽管依赖于内容，但还是由对应于包括视听内容的内容项的单独的元数据项来提供。

基于对应于段101的多个内容特征201，为段101得出初始重要性分数。它是完全基于内容特征的初始重要性分数，这是因为还没有来自用户的关于该用户是否喜欢所述段的反馈可用。

初始重要性分数是根据某个特定算法被计算的。例如，在2006年1月7-11日在美国拉斯维加斯的Proc.of the IEEE Internationalconference on Consumer Electronics，ICCE 2006，第301-302页中的Barbieri M.，Weda H.，Dimitrova N.的“Browsing Video RecordingsUsing Movie-in-a-Minute(使用一分钟内的电影来浏览视频记录)”中讨论了重要性分数的计算。

图3示出了所建议的更新初始概要的方法的流程图。在第一个步骤310中，创建或者检索初始概要。在第二个步骤320中，基于用户反馈301来确定多个内容特征中的每一个对于重要性分数的影响程度。在第三个步骤330中，对应于属于内容项的段的重要性分数被更新。在第四个步骤340中，通过基于其相应的已更新重要性分数来更新所述多个段的子集，从而创建已更新的概要。

每当用户提供他的关于所选择的段的反馈301时，基于该反馈的每个内容特征201的影响程度就被调整。该影响程度会影响重要性分数的导出。可以通过例如适配对应于多个内容特征的每一个的加权系数来进行所述影响的分级。然后，使用所适配的加权系数来更新属于内容项的段的重要性分数。

在一个实施例中，每个加权系数被指配给多个内容特征201中的每一个。随后，包括加权系数[w₁ w₂...w_n]的矢量与包括多个内容特征201的对应矢量的内积可充当重要性分数S_k：

$s_k=\left[\begin{array}{cccc}{w}_1& w_2& ...& w_n\end{array}\right]\left[\begin{array}{c}{c}_{k1}\\ c_{k2}\\ \·\·\·\\ c_{\mathrm{kn}}\end{array}\right]$

根据多个内容特征来计算重要性分数的其它方法也是可能的。例如，某些算法使用对应于类似的特征种类的内容特征相依性。例如，对应于视频的内容特征可以以与对应于音频的那些不同的方式来对重要性分数做贡献。

多个内容特征201只被计算一次并且在更新概要期间不会改变。加权系数捕获用户反馈并且在更新概要期间随同所接收的用户反馈一起在改变。

图4示出了用户反馈301对于已更新概要120的影响。在该图中，示出了内容项100和包括段的子集的初始概要110，所述段的子集是基于其依赖于多个内容特征201的初始重要性分数而被选择的。

在观看的同时，用户给出对于对应于内容项100中的第七个段101g的、概要110中的第四个段的反馈301。用户利用其反馈301来指出他喜欢自己正在观看的当前的段。基于这个反馈，确定了多个内容特征201中的每一个的影响程度，并且使用已调整的影响程度和多个内容特征的值的重要性分数被导出。一些重要性分数增加，一些降低，并且一些保持不变。例如，当前看见的段101g的重要性分数从值9增加到10。对应于内容项的段101k的重要性分数从值6增加到8。

假设所有具有超过阈值5的重要性分数的段被选择用于概要，已更新概要120显著不同于初始概要。只有在初始概要110中存在的两个段仍在已更新概要120中存在。

用户能够选择进一步使概要适合于他的个人偏好，因此，他能够选择执行另一个更新迭代。在该下一个迭代中，先前已更新的概要可充当初始概要。

在通过初始概要的每个更新迭代中，用户可以选择他是否希望在每个他的个人反馈之后都更新概要，或者收集他已经为整个概要提供的他的反馈，然后只更新重要性分数和概要。

图5示出了其中能够实现概要更新的设备的结构的例子。设备600被用于创建或检索初始概要110，并且基于用户反馈301来创建已更新的概要120。设备500被用于将概要呈现给用户。使用例如遥控设备700来提供来自用户的反馈301。关于喜欢或者不喜欢当前显示在设备500上的段的反馈是例如通过按压按钮来提供的。对于一个意味着喜欢的、关于段的肯定反馈，按压按钮701，而对于意味着不喜欢的否定反馈，按压按钮702。这种按钮的一个众所周知的例子是在TiVo^TM遥控装置上的赞同/反对(thumbs-up/down)按钮。

可以在呈现概要期间提供用户反馈301。在这种情况下，用户必须谨慎地及时提供反馈，以便该反馈在播放所发出的反馈所对应的段期间被接收到。用户还可以选择在该段内暂停概要的回放，以便提供反馈。在这种情况下，不可能有关于所接收的用户反馈属于哪个段的模糊性。

用户反馈还可以比只是一个简单的二进制的喜欢/不喜欢的反馈更复杂。例如，当所选择的段被暂停时，按压按钮701的次数或者按钮701被按压的时间段的持续时间可以用于测量用户喜欢所选择的段的程度。对于按钮702，也是这样。按压按钮的次数越多，或者按钮保持被按压的时间段越长，所选择的段就越不被喜欢。

也可能反馈301有另一个意思，例如它描述一个镜头的扩展或者缩减(这将参考附图7来讨论)，或者它明确地描述所选择的段的消除(这将参考附图8来讨论)。

对于所有这些附加的选项，用于提供这些特定类型反馈的指定按钮可以被指配到遥控设备700上。此外，为了添加一个附加的段，专用的图形用户接口被提供。该接口向用户显示未包括在概要中的段的概观。可以利用典型的图像或者关键帧的列表来表示段。

还可能为用户提供图形用户接口，以便接收更扩展的用户反馈，该反馈不仅提供反馈的分级，还允许为多个内容特征的每一个设置用户反馈。

图6示出了概要110的部分更新的一个例子，其中只有从提供了关于其的反馈301的段101g前进直到概要结尾1011的段被更新。合理的是，假设提供反馈301的用户对于他已经看到的概要110直到所选择的段101g是满意的。换句话说，他喜欢直到时间边界800的所述概要。在这种情况下，概要的更新可以只被施加到跟随在所选择的段101g之后的段。包含从所选择段到内容项结尾段的内容项子集中的段的重要性分数被更新以便并入用户反馈301。随后，为概要的已更新部分进行从这个段子集中的段的选择。

被应用于已更新重要性分数的、为概要的已更新部分选择段可能需要调整用于导出具有最高重要性分数的段的子集的阈值。可替代地，当为概要的已更新部分选择段时，可能考虑对应于概要的总时间的时间约束。

如果用户决定对概要执行另一个更新迭代，则从第一个段到其上已设置了时间边界的所选择段的内容项第一部分的重要性分数被更新，以便并入用户反馈的影响。

图7说明了其中通过邻近所选择段来消除或添加至少一个段而缩减或者扩展已更新概要120的例子。用户反馈301a指明用户将希望缩减所选择段所属于的镜头。这里，该镜头被理解为对应于照相机的连续镜头的段序列。

假设所述镜头包括三个连续的段，其中所选择段位于中间。邻近所选择段的段具有重要性分数7和9。为了满足用户缩减镜头的愿望，将具有较低重要性分数的段从概要中消除。

假设在所选择段左边的具有较低分数的段属于与所选择段所属于的镜头不同的镜头，则具有较低分数的段保留在概要中，而邻近所选择段右边的段被消除。

可替代地，可以选择镜头中具有最低重要性分数的另一个最低段。在这种情况下，所选择段被删除，具有较高重要性分数的相邻段保留在概要中。概要从随后段的起点开始。

用户反馈301b指明用户将希望扩展所选择段所属于的镜头。由于该镜头只能被扩展到所选择段的右边，因此在右边相邻并且属于同一个镜头的段被添加到概要中。所添加段的重要性分数低于用于概要选择的规定阈值这一事实是没关系的。

除了所选择段之外的段的消除和添加尽管并不直接地、但还是与为所选择段提供的用户反馈相关。因此，假设用户已经提供了不喜欢所删除段的明确反馈和喜欢所添加段的明确反馈，段的重要性分数被更新。

图8示出了其中通过添加或消除段来基本上保持概要110的尺寸的例子。用户可能选择给出对于概要的总持续时间的时间约束。在这种情况下，如图所示，当用户提供反馈301c以删除所选择段时，附加段被添加以便提供具有目标尺寸的概要。被添加的段是从未被选择用于初始概要的内容项段的子集中选择的具有最高分数的段。为了补偿被删除的段，内容项的段101h和1011被添加。

尺寸是下列类型之一：持续时间或者存储尺寸。此外，为用户提供设置总尺寸的手段。这是使用例如图5所示的遥控装置700来实现的。设备600上的软件应当被适配以便为用户提供例如在设备500上呈现的图形用户接口。

图9示出了概要110或120实现为段的播放列表。这是实现概要的非常有效的方式，这是因为它使得能够重新使用内容项100的段分割并且重新使用对应于段的多个内容特征201，而无需它们的重新计算。此外，它使得能够容易地回溯(back-tracking)施加在概要上的用户迭代并且撤消(undoing)涉及在某些段上的用户反馈的一些用户决策。此外，它将存储概要所需的存储量减小到对于内容项上下文中概要的连续段的指针900所需的存储量。不过，这是在被分段的内容项被存储在某个另外的地方并且容易得到的条件下。

应当指出，上述实施例是用来说明而不是限制本发明的，本领域技术人员将能够在不偏离所附权利要求书范围的情况下设计出许多替代实施例。例如，代替视听内容项，也可以使用音频项。

在所附的权利要求书中，置于括号中的任何附图标记都不应当被解释为限制权利要求。词语“包括”并不排除一个权利要求中所列出的那些元件或者步骤之外的元件或步骤的存在。元件前面的词语“一个”并不排除多个这种元件的存在。可以利用包括若干不同元件的硬件以及利用恰当编程的计算机来实现本发明。

在列举了若干装置的设备权利要求中，这些装置中的一些可以由同一项硬件来实现。某些措施被记录在互不相同的从属权利要求中的单纯事实并不表明这些措施的组合不能被用来获益。

Claims (15)

1.一种更新包括多个段(101a...1011)的内容项(100)的初始概要(110)的方法，所述多个段中的每一个具有相应的初始重要性分数，初始概要(110)包括内容项(100)的、已被基于其相应重要性分数而选择的多个段的子集，所述方法的特征在于：

-接收对初始概要(110)的所选择段的用户反馈(301)；

-基于所接收的用户反馈(301)来确定多个内容特征(201)中的每一个对于重要性分数的影响程度，该影响程度基于对应于所选择的段的内容特征(201)来影响对于一个给定的段的重要性分数的导出；

-基于内容特征(201)的已调整的影响程度来导出属于所述内容项多个段的至少一部分的已更新的重要性分数；以及

-通过基于其相应的已更新的重要性分数来更新所述多个段的子集，从而更新所述概要。

2.如权利要求1所述的方法，其中用户反馈(301)包括关于用户喜欢还是不喜欢一个段的指示。

3.如权利要求1所述的方法，其中接收到对其的用户反馈的段被选择作为当在接收反馈(301)时在该处暂停概要的段。

4.如权利要求1所述的方法，其中影响程度被实现为加权系数。

5.如权利要求1所述的方法，其中在已更新概要(120)中，只有从提供了有关其的反馈的段直到概要结尾的段被更新。

6.如权利要求1所述的方法，还使得用户能够通过邻近所选择的段来添加或者消除至少一个段来缩减或者扩展概要。

7.如权利要求1所述的方法，还使得用户能够将段添加到概要中，所述段是从不属于当前概要的段的子集中被选择的。

8.如权利要求1所述的方法，其中概要的尺寸被保持。

9.如权利要求7所述的方法，其中通过自动添加或消除段来保持概要的尺寸。

10.如权利要求1所述的方法，其中概要被实现为段的播放列表(900)。

11.一种设备，可操作来提供用于接收对初始概要(110)的所选择的段的用户反馈(301)的装置，基于接收的用户反馈(301)来调整每个内容特征(201)的影响程度的控制装置，基于所述用户反馈(301)来导出属于内容项(100)多个段的至少一部分的已更新重要性分数的装置，以及通过基于其相应的已更新重要性分数来更新所述多个段的子集从而更新所述概要的装置，所述设备能根据权利要求1所述的方法操作。

12.如权利要求11所述的设备，被配置来更新初始概要(110)，其中在已更新概要(120)中，只有从提供了有关其的反馈(301)的段到概要结尾的段被更新。

13.如权利要求11所述的设备，还可操作来使得能够通过邻近所选择的段来添加或者消除至少一个段而缩减或者扩展概要。

14.如权利要求11所述的设备，还包括提供概要尺寸的装置。

15.可在设备硬件上执行来实现如权利要求1所述的方法的软件。

Images