CN102473178A - 用于实现对媒体对象的组织的方法和计算机程序产品 - Google Patents

Abstract

公开了一种用于实现对多个媒体对象的组织的方法。所述方法包括：向用户播放数字媒体对象，捕获用户与所播放的数字媒体对象的交互，以及基于所述交互来对所播放的数字媒体对象加标签。一种用于执行所述方法的系统（100）包括数字数据处理设备（110），其向用户播放数字媒体对象。数字数据处理设备（110）包括用于捕获用户（140）与为该用户播放的数字媒体对象的交互的装置（120）。所述数字媒体对象被存储在数字媒体对象数据库（135）中，以及加标签的数字媒体对象被存储在另一个数字媒体对象数据库（130）中。用户识别数据库（150）包括用于标识用户的用户记录（152）。

Description

用于实现对媒体对象的组织的方法和计算机程序产品

背景技术

现今，大多数媒体内容（比如照片、视频、音乐文件等等）以数字形式被捕获并且被存储在数字数据存储设备（例如计算机）上。因此，这样的数字数据存储设备可能包含大量数字媒体对象，例如包括这样的媒体的数字文件。由于存储在这样的数据存储设备上的数字媒体对象的数量大，因此需要对这样的对象加标签以便允许将对象组织在数字数据存储设备上的数据结构（例如数据库）中。

这样的标签通常包括某种形式的元数据，比如时间标记或日期标记、数字媒体对象被生成的位置的GPS坐标、媒体对象中的人的身份（其可能是利用面部识别技术从媒体对象中提取出来的）、等等。

然而，这样的元数据通常是与媒体对象一起生成的，并且因此无法跟踪随着时间对于媒体对象的使用。因此，这样的媒体对象的用户（例如观看者或倾听者）必须依赖于根据所述使用对媒体对象进行人工组织，这是麻烦且易出错的任务。

附图说明

参照附图通过非限制性实例来更加详细地描述本发明的实施例，其中：

图1示意性地描绘了根据本发明一个实施例的系统；

图2描绘了根据本发明几个实施例的各种方法的流程图；

图3描绘了根据本发明另一个实施例的方法的流程图；

图4示意性地描绘了根据本发明一个实施例的软件程序产品的方面；以及

图5示意性地描绘了根据本发明另一个实施例的软件程序产品的方面。

具体实施方式

应当理解，附图仅仅是示意性的并且不是按比例绘制的。还应当理解，相同的附图标记在各图中被用来指示相同的或类似的部分。

图1示出根据本发明一个实施例的系统100。系统100包括数字数据处理设备110，例如个人计算机、多功能机顶盒、数字照相机、多媒体播放器等等。一般来说，数字数据处理设备110可以是能够向用户播放数字媒体对象的任何设备。在本申请的上下文中应当理解，“播放”包括向用户再现媒体对象的任何形式，比如显示视频内容或静止数字照片，以及重放诸如MP3音乐文件之类的数字音频文件。

数字数据处理设备110包括用于捕获用户140与在数字数据处理设备110上向该用户播放的数字媒体对象的交互的装置120。在本申请的上下文中，用户交互数据意图包括捕获正被播放的媒体对象与观看或倾听媒体对象的用户之间的某种形式的交互的任何数据。这例如可以是由用户通过以下方式表现出的对于媒体对象的评价（appreciation）的登记：用户手势，（有节奏的）用户运动，用户面部表情，用户对媒体对象的播放时间的持续时间，用户对媒体对象的可听反应（例如说出的单词），媒体对象已被播放的次数等等。

此外，用户交互数据可以包括关于同时播放媒体对象的用户的数目、用户的年龄和性别等等的信息。捕获访问媒体对象的用户的历史的数据类型的其他实例对于本领域技术人员而言将是显然的。可以将不同类型的用户交互数据组合成单个用户标识数据标签或者可以将其存储在分开的用户交互数据标签中，比如用户的身份、用户访问媒体对象的日期和时间以及所捕获的用户对于媒体对象的评价。

在一个实施例中，标签是可以出于搜索目的而访问的元数据的一部分。没有必要将附属于媒体对象的所有附加信息都以标签形式（即是可搜索的）添加到媒体对象。一些信息可以只作为数据（例如未转录的话音）而被添加，其可以按照任何合适的方式被检索。

在一个实施例中，用户交互数据包括用户140的身份，比如用户名。可以按照任何合适的方式来实现对于用户的标识。在一个实施例中，装置120包括用于捕获用户标识信息（比如用户140的生物测量数据）的装置。这可以是诸如指纹数据或其他合适数据之类的任何合适的生物测量数据，在这种情况下，装置120例如可以包括指纹扫描器或者另一合适的生物测量传感器设备。

在一个优选实施例中，用户标识信息包括面部识别数据，在这种情况下，装置120可以包括用于捕获静止画面或流式视频数据的数字照相机。在一个实施例中，所述数字照相机可以被布置成捕获用户区域的数字图像的序列，其中只有当用户出现在所捕获的所有图像当中的至少已定义的百分比时才添加用户交互数据以作为标签。这避免了对于没有与媒体进行交互而是出于不同原因临时出现在用户区域内的人把用户交互数据添加到数字媒体对象。

数字数据处理设备110可以被配置成响应于来自用户140的请求而打开来自数字媒体对象数据库135的诸如数字照片、数字视频、数字音乐文件等等之类的数字媒体对象。在一个实施例中，数字媒体对象数据库135被包括在数字数据处理设备110内，例如被存储在数字数据处理设备110的存储介质（比如硬盘或另一合适的存储介质）上。在另一个实施例中，数字媒体对象数据库135是可通过因特网访问的数据库，比如You Tube或Apple ITunes商店。这样的可通过因特网访问的数字媒体对象数据库的其他实例对于本领域技术人员而言将立即是显然的。

数字数据处理设备110还可以访问另一个数字媒体对象数据库130，其中可以存储根据本发明一个实施例的由数字数据处理设备110加标签的数字媒体对象。在一个实施例中，数字数据处理设备110可以从所述另一个数字媒体对象数据库130检索数字媒体对象，从而可以省略数字媒体对象数据库135。将会认识到，所述另一个数字媒体对象数据库130可以被包括在数字数据处理设备110中，或者可以是诸如可通过因特网访问的数据库之类的外部数据库。

在一个实施例中，数字数据处理设备110还可以访问包括用户记录152的用户识别数据库150，其中每条用户记录152通常包括诸如可以通过其标识用户的生物测量数据之类的用户交互数据，或者诸如面部或指纹图像之类的用户特性，从中可以提取出诸如生物测量数据之类的用户标识数据。用户识别数据库150可以是任何合适的数据库，比如被包括在数字数据处理设备110中的专有数据库，或者可通过因特网访问的用户识别数据库（比如Facebook）。合适的可通过因特网访问的用户识别数据库包括与装置120所捕获的相同类型的用户标识数据（例如生物测量数据），从而有可能在所捕获的数据与存储在数据库150中的数据之间进行比较。

在一个实施例中，用户识别数据库150形成用于对数字媒体对象加标签的软件程序产品的一部分。用户识别数据库150可以按照任何合适的方式来构造，比如通过导入数字媒体对象的潜在用户的列表（例如来自诸如电子邮件地址列表之类的另一个数据库的朋友和家庭成员细节），以及添加对应于每个潜在用户的生物测量数据（这例如是通过从这些潜在用户的照片提取面部识别数据来实现的）。强调的是，本领域技术人员很容易想到构造这样的数据库的许多其他合适技术，并且可以选择这些技术中的任一种。此外，用户识别数据库150可以采取任何合适的形式。仅仅为了简洁起见没有进一步讨论这些技术。

下面将借助于图2更加详细地解释根据本发明的方法的一个实施例的操作中的系统100的方面。在第一步骤210中，向用户140播放数字媒体对象。如前所述，这样的数字媒体对象可以是音频文件、视频文件、静止图像等等。可以使用任何合适的数字媒体对象格式。在本申请的上下文中，合适的数字媒体对象格式是允许向数字对象添加元数据的格式。合适格式的非限制性实例包括JPEG、MPEG、MP3、GIF、RAW、WAV等等。在步骤220中，数据处理设备110通过装置120被配置成捕获用户与数字媒体对象的交互。

在一个实施例中，所述交互捕获包括借助于诸如面部识别数据之类的用户标识数据生物测量数据来识别用户140，从而允许利用用户140的身份对数字媒体对象加标签，使得通过在稍后的日期对数字媒体对象的标签进行分析将提供先前访问过所述数字媒体对象的用户的有用信息。指出的是，用于基于诸如生物测量数据（例如借助于面部识别）之类的用户标识数据来标识用户的技术在本领域内是公知的，并且因此仅仅出于简洁起见将不被更加详细地讨论。

所捕获的交互数据可以包括标识数据（例如生物测量数据），其可以作为用户交互元数据而被直接存储在用户140所观看的数字媒体对象中，正如步骤270中所示出的那样。然而在一个优选实施例中，在步骤240中将包括标识数据的所捕获的交互数据与存储在诸如图1中所示的数据库150之类的用户交互数据库中的标识数据进行比较，从中确立用户的身份，所述身份随后被包括在添加到媒体对象的用户交互数据标签中。在图2所示的方法中通过判定步骤230而捕获了全部两个实施例。指出的是，包括步骤230仅仅是为了表明图2中所示的方法的多个实施例是可行的，而不意图在图2所示的方法的任一实施例中作为分立步骤。

在一个实施例中，用户识别数据库150中的每条记录152被配置成包括在该条记录中所标识的用户的照片，其中在步骤240中从通过装置（即照相机）120捕获的照片和存储在记录152中的照片提取生物测量数据，之后对分别提取的生物测量数据进行比较以便识别用户140。

从步骤240往后，可以包括评估步骤250以验证是否已将在步骤220中捕获的用户标识数据与存储在数据库150中的用户标识数据成功匹配。如果是的话，则所述方法可以继续到步骤270，在该步骤中把基于所捕获的用户交互数据与所存储的用户交互数据之间的匹配而从数据库150提取的用户的身份作为用户交互元数据添加到数字媒体对象。

在一个实施例中，如果无法找到所捕获的用户交互数据与所存储的用户交互数据之间的成功匹配，则可以省略加标签步骤270。可替换地，可以向所述方法添加附加步骤260，在该步骤中为新用户创建数据库用户标识记录152。这可以按照任何合适方式来进行，比如通过提示用户140利用任何合适输入介质将用户细节馈送到系统100中，所述输入介质比如是键盘、小键盘、鼠标等等。在创建了用户标识记录152之后，所述方法可以继续在步骤270中利用所识别出的用户对所播放的数字媒体对象加标签。

在一个实施例中，基于所捕获的用户交互数据而对数字媒体对象加标签可以被推迟，直到数字数据处理设备110的活动性落在已定义的水平（比如CPU利用率的已定义百分比）以下为止。这具有的优点在于，可以在合适的时间在数字数据处理设备110的操作后台中执行潜在地处理量大的操作。在一个实施例中，在对所播放的对象加标签之前，用户140可以播放多个数字媒体对象。在该实施例中，对数字媒体对象加标签可以作为批作业来执行，其例如可以在用户一终止了用于播放数字媒体对象的应用就被执行，或者可以如前所述地在后台中被执行。

如前所述，被添加到所播放（例如观看或倾听）的数字媒体对象的标签是基于用户140与数字媒体对象的交互，并且优选地包括用户140的标识信息，使得根据本发明的一个实施例被加标签的数字媒体对象包括用户访问历史，其中每次用户播放所述数字媒体对象时，就通过向其标签添加用户交互信息来更新所述标签。

在另一个实施例中，数字媒体对象标签还可以包括指示用户对所述数字媒体对象的评价的用户交互数据。举例来说，可以将数字媒体对象的播放持续时间或数字媒体对象的访问频率记录在标签中。在一个实施例中，从该数据导出用户评价分数。举例来说，在一个音乐文件被播放的时间段相对较短的情况下，可以为该文件分配低评价分数，而在相同的文件被播放的时间段相对较长（到达或接近完成）的情况下，可以为该文件分配相对较高的评价分数。

这样的用户评价数据的可替换实施例对于本领域技术人员而言将是显然的。举例来说，用户手势、话音、运动或面部表情可以在用户评价方面被解释。可以按照任何合适的方式或格式将该附加信息包括在标签中。可以通过用户与正被评价的媒体对象的交互而将这方面与关于所述媒体对象的特定部分的信息相组合。举例来说，用户可以指向屏幕的一部分以表明对于媒体对象的特定部分的评价，或者只在所播放的流式媒体对象的一些部分期间表现出评价性面部表情。用户交互数据可以捕获该选择性评价，例如“用户X指向了图像的左上象限”或者“用户Y跳舞达该首歌曲的前30秒”等等。

在一个实施例中，可以把包括常规标签信息的另一个标签添加到所播放的数字媒体对象。所述另一个标签可以是单独的标签或者可以被集成到基于用户与数字媒体对象的交互的标签中。在所述另一个标签中可以包括任何合适的常规标签信息。这样的常规标签信息的非限制性实例包括日期标记、时间标记、GPS位置坐标、数字媒体对象中对象的身份（比如在数字视频或照片中捕获的人的名）等等。

基于用户交互数据的标签可选地与一个或多个另外的标签（比如内容标签、位置标签、日期和时间标签等等）相组合打开了在或从诸如图1中的数据库135之类的数据库中组织和/或检索加标签的数字媒体对象的有利可能性。举例来说，可以根据在标签中捕获的用户交互来组织加标签的数字媒体对象。举例来说，这样的数据库可以包括不同的类别，比如“我所播放过的数字媒体对象”、“我尚未播放过的数字媒体对象”等等。对于本领域技术人员而言，根据本发明的一个或多个实施例来组织数字媒体对象标签的许多不同方式将是显然的，并且只是出于简洁起见将不被充分详细地解释。

在图3中示出检索这样的加标签的数字媒体对象的方法的一个实施例。在步骤310中提供数字数据结构，比如数据库135、文件储存库、或者包括数字媒体对象的任何其他合适数据结构，其中所述数字媒体对象的至少一些根据本发明的一个或多个实施例而被加标签。重申的是，提供这样的数据结构落在本领域技术人员的常规技术内，并且出于该原因不被进一步详细解释。

在步骤320中，另一个用户（其可以是用户140或另一用户）在所述数字数据结构上定义查询，所述查询的至少一部分涉及基于先前所讨论的用户140与所播放的数字媒体对象的交互的数字媒体对象的标签。这样的查询的非限制性实例包括：“我昨天看到的John的照片”，“Suzie感到有趣的London的近照”，“我和Sally还没有看过的照片”，“我在过去的年份经常观看的视频”，“妈妈和爸爸上周一起看过的照片（其中多个用户身份已被添加作为用户交互数据）”，“当John和Debby上周观看该照片时John关于该照片所做的评论”，“只有我看过的照片”，等等。许多其他实例对于本领域技术人员而言将是显然的。

上面的实例全都在用户交互信息中包括用户身份。然而重申的是，其中在用户交互数据中没有包括用户身份的实施例同样是可行的。举例来说，像“由3个人在日期A观看过”之类的用户交互标签允许像“哪些是我的收藏中被最多观看的照片”、“我展示给大群体的人看的照片”等等之类的查询。显然，用户身份也可以被用来提取该信息，这是因为包括三个不同用户身份的标签可以被解释为由三个不同的人观看过的媒体对象。

在另一个实施例中，如果媒体对象包含在该对象内单独定义的特征，则用户交互数据可以包括用户与单独定义的特征的交互，这例如是通过检测用户指向所述特征或者触摸显示所述特征的屏幕而实现的。这样的检测本身是已知的，并且出于简洁起见将不被进一步解释。这允许对媒体对象的特定部分加标签，即对单独定义的特征加标签。这打开了对应于更复杂的查询的可能性，比如“John关于该照片中的海滩上的灯塔说过什么吗？”、“Wendy对该图片中的小丑微笑了吗？”等等。

表I示出由操作在包括加标签的数字媒体对象的数字数据结构上的搜索算法可以如何解释这样的查询的非限制性实例。

表I

查询	被解释为
		我昨天看到的John的照片	Date（日期）=昨天，viewed_by（观看者）=我，subjects（对象）=John
Suzie感到有趣的London的近照	Date_taken（拍摄日期）=上个月内，GPS_location（GPS位置）=London，viewed_by=Suzie，Activity（活动性）>60%
		我和Sally还没有看过的照片	viewed_by≠‘我或sally’
我在过去的年份经常观看的视频	viewed_by=我，Play_frequency（播放频率）>阈值

可以利用任何合适的解析技术来实现从这样的查询中提取搜索参数。这样的技术本身是已知的，并且只是出于简洁起见将不被进一步详细讨论。正如从上表中的非限制性实例将显而易见的那样，参数viewed_by（观看者）与基于前面提到的用户交互的标签信息有关，参数Play_frequency（播放频率）和Activity（活动性）与播放数字媒体对象的用户对该对象的评价有关，而其他参数与常规标签信息有关。将立即显然的是，通过在数字媒体对象中包括基于用户与该对象的交互的标签，大大增强了选择或找到特定数字媒体对象的可能性。举例来说，如上面的实例中所示，选择尚未被特定用户播放的数字媒体对象或者选择已被播放所述对象的用户评价的数字媒体对象成为可能。在一个实施例中，添加用户交互（例如用户评价）的快照以作为用户交互标签，比如John对着媒体对象笑的快照。这允许媒体对象的将来用户利用其关于先前用户对所述媒体对象的反应的自身感知来对所述媒体对象进行分类，例如在上面的实例中是通过分析John的面部表情。此外，这样的快照可以帮助可视化媒体对象的历史，这可能是再体验用户的记忆的强大工具，比如潜在地和已故的朋友或亲戚与媒体对象的交互的可听反应相组合的快照。

为了完整起见，指出的是，在上表中示出的参数是合适参数的非限制性实例，并且基于用户交互、用户评价和/或常规标签的可替换实施例的其他合适参数同样是可行的。

在步骤320中定义了查询之后，所述方法继续到步骤330，在该步骤中，在数字数据结构上运行所述查询并且通过步骤340结束，在步骤340中将查询结果呈现给定义所述查询的用户。

应当认识到，在步骤320中定义的查询可以按照任何合适形式来定义。举例来说，如图4中所示，可以为用户呈现菜单400，其中可以指定可用于在包括加标签的数字媒体对象的数据结构上运行查询的搜索算法的各种参数。作为非限制性实例，图4示出关于先前与存储在数字数据结构中的一个或多个数字媒体对象交互的用户的身份的参数“用户名”，关于用户与数字媒体对象之间的交互类型的参数“交互类型”，允许在一个时间段内定义查询的参数“起始日期”和“结束日期”（其中所述时间段由这些日期标识），以及其中可以指定先前与数字媒体对象交互的用户的评价的参数“评价分数”。定义查询的用户可以在相应的框410-450中指定这些参数，这可以允许用户按照任何合适方式输入所期望的参数值，比如通过键入或者借助于为用户提供可用参数值的下拉菜单。

在图5中示出定义这样的查询的合适方式的另一个非限制性实例，在该图中为用户给出在其中可以指定查询（比如表I中示出的查询）的查询框500。定义这样的查询的许多其他合适方式对于本领域技术人员而言将是显然的，比如借助于话音来指定查询，在这种情况下数字数据处理设备110可以包括用于解释所说出的查询的语音识别软件。

在一个实施例中，提供一种软件程序产品，其包括用于执行本发明的方法的一个或多个实施例的程序代码。由于这样的程序代码可以按照本领域技术人员都容易得到的许多不同的合适方式生成，因此仅是出于简洁起见不进一步详细讨论所述程序代码。可以使所述软件程序产品在能够由数字数据处理设备110读取的任何合适数据载体上是可获得的。合适数据载体的非限制性实例包括CD-ROM、DVD、记忆棒、可通过因特网访问的数据库等等。

在另一个实施例中，提供一种包括前面提到的软件程序产品的系统或设备。合适系统的非限制性实例包括个人计算机、数字照相机、包括数字照相机的移动通信设备、等等。

应当注意，上面提到的实施例说明而非限制本发明，并且在不背离所附权利要求书的范围的情况下，本领域技术人员将能够设计许多可替换实施例。在权利要求书中，置于括号之间的任何附图标记不应被解释为限制权利要求。“包括”一词不排除与在权利要求中列出的那些不同的元件或步骤的存在。元件之前的“一个”不排除存在多个这样的元件。本发明可以借助于包括几个不同元件的硬件来实施。在列举几个装置的设备权利要求中，可以通过同一项硬件来具体实现这些装置中的几个。仅仅在互不相同的从属权利要求中记载某些措施这一事实并不表明不能使用这些措施的组合来获益。

Claims (15)

1. 一种用于实现对多个媒体对象的组织的方法，包括：

向用户播放数字媒体对象；

捕获所述用户与所播放的数字媒体对象的交互；以及

基于所述交互来对所播放的数字媒体对象加标签。

2. 权利要求1所述的方法，还包括：利用另一个标签对所播放的数字媒体对象加标签。

3. 权利要求1所述的方法，还包括提供包括多条用户身份记录的数据库，每条记录包括所述用户的用户标识数据，以及其中：

所述捕获步骤包括捕获所述用户的用户标识数据并且把所捕获的用户标识数据与所述用户身份记录的用户标识数据进行比较；以及

所述加标签步骤包括在所捕获的用户标识数据与所述用户身份记录之一的用户标识数据匹配之后，利用从所述数据库提取的用户身份对所播放的数字媒体对象加标签。

4. 权利要求1所述的方法，其中，所述交互还包括所述用户对所播放的数字媒体对象的反应。

5. 权利要求1所述的方法，其中，所述加标签还包括：将所述用户的所述交互的持续时间与所播放的数字媒体对象包括在一起。

6. 权利要求1所述的方法，其中，在对于相应的所播放的数字媒体对象执行相应的加标签步骤之前，对于所述相应的数字媒体对象执行所述播放和捕获步骤。

7. 权利要求6所述的方法，其中，推迟所述相应的加标签步骤，直到计算机活动性已下降到已定义活动性阈值以下为止。

8. 权利要求1所述的方法，还包括：将加标签的数字媒体对象组织到电子数据结构中。

9. 权利要求8所述的方法，还包括：

定义用户交互查询；

访问所述电子数据结构；

将所述数字媒体对象的标签与所述用户交互查询进行比较；以及

列出与所述用户交互查询匹配的数字媒体对象。

10. 权利要求9所述的方法，还包括：

向另一个用户播放所述列出的数字媒体对象中的至少一个；

捕获所述另一个用户与所述至少一个数字媒体对象的交互；以及

基于所述交互来更新所述至少一个所播放的数字媒体对象的标签。

11. 一种用于在处理器上被执行时实施权利要求1-10中的任一项所述的方法的各步骤的软件程序产品。

12. 一种包括权利要求11所述的计算机程序产品和用于执行所述计算机程序产品的处理器的系统。

13. 权利要求12所述的系统，还包括用于以用户标识数据的形式捕获用户与所播放的媒体对象之间的交互的装置。

14. 一种包括标签的数字媒体对象，所述标签是基于在向用户播放所述媒体对象时的所述用户与所述媒体对象的交互。

15. 一种包括多个数字媒体对象的数字数据结构，所述多个数字媒体对象包括至少一个如权利要求14中所述的数字媒体对象。

Images