CN102770861A - 数据突出和提取 - Google Patents

数据突出和提取 Download PDF

Info

Publication number
CN102770861A
CN102770861A CN2010800261016A CN201080026101A CN102770861A CN 102770861 A CN102770861 A CN 102770861A CN 2010800261016 A CN2010800261016 A CN 2010800261016A CN 201080026101 A CN201080026101 A CN 201080026101A CN 102770861 A CN102770861 A CN 102770861A
Authority
CN
China
Prior art keywords
area
interest
data
consumption
consumption data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800261016A
Other languages
English (en)
Other versions
CN102770861B (zh
Inventor
G·吴
张丹
B·陈
陈永健
P·郭
刘章林
王志刚
X·周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102770861A publication Critical patent/CN102770861A/zh
Application granted granted Critical
Publication of CN102770861B publication Critical patent/CN102770861B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8355Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

我们正面临着在线内容可用性的激增,尤其是访问音频、视频以及其它数据被视为推动了因特网的膨胀以适应访问需求。然而,可用于访问这种数据的时间仍然受到约束,并且变得更加迫切的是,利用一种技术通过对数据的被预计为是用户感兴趣的部分进行预先识别,来将数据打包成例如集体剪辑,从而有助于数据的使用。这种打包具有许多种可能性。例如,在音频的情况下,可以将音频数据呈现给用户,其中音频呈现的特定部分被突出为在用户缺乏足够的时间来收听完整呈现的情况下进行收听的最佳部分。在视频的情况下,可以提供电影或其它可消费数据的视频精彩部分,从而允许用户在没有足够的时间和/或兴趣观看整个呈现的情况下能够有选择地跳看所述精彩部分。

Description

数据突出和提取
技术领域
概括地说,本发明涉及对可消费数据(consumable data)(例如,任何可电子访问的娱乐)进行标注和评论,更具体地说,涉及应用用户的集体活动来努力识别可消费数据的感兴趣区域,以有助于识别可消费数据的标注或“精彩部分”(highlights)。
背景技术
当前的趋势分析指出,流式传送的可消费数据将变成占主导地位的分发技术。In-Stat有限责任公司(参见http://www.instat.com)是提供对数字媒体和内容(包括视频流、下载和数字TV)进行分析和预测的公司,其估计与零售光盘销售相比,观众成员更喜爱对可消费数据的流式传送和在线访问,后者在未来的数字娱乐传送中将成为人们接收可消费数据的主要的分发渠道。这代表了在线可消费数据访问的急速增长,正如Cisco所提供的统计信息所例证的,该统计信息表明因特网视频大约为所有非对等用户的因特网流量的四分之一,并且预计在2012年,因特网视频流量将接近2000年整个美国因特网主干网的数据使用量的400倍(参见http://www.cisco.com/en/US/solutions/collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c11-481374_ns827_Networking_Solutions_White_Paper.html)。类似地,纽约时报估计YouTube在2007年的视频流量独自便超过了美国在2000年的总的因特网流量(例如,参见http://www.nytimes.com/2008/03/13/technology/13net.html)。
现有的研究已经产生了设法更好地理解和识别可消费数据内容的众多技术,诸如视频分析和将人工智能应用于可消费数据。例如,参见http://trecvid.nist.gov上的TREC视频检索评估,其是由国家标准与技术研究院(NIST)赞助以及由其它美国政府机构支持的会议。TREC的目标是鼓励信息检索研究;在2001年和2002年,TREC提供了视频数据来协助数字视频的自动分割、索引以及基于内容的检索方面的研究。然而,这种技术和其它技术在例如尝试识别引起特定观众的增强兴趣的区域方面并没有获得成功。
附图说明
根据本发明的以下详细描述,本发明的特征和优点将变得显而易见,其中:
图1示出了根据一个实施例,监测一个观众成员的输入,对其可以采用交互式观众分析来根据一个或多个观众成员的活动来准备集体剪辑;
图2示出了根据一个实施例,继续监测观众成员的输入,对其可以采用交互式观众分析来准备集体剪辑;
图3示出了根据一个实施例,用户寻找可消费数据的下一感兴趣区域;
图4部分地示出了根据一个实施例,图1-图3的对可消费数据的感兴趣区域进行突出的累积效应;
图5示出了根据一个实施例,用于对可消费数据进行预标注的数据流程图;
图6示出了根据一个实施例,继续对可消费数据应用多用户访问来识别感兴趣区域;
图7示出了图1-图4、图6中的所有用户识别感兴趣区域和/或修改由其它用户识别的区域的结果;
图8示出了可以实现本发明的某些方案的适当的计算环境。
具体实施方式
本发明的各个实施例涉及利用集体行为来改善识别结果。在各个示出的实施例中,努力识别音频、视频或其它可消费/可访问的数据中的感兴趣区域;短语“可消费数据”将用于统称这样的数据,并且其旨在指存储在任何状态保存媒介或介质中的、并且可以被单独或多重或同时访问的数据。可消费数据可以代表例如存储的和/或流式传送的视频或音频数据,以及这样的音频、视频等数据的个别的帧、片段、部分、剪辑(cut)等。本领域的技术人员应意识到的是,音频和视频数据是出于示例性目的而给出的,并且可以由一个或多个实体识别其中感兴趣部分的任何数据集合都旨在落入所记载的实施例的范围之中。
应意识到的是,“兴趣”是一个相对的术语,其可以具有不同的含义,这取决于预期观众,例如,成年观众所感兴趣的内容可能与青少年观众所感兴趣的内容大不相同。因而,即使在下面没有具体指出,本领域的技术人员也应意识到,本文描述的相同的技术取决于执行所描述的操作的观众的特性而可以给出不同的结果,并且可以根据需要对来自不同观众的结果进行有选择的组合。
在示出的实施例中,假定当观众成员与可消费数据进行交互时,对目标观众(或多个观众)的交互行为进行监测。这种监测可以在观众与可消费数据进行交互时实时地或接近实时地执行。或者,监测可以在事发之后基于针对特定观看或数据消费体验而积累的数据而发生。为了便于描述本文中给出的发明构思的各个特征,将假定观众正与视频(诸如已记录的(或缓存的)视频广播或可电子访问的电影)进行交互。然而,如上面所讨论的,本文中的原理也应用于任何可消费数据。通过监测集体的观众交互,可以利用集体的智慧来识别可消费数据(例如,音频、视频等)中的有意义的区域。视频的有意义的区域可以是例如视频的被识别为令人感兴趣的片段(通常称为视频精彩部分)。
短语“交互式观众分析”或IAA可以用于表示对目标观众的动作所执行的分析。IAA不同于例如当前的自动化视频分析技术(诸如那些尝试基于自动化计算机视觉、机器学习以及其它人工智能技术来提取视频精彩部分的技术)。应意识到的是,自动化视频分析方法技术和所公开的实施例不必相互排斥,例如,所公开的实施例可以结合视频分析来使用。应意识到的是,可以在IAA之前、期间或之后执行视频分析,例如,视频分析可以是预处理阶段、后处理阶段或中间处理阶段,这取决于IAA的需要和/或目标。
图1示出了根据一个实施例,监测一个观众成员的输入,对其可以采用交互式观众分析(IAA)来根据一个或多个观众成员的活动来准备集体剪辑(Collective Cut)。短语集体剪辑(CT)通常可以用于表示可消费数据中识别出来的感兴趣区域。如上面所讨论的,在一些实施例(未示出)中,可以使用视频分析来帮助确定CT。
在示出的实施例中,假定当观众成员与流式传送的可消费数据进行交互时对这些观众成员进行监测。这是一个简化的假定,这是因为通常更容易监测对流式传送的数据的访问,例如,可以通过观察在需要从外部源提供的流中进行移动的命令来确定尝试在数据流中进行寻找。然而,应意识到的是,可以通过使用支持硬件和/或软件的设备(其被配置为对与在流中进行寻找相对应的数据进行监测),并将被监测的数据提供(例如通过发送(推)被监测的数据或允许其被访问(拉)的方式)给外部实体(诸如有线电视或卫星广播前端、因特网服务器(其也可以提供流式传送的可消费数据)等),来对现有的/已存储的内容进行类似监测。
如图1中所示,存在时间轴100,其被组织使得t0<tn,因此t0代表tn之前的时刻。t0和tn之间的时间量是任意的,但该图示出了在某一时间段上的可消费数据的呈现,例如,其可以代表可消费数据的完整呈现或仅仅其一个或多个子集。为了更加简化,其余的图没有使用t0和tn标记。如所示的,存在时间标记102-110。在所示出的实施例中,假定在任何给定的时刻有一个当前播放位置,其指示在可消费数据中的该处,某观众成员当前正在观看该可消费数据。时间标记102-110代表各种时刻,所述各种时刻在某时间点上是当前播放位置。例如,在启动可消费数据的流式传送之后,一观众成员可以根据该观众成员的需要首先将当前播放拖拽到位置102,并且消费了该可消费数据某一任意的时间区域112,其中在标记104处观看被停止(例如,通过停止观看、跳跃前进、将当前播放位置从标记104拖拽到另一位置等)。
如上所述,使用所示出的区域112来代表可消费数据的一个连续的(或相对连续的)消费时间。区域112所具有的宽度代表消费该可消费数据的时间长度。预期该时间长度小于(tn-t0),否则该观众就已经使用了整个可消费数据。应意识到的是,如果可消费数据是视频数据,则区域112代表视频已被观看的时间量,而如果可消费数据是音频数据,则其代表音频数据已被收听的时间量。在所示出的实施例中,预期观众成员可能使用“快进”类型的控制、跳跃按钮或功能、或者直接拖拽当前播放位置标记,以将可消费数据的消费从指示所消费的区域112的结束的时间标记104移动到某一其它标记位置(诸如移动到标记106),从而跳过可消费数据中的被认为不感兴趣的内容,并且允许访问更感兴趣的内容。在所示出的实施例中,当前播放标记在可消费数据中的移动代表着观众成员关于可消费数据的特定片段是否值得消费(例如,值得观看、收听、阅读等,这是由可消费数据的类型所确定的)的判断或意见。
正如区域112,在所示出的实施例中,标记106标识出代表着更感兴趣的内容的另一区域114的开始。在某一时间点(未示出),可消费数据的用户移动当前播放标记并跳跃到时间标记108,并又观看或以其它方式消费可消费数据的另一区域116。再次重复该过程,当前播放跳转到时间标记110,在标记110的时间点处,可消费数据必定是感兴趣的,这是因为对该可消费数据的较大区域118(相对其它区域112-116而言较大)进行了观看或以其它方式进行了消费。
图2示出了根据一个实施例,继续监测观众成员的输入,对其可以采用交互式观众分析(IAA)来准备集体剪辑(CT)。应意识到的是,当人们观看感兴趣的视频、重新收听音乐或以其它方式重新消费可消费数据时,他们可能期望对数据消费进行重复,但将专注于该可消费数据在之前的消费期间被认为特别感兴趣的部分。
在所示出的实施例中,假定用户利用快进/后退、跳跃功能或按钮或者其它技术来改变当前播放位置。当再次(例如,第二次、第三次等)对可消费数据进行访问时,假定用户关于该数据中感兴趣区域(例如,“精彩部分”)是什么的判断更加精确。服务提供商可以跟踪较大的一组用户的集体行为,并使用后续的消费来完善特定的可消费数据中被认为感兴趣的部分。例如,youku.com(一个中文视频流式传送网站)上最流行的电影通常被观看超过3,000,000次,这表示巨大数量的用户可以被监测。服务提供商可以监测并获知用户是如何提取精彩部分的,并确定对消费的集体判断。在所选的实施例中,确定集体判断是一个迭代的并且自适应的过程。在所示出的实施例中,在消费已经识别了较大区域118之后,用户继续消费该数据,诸如通过将当前播放标记跳跃到位置202-206,并分别观看或以其它方式消费数据部分210-214。
图3示出了根据一个实施例,用户寻找可消费数据的下一感兴趣区域(例如,下一精彩部分)。
该实施例表示用户在观看或以其它方式消费了某一段时间(如图2中所示)之后,该用户推断已错过了该可消费数据的某些感兴趣区域。如所示的,该用户已获得了图2的部分212、214,并且然后决定将当前播放标记移回302到时间标记206之前的时间标记304,其将被确定为该可消费数据中的感兴趣区域。该精彩部分306包括之前被认为是该可消费数据的感兴趣区域的在图2中的区域214。
正如图1-图2,用户在可消费数据中到处跳跃,从感兴趣区域306的结束移动到时间标记308,消费了一些数据并跳跃到时间标记310,然后再到时间标记312。这些动作定义了所示出的感兴趣区域314、316、318,这些区域具有其不同的消费时间长度,其是基于被视为与用户有关的因素的(例如,基于喜欢、不喜欢、好奇、需求、工作等),完成他的/她的对精彩部分的标注(例如,下面的四段精彩部分)。如上面所讨论的,交互式观众分析可以用于在准备CT的过程中分析用户活动。
图4部分地示出了根据一个实施例,图1-图3的对可消费数据的感兴趣区域116、306、318进行突出(highlight)的累积效应。假定在图4的实施例中,区域116、306、318是由第一用户(或多个聚集的或相关的用户)确定的;这些区域都填充有相同的交叉图案。所示出的区域402-408也是如图1-图3中所识别的感兴趣区域,但是是通过对第二用户在时间轴100上的往返移动进行监测而识别的,并且是由时间标记410-416来标识的观看区域;这些区域共享相同的左对角线图案。
对于这样的多个用户的输入,服务提供商或其它实体可以合并所述输入来执行交互式观众分析(IAA)。应注意到,虽然图4的实施例仅示出了来自两个用户的两个区域集合418、420(例如,分别是区域116、306、318和区域402-408),但应意识到的是,可以利用任意数量的用户输入来执行IAA。在一个实施例中,IAA包括创建区域的加权值,其中给多个区域的重叠部分赋予分配给各个重叠区域的值的累积权重(例如,重叠的就累积),在对多个消费进行监测和分析之后,可以更可靠地将具有最高值的区域视为是被监测的目标观众所感兴趣的。
在一个实施例中,可以针对一个集合来定义这种加权,使得:{[t1、持续时间1、权重1],[t2、持续时间2、权重2]、...、[tn、持续时间n、权重n]},其中,在确定第一区域集合418之后,n=3,并且针对可消费数据的第一用户(例如,视频的第一观看者),将区域116、306、318的值预分配为1。在一个实施例中,当第二用户访问该可消费数据并生成第二感兴趣区域集合420时,也针对该第二用户的消费,给该第二用户的区域中的每个区域分配值1,但是对于重叠区域(例如,由虚线框所标识的部分422),假定进行简单相加,则给该区域分配值2。随着时间的推移,在许多用户访问该可消费数据之后,该可消费数据中将会存在某些区域,其在统计上被认为是对于消费该数据的聚集的观众而言显著地更加感兴趣的。
在一个实施例中,如果用户已消费了整个可消费数据N次(例如,观看了“完整长度”的视频N次),则区域权重将为f(N),其中,N>1并且f(N)>>1(远大于1),以便给通过多次完整的消费(例如,通过多次观看整个视频)而了解整个可消费数据的用户所进行的感兴趣区域识别的推测精确度赋予很大的权重。应意识到的是,服务提供商可以提供一些激励、折扣、优惠券等(例如,微观经济刺激)来鼓励完整的消费和感兴趣区域识别。
图5示出了根据一个实施例,用于对可消费数据进行预标注的数据流程图500。在图1-图4的实施例中,可以假定区域权重最初为0,这是因为没有已定义的区域,因此第一次消费(例如,第一次视频观看)导致了第一用户所识别的区域的初始权重(例如,1)。然而,第一用户并不需要开始于空白的时间轴。服务提供商、沿着到达用户的传输路径或数据路径的中间设备、由用户使用的端点设备或其它设备可以将时间轴100预标注成具有感兴趣区域,例如,提供预先存在的精彩部分。
例如,如果可消费数据包括公开发布的视频(诸如电影),则可以获得502标识出了可消费数据的感兴趣部分的数据,对于电影而言,该数据一般包括预告片以及关于该电影的其它广告。然后,可以将所获得的数据映射504到可消费数据,以识别506该可消费数据中的感兴趣区域。本文中将使用短语“示范数据”来表示与可消费数据有关的、可以被映射504以识别506该可消费数据中的感兴趣区域的任何数据。
对于电影而言,示范数据包括预告片以及关于该电影的其它广告,并且可以采用视频分析来将示范数据与电影进行匹配,以识别可消费数据中的与该示范数据相对应的区域或多个区域。电影预告片类型的示范数据通常为“导演剪辑”的精彩部分,但其通常被合并为单个端到端呈现。在一个实施例中,对时间轴进行预标注的实体或设备可以采用视频分析来检测508示范数据中的变化(诸如场景变化),并区分510该示范数据中的多个感兴趣子区域。可以应用512视频搜索和/或视频匹配技术来识别示范数据中所区分510的精彩部分的较长版本。类似地,如果可消费数据包括诸如歌曲或配音之类的音频数据,则可以采用音频分析(未示出)来识别在可消费数据中在何处可以找到示范数据,以及找到类似的“听起来像”的匹配。
在识别506感兴趣区域之后,在一个实施例中,可以执行514“模糊”匹配,以允许找到可消费数据中的“像”示范数据的部分,并从而增加所识别的感兴趣区域的数量。为了做到这一点,例如,可以使用视频或音频数据的内容分析来找到可消费数据中的像示范数据的其它部分。应意识到的是,模糊匹配通常具有相关联的相关等级,其反映候选匹配和示范数据之间的相关度。在一个实施例中,对于候选匹配被认为是将被加入到所识别506的感兴趣区域中的额外的感兴趣区域,可能需要所要求的最小相关度(其可以被任意设置或者针对示范数据来确定)。
一旦在可消费数据中识别506、514了感兴趣区域,则这些区域就可以用于定义集体剪辑(CT),并且它们可以用于对可消费数据的时间轴进行预标注516。在一个实施例中,初始识别506的区域与较重的权重相关联,这是因为就感兴趣的内容而言,导演剪辑被认为具有高精确度。
图6示出了根据一个实施例,继续对可消费数据应用多用户访问,来识别用于集体剪辑(CT)的感兴趣区域。
如所示的,存在感兴趣区域集合622、624,其与来自图4的通过对至少两个用户进行监测的合并输入相对应。所示出的区域622包括区域602、606、608、612、614、616、620,并且这些区域与来自单个用户的输入的感兴趣区域识别相对应。区域622包括区域604、610、618,并且这些区域与来自两个用户的输入的重叠感兴趣区域相对应。如图5中讨论的,单个输入的区域602、606、608、612、614、616、620被分配的权重可以为1,而合并输入的区域604、610、618被分配的权重可以至少为2。应意识到的是,这些权重并没有考虑任何预标注值或根据访问整个可消费数据的用户而分配的另外权重。
如上面在其它示出的实施例中讨论的,区域624包括可以由用户识别的额外感兴趣区域626-630。在图6的实施例中,区域624是由额外的用户在那些识别区域622上识别出来的。在示出的实施例中,该额外的用户知晓现有的已识别的区域622,并且知晓所选择的区域604、610、618所代表的区域被确定为具有更高的可信度来作为感兴趣区域。这种知晓可以以各种方式呈现,诸如通过设备的用户界面以图形化方式呈现,其中该额外的用户正通过该设备访问该可消费数据。在一个实施例中,向该额外的用户提供用户界面,用以允许对现有的已识别的区域602-620进行调整、或者创建新的识别的区域,如针对图1-图4所讨论的。因而,例如,该额外的用户可以选择通过对现有的已识别的区域602-620的开始和/或结束位置进行调整的方式来完善现有的标注,或者简单地定义新的感兴趣区域。无论哪种方式,区域624可以代表该额外的用户调整和/或创建新的感兴趣区域626-630的最终结果,并且可以给这些区域分配权重(例如,针对该额外的用户的努力进行+1),并将该权重与现有的等级进行合并。
图7示出了图1-图4、图6中所有用户识别感兴趣区域和/或修改由其它用户识别的区域的结果。示出了区域702-724,其中区域704、710、716和722代表可消费数据的已被用户反复地识别成感兴趣区域的区域,而相比之下,区域702、706、708、712、714、718、720和724代表仍然被用户单独地识别为感兴趣的区域。在一个实施例中,接收到足够高的权重的区域将被视为是“真正的”感兴趣区域,例如对于电影来说,其将作为电影的精彩部分呈现给用户。在一个实施例中,接收具有这种预定的精彩部分的电影的用户可以选择简单地跳看视频并仅仅观看所述精彩部分。该用户将依赖于集体用户输入,其已经适当地确定了较好的一组将被消费的感兴趣区域。
随着更多的用户贡献出他们对可消费数据中的感兴趣区域的完善的和/或最初的识别,感兴趣区域的集合将继续获取更多区域,每个区域具有不同的权重。在一个实施例中,服务提供商、沿着到达用户的传输路径或数据路径的中间设备、用户所使用的端点设备或其它设备可以选择周期性地浓缩区域集合以减少正被管理的区域的数量。在一个实施例中,如果两个相邻的感兴趣区域具有相同的权重,则可以将它们合并成一个区域。应意识到的是,用于对感兴趣区域的识别不一定是精确的,因此当确定区域是否是相邻的时可以应用容限(tolerance)。在一个实施例中,多个服务提供商可以共享这些服务提供商所共有的可消费数据的感兴趣区域识别,以提高精确度。
在一个实施例中,当服务提供商对感兴趣区域的集合有足够的把握时,他们可以公开一些或所有已识别的区域,例如,服务提供商可以选择仅发布已由一定比例的目标观众所选择的感兴趣区域。此外,应意识到的是,在当前有能力跟踪用户的年龄以及社交、经济、宗教信仰、政治、地理、种族、食品等兴趣的情况下,可以为特定观众(例如,特定的一组共享一个或多个期望的特性的用户)定义并呈现足够大的感兴趣区域集合。在一个实施例中,服务提供商可以例如通过问卷调查和/或被监测的行为或其它关于用户的已知元数据的方式,为具有已知兴趣和时间可用性的特定用户提供定制的标注。关于用户的已知数据可以用于选择与该用户有关的感兴趣区域,并可以作为可消费数据的标注来呈现。关于时间可用性,不同的用户可能具有不同的可用于消费数据的时间量,诸如乘坐公共汽车或火车上班/下班的时间长度或其它已知的持续时间,而这可以是选择区域进行标注的因素。例如,如果一个用户具有较短的时间,则可以定义标注,使得其仅具有适合于该用户可用时间的最高等级区域。
图8和下面的讨论旨在提供对适当环境的简要的、总体的描述,在该环境中可以实现所示发明的某些方案。如本文下面使用的,术语“机器”旨在广泛地包括单个机器或者具有一起进行操作的、通信地耦合的机器或设备的系统。示例性机器包括计算设备,诸如个人计算机、工作站、服务器、便携式计算机、手持式设备(例如,个人数字助理(PDA)、电话、平板电脑等)、发射机、接收机和/或用于访问和/或操纵音频数据、可视数据或其它可消费数据的其它设备,以及交通工具,诸如私人交通工具或公共交通工具(例如,汽车、火车、出租车等)。
通常,所述环境包括机器800,其包括系统总线802,附接到系统总线802的有处理器804、存储器806(例如,随机存取存储器(RAM)、只读存储器(ROM)或其它状态保存介质)、存储设备808、视频接口810以及输入/输出接口端口812。应意识到的是,虽然可以以单数来提及机器800的元件,但可以存在未示出的多个元件。机器可以至少部分地由来自常规输入设备(诸如键盘、鼠标等)的输入来控制,以及由从另一机器接收的指示、与虚拟现实(VR)环境的交互、生物测定反馈、合作或集中学习或其它输入源或信号来控制。
所述机器可以包括嵌入式控制器,诸如可编程或不可编程逻辑器件或阵列、专用集成电路、嵌入式计算机、智能卡等。所述机器可以诸如通过网络接口818、调制解调器820或其它通信耦合来利用到一个或多个远程机器814、816的一个或多个连接。可以通过一个或多个物理和/或逻辑网络822(诸如内联网、因特网、局域网、广域网、云网络、分布式网络、对等网等)来对机器进行互连。本领域的技术人员应意识到的是,与网络822进行的通信可以利用各种有线和/或无线的短距离或长距离载波和协议,包括射频(RF)、卫星、微波、电气与电子工程师协会(IEEE)802.11、蓝牙、光、红外线、电缆、激光等。在一些实施例中,可以同时利用网络822中的多个网络,并可以应用诸如成本、效率、偏好、功率等的度量来控制如何选择网络822中的特定网络以及如何跨越多个活动网络分配数据。
可以通过参考或结合相关联的数据来描述本发明,这些数据包括函数、过程、数据结构、应用程序等,这些数据当被机器访问时使得机器800的组件执行任务或定义抽象数据类型或底层硬件上下文。可以将相关联的数据存储在例如易失性和/或非易失性存储器806中,或者存储在存储设备808及其相关联的存储介质中,包括硬盘驱动器、软盘、光存储、磁带、闪存、存储器棒、数字视频盘、生物存储等。相关联的数据可以以分组、串行数据、并行数据、由有形组件发送和/或接收的传播信号等形式完整地或部分地在传输环境(包括网络822)上进行传送,并且可以以压缩或加密的格式来使用。相关联的数据可以用于分布式环境,并进行本地存储和/或远程存储以供单处理器机器或多处理器机器进行访问。
因而,例如,针对所示出的实施例,假定机器800实现了由图4的用户用于消费可消费数据的设备,则远程机器814、816可以分别为有线电视或卫星广播前端、因特网服务器或将可消费数据提供给用户的其它实体或设备。应意识到的是,可以与机器800一样地对远程机器814、816进行配置,并且因此远程机器814、816可以包括针对机器800所讨论的许多或所有元件。
已参考示出的实施例对本发明的原理进行了描述和说明,应意识到的是,可以在排列和细节上对所示出的实施例进行修改,而不背离这些原理。并且,虽然前述讨论专注于特定的实施例,但是也可以想见其它配置。具体地,即使本文使用了诸如“在一个实施例中”、“在另一实施例中”等的表达方式,但这些短语意在通常提及实施例的可能性,而并不是要将本发明限定于特定的实施例配置。如本文使用的,这些术语可以指代可以合并到其它实施例中的相同或不同的实施例。
因此,鉴于对本文描述的实施例存在着各种各样的排列,该详细描述旨在仅作为说明性的,并且不应被认为是限制本发明的范围。因此,本发明所要求保护的内容是可能落入后述权利要求及其等价形式的范围和精神内的所有这些修改。

Claims (20)

1.一种用于标注可消费数据的方法,包括:
对于第一用户进行的对所述可消费数据的第一消费进行第一监测;
至少部分地基于所述第一监测来确定所述可消费数据的第一感兴趣区域;
对于对所述可消费数据的第二消费进行第二监测;
至少部分地基于所述第二监测来确定所述可消费数据的第二感兴趣区域;以及
至少部分地基于以下操作来确定所述可消费数据的感兴趣区域集合:至少部分地基于所述第二感兴趣区域来完善所述第一感兴趣区域。
2.根据权利要求1所述的方法,还包括:
对于大量用户进行的对所述可消费数据的消费进行第三监测;
至少部分地基于对所述大量用户进行监测来确定所述可消费数据的相应的大量感兴趣区域;以及
至少部分地基于所述感兴趣区域集合与所述大量感兴趣区域中的选定的区域之间的相似性来确定所述可消费数据的集体剪辑。
3.根据权利要求2所述的方法,还包括:
将与消费所述可消费数据的每个用户相关联的权重因子分配给所述每个用户所识别的每个感兴趣区域;
至少部分地基于所述每个用户所识别的所述每个感兴趣区域的共同重叠部分,来确定区域集合;以及
至少部分地基于所述共同重叠部分中的每个部分的权重因子的组合,来给该集合中的每个感兴趣区域分配权重因子。
4.根据权利要求1所述的方法,还包括:
将与所述第一用户相关联的第一权重因子分配给所述第一感兴趣区域;
将与所述第二用户相关联的第二权重因子分配给所述第二感兴趣区域;
至少部分地基于所述第一感兴趣区域和所述第二感兴趣区域之间的重叠,来确定第三感兴趣区域;以及
将第三权重因子分配给所述第三感兴趣区域,所述第三权重因子至少部分地基于所述第一权重因子和所述第二权重因子的组合。
5.根据权利要求1所述的方法,其中,所述第二消费是由所述第一用户或第二用户中选定的一个进行的。
6.根据权利要求1所述的方法,其中,所述的确定感兴趣区域集合至少部分地基于将交互式观众分析应用于所述监测。
7.根据权利要求1所述的方法,其中,对消费进行所述监测包括下列操作中选定的操作:对所述可消费数据的被观看部分的持续时间进行监测,以及对所述可消费数据的被跳过部分进行监测。
8.根据权利要求1所述的方法,其中,所述可消费数据是从下列数据中选定的一种或多种:音频数据、视频数据、流式传送的数据、预记录的数据或直播数据。
9.根据权利要求1所述的方法,还包括对来自下列部件中选定的部件的所述可消费数据进行访问:本地存储、远程存储、云存储、对等存储。
10.一种包括机器可访问介质的制品,所述机器可访问介质具有相关联的数据,其中,所述数据当被访问时导致机器通过执行下列操作来标注可消费数据:
对于第一用户进行的对所述可消费数据的第一消费进行第一监测;
至少部分地基于所述第一监测来确定所述可消费数据的第一感兴趣区域;
对于对所述可消费数据的第二消费进行第二监测;
至少部分地基于所述第二监测来确定所述可消费数据的第二感兴趣区域;以及
至少部分地基于以下操作来确定所述可消费数据的感兴趣区域集合:至少部分地基于所述第二感兴趣区域来完善所述第一感兴趣区域。
11.根据权利要求10所述的制品,其中,所述机器可访问介质还包括当被访问时导致所述机器执行下列操作的数据:
对于大量用户进行的对所述可消费数据的消费进行第三监测;
至少部分地基于对所述大量用户进行监测来确定所述可消费数据的相应的大量感兴趣区域;以及
至少部分地基于所述感兴趣区域集合中与所述大量感兴趣区域中的选定的区域之间的相似性来确定所述可消费数据的集体剪辑。
12.根据权利要求10所述的制品,其中,所述机器可访问介质还包括当被访问时导致所述机器执行下列操作的数据:
将与消费所述可消费数据的每个用户相关联的权重因子分配给所述每个用户所识别的每个感兴趣区域;
至少部分地基于所述每个用户所识别的所述每个感兴趣区域的共同重叠部分,来确定区域集合;以及
至少部分地基于所述共同重叠部分中的每个部分的权重因子的组合,来给该集合中的每个感兴趣区域分配权重因子。
13.根据权利要求10所述的制品,其中,所述机器可访问介质还包括当被访问时导致所述机器执行下列操作的数据:
将与所述第一用户相关联的第一权重因子分配给所述第一感兴趣区域;
将与所述第二用户相关联的第二权重因子分配给所述第二感兴趣区域;
至少部分地基于所述第一感兴趣区域和所述第二感兴趣区域之间的重叠来确定第三感兴趣区域;以及
将第三权重因子分配给所述第三感兴趣区域,所述第三权重因子至少部分地基于所述第一权重因子和所述第二权重因子的组合。
14.一种装置,包括:
用于对于多个用户进行的对可消费数据的多个消费进行监测的模块;
用于至少部分地基于对所述多个消费进行监测,确定所述可消费数据中的多个感兴趣区域的模块;
用于对所述可消费数据中的所述多个感兴趣区域进行聚合的模块;以及
用于至少部分地基于对所述多个感兴趣区域进行聚合来确定所述可消费数据的集体剪辑的模块。
15.根据权利要求14所述的装置,还包括:
用于将相关联的一组区域中的重叠区域合并到不同的一组感兴趣区域中的模块,该不同的一组感兴趣区域与所述多个用户中的选定的用户相关联。
16.根据权利要求14所述的装置,其中,用于确定所述可消费数据中的多个感兴趣区域的模块进一步包括:
用于针对所述用户中的每个用户关联一组感兴趣区域的模块;
用于将所述一组区域中的重叠的感兴趣区域合并到与每个用户相关联的不同的一组感兴趣区域中的模块。
17.根据权利要求14所述的装置,还包括:
用于向访问装置提供所述集体剪辑的模块,所述访问装置配置有用于呈现所述集体剪辑的模块和用于监测对所述集体剪辑的消费的模块;
用于接收与所述访问装置进行的被监测的消费相对应的数据的模块;以及
用于至少部分地基于与被监测的消费相对应的所述数据来完善所述集体剪辑的模块。
18.一种用于消费可消费数据的方法,包括:
从源接收至少一部分可消费数据,所述源可配置成对于多个用户对所述可消费数据的消费进行监测,并至少部分地基于识别与所述多个用户的被监测的消费相关联的感兴趣区域之间的交集来识别所述可消费数据的感兴趣区域;
访问所述可消费数据;
将表征所述访问的数据提供给所述源。
19.根据权利要求18所述的方法:
其中,所述可消费数据的多个部分是从多个源接收的;以及
其中,表征所述访问的所述数据被提供给所述多个源中选定的一个或多个源。
20.根据权利要求18所述的方法,还包括:接收所述可消费数据的集体剪辑。
CN201080026101.6A 2010-12-13 2010-12-13 数据突出和提取 Expired - Fee Related CN102770861B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/002025 WO2012079188A1 (en) 2010-12-13 2010-12-13 Data highlighting and extraction

Publications (2)

Publication Number Publication Date
CN102770861A true CN102770861A (zh) 2012-11-07
CN102770861B CN102770861B (zh) 2016-05-18

Family

ID=46243935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080026101.6A Expired - Fee Related CN102770861B (zh) 2010-12-13 2010-12-13 数据突出和提取

Country Status (7)

Country Link
US (1) US20140196066A1 (zh)
EP (1) EP2652641A4 (zh)
JP (1) JP5559360B2 (zh)
KR (1) KR101422527B1 (zh)
CN (1) CN102770861B (zh)
TW (1) TWI558187B (zh)
WO (1) WO2012079188A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974142A (zh) * 2013-01-31 2014-08-06 深圳市快播科技有限公司 一种视频播放方法及系统
CN107710261A (zh) * 2015-12-14 2018-02-16 谷歌有限责任公司 用于估计用户注意的系统和方法
CN109167934A (zh) * 2018-09-03 2019-01-08 咪咕视讯科技有限公司 一种视频处理方法、装置及计算机可读存储介质
CN111800673A (zh) * 2020-07-31 2020-10-20 聚好看科技股份有限公司 视频播放方法、显示设备及服务器

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753924B2 (en) * 2012-10-09 2017-09-05 Google Inc. Selection of clips for sharing streaming content
US10264320B2 (en) * 2014-06-10 2019-04-16 Microsoft Technology Licensing, Llc Enabling user interactions with video segments
US20160011743A1 (en) * 2014-07-11 2016-01-14 Rovi Guides, Inc. Systems and methods for providing media guidance in relation to previously-viewed media assets
TWI554090B (zh) * 2014-12-29 2016-10-11 財團法人工業技術研究院 產生多媒體影音摘要的系統與方法
US20160249116A1 (en) * 2015-02-25 2016-08-25 Rovi Guides, Inc. Generating media asset previews based on scene popularity
KR102376700B1 (ko) 2015-08-12 2022-03-22 삼성전자주식회사 비디오 컨텐츠 생성 방법 및 그 장치
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US11138265B2 (en) * 2019-02-11 2021-10-05 Verizon Media Inc. Computerized system and method for display of modified machine-generated messages

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020083459A1 (en) * 2000-11-17 2002-06-27 Tetsujiro Kondo Content processing apparatus, content processing method, and storage medium
JP2003174639A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> プレビュー映像登録方法及び装置及びプレビュー映像登録プログラム及びプレビュ映像登録プログラムを格納した記憶媒体及びプレビュー映像再生制御方法及び装置及びプレビュー映像再生制御プログラム及びプレビュー映像再生制御プログラムを格納した記憶媒体
JP2004007342A (ja) * 2002-03-29 2004-01-08 Fujitsu Ltd ダイジェスト自動生成方法
US20100146055A1 (en) * 2008-12-04 2010-06-10 Nokia Corporation Multiplexed Data Sharing
US20100251295A1 (en) * 2009-03-31 2010-09-30 At&T Intellectual Property I, L.P. System and Method to Create a Media Content Summary Based on Viewer Annotations

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3946327B2 (ja) * 1997-01-14 2007-07-18 株式会社東芝 ビデオオンデマンドシステム、ビデオ再生位置検出方法及びビデオ再生制御プログラムを記録したコンピュータ読取り可能な記録媒体
KR100464075B1 (ko) * 2001-12-28 2004-12-30 엘지전자 주식회사 비디오 하이라이트 자동 생성 방법 및 장치
JP3938034B2 (ja) * 2001-12-21 2007-06-27 日本電信電話株式会社 映像及び音声のダイジェスト作成方法及びその装置
EP1606754A4 (en) * 2003-03-25 2006-04-19 Sedna Patent Services Llc CREATION OF AUDIENCE ANALYSIS
JP4300580B2 (ja) * 2004-07-28 2009-07-22 カシオ計算機株式会社 記録再生装置および記録再生処理プログラム
JP2008522479A (ja) * 2004-11-30 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 番組へのユーザー関心度を推定する装置および方法
EP2261927B1 (en) * 2005-10-21 2017-12-13 Nielsen Media Research, Inc. Portable People multimedia audience Meter PPM using eavesdropping of the bluetooth interface of a smartphone headset.
WO2007064715A2 (en) * 2005-11-29 2007-06-07 Wayv Corporation Systems, methods, and computer program products for the creation, monetization, distribution, and consumption of metacontent
US8494280B2 (en) * 2006-04-27 2013-07-23 Xerox Corporation Automated method for extracting highlighted regions in scanned source
JP2010502116A (ja) * 2006-08-18 2010-01-21 ソニー株式会社 推奨エンジンによる選択的メディアコンテンツアクセスのシステム及び方法
US20080071819A1 (en) 2006-09-14 2008-03-20 Jonathan Monsarrat Automatically extracting data and identifying its data type from Web pages
US8880529B2 (en) * 2007-05-15 2014-11-04 Tivo Inc. Hierarchical tags with community-based ratings
US9239958B2 (en) * 2007-11-09 2016-01-19 The Nielsen Company (Us), Llc Methods and apparatus to measure brand exposure in media streams
CN101953161A (zh) * 2007-12-21 2011-01-19 赛兹米公司 联网的天线系统和视频传送单元
EP2112619B1 (en) * 2008-04-22 2012-07-25 Universität Stuttgart Video data processing
US20100058381A1 (en) * 2008-09-04 2010-03-04 At&T Labs, Inc. Methods and Apparatus for Dynamic Construction of Personalized Content
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US20120143994A1 (en) * 2010-12-03 2012-06-07 Motorola-Mobility, Inc. Selectively receiving media content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020083459A1 (en) * 2000-11-17 2002-06-27 Tetsujiro Kondo Content processing apparatus, content processing method, and storage medium
JP2003174639A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> プレビュー映像登録方法及び装置及びプレビュー映像登録プログラム及びプレビュ映像登録プログラムを格納した記憶媒体及びプレビュー映像再生制御方法及び装置及びプレビュー映像再生制御プログラム及びプレビュー映像再生制御プログラムを格納した記憶媒体
JP2004007342A (ja) * 2002-03-29 2004-01-08 Fujitsu Ltd ダイジェスト自動生成方法
US20100146055A1 (en) * 2008-12-04 2010-06-10 Nokia Corporation Multiplexed Data Sharing
US20100251295A1 (en) * 2009-03-31 2010-09-30 At&T Intellectual Property I, L.P. System and Method to Create a Media Content Summary Based on Viewer Annotations

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103974142A (zh) * 2013-01-31 2014-08-06 深圳市快播科技有限公司 一种视频播放方法及系统
CN103974142B (zh) * 2013-01-31 2017-08-15 深圳市快播科技有限公司 一种视频播放方法及系统
CN107710261A (zh) * 2015-12-14 2018-02-16 谷歌有限责任公司 用于估计用户注意的系统和方法
CN107710261B (zh) * 2015-12-14 2021-06-29 谷歌有限责任公司 用于估计用户注意的系统和方法
CN109167934A (zh) * 2018-09-03 2019-01-08 咪咕视讯科技有限公司 一种视频处理方法、装置及计算机可读存储介质
CN109167934B (zh) * 2018-09-03 2020-12-22 咪咕视讯科技有限公司 一种视频处理方法、装置及计算机可读存储介质
CN111800673A (zh) * 2020-07-31 2020-10-20 聚好看科技股份有限公司 视频播放方法、显示设备及服务器

Also Published As

Publication number Publication date
JP2013505687A (ja) 2013-02-14
EP2652641A1 (en) 2013-10-23
TW201242341A (en) 2012-10-16
KR101422527B1 (ko) 2014-07-24
KR20120081554A (ko) 2012-07-19
TWI558187B (zh) 2016-11-11
EP2652641A4 (en) 2015-05-06
JP5559360B2 (ja) 2014-07-23
US20140196066A1 (en) 2014-07-10
CN102770861B (zh) 2016-05-18
WO2012079188A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
CN102770861A (zh) 数据突出和提取
US20190098371A1 (en) Media narrative presentation systems and methods with interactive and autonomous content selection
US20150245084A1 (en) Apparatus and method for gathering analytics
Robinson Television on demand: Curatorial culture and the transformation of TV
CN104823454A (zh) 向辅助连接设备的内容推送
CN100578566C (zh) 指南生成单元
KR20160054485A (ko) 비디오 콘텐츠의 동적 바인딩
US10810250B2 (en) Revisiting content history
US20120139940A1 (en) Video Overlay Techniques
Adejunmobi Nollywood, globalization, and regional media corporations in Africa
US20220210514A1 (en) System and process for collaborative digital content generation, publication, distribution, and discovery
US20180130499A9 (en) Method for intuitively reproducing video contents through data structuring and the apparatus thereof
US8898259B2 (en) Bookmarking system
US20200183975A1 (en) Video content optimization system
Ahuja Transforming the media and entertainment industry: Cases from the social media marketing world
Maria Sadlowska et al. Independent cinema in the digital age: is digital transformation the only way to survival?
US9930424B2 (en) Proxy channels for viewing audiences
Marx Radio voices, digital downloads: bridging old and new media in the Onion Radio News podcast
Powers Building buzz and episodes with bite-sized content: Portlandia's formula for turning a video project into a television series
KR101301065B1 (ko) 광고 제공 방법
Bailey STRATEGIC AUDIT OF PANDORA MEDIA, INC.
Telang et al. Spotify: In a Spot of Bother
Primschitz The effects of digitization on the music industry–From the viewpoint of music creators and independent record labels in Sweden
Adewumi INVESTIGATING MARKET POTENTIAL FOR STREAMING SUBSCRIPTION MODEL IN EMERGING ECONOMIES: A CASE OF NIGERIA
Hamilton The Harkive Project: Popular Music, Data & Digital Technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518

Termination date: 20201213