CN102422284A - 标记系统 - Google Patents

标记系统 Download PDF

Info

Publication number
CN102422284A
CN102422284A CN2010800204386A CN201080020438A CN102422284A CN 102422284 A CN102422284 A CN 102422284A CN 2010800204386 A CN2010800204386 A CN 2010800204386A CN 201080020438 A CN201080020438 A CN 201080020438A CN 102422284 A CN102422284 A CN 102422284A
Authority
CN
China
Prior art keywords
user
module
mark
disambiguation
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800204386A
Other languages
English (en)
Other versions
CN102422284B (zh
Inventor
艾安·迈克尔·霍斯金
尼古拉斯·詹姆斯·朗
克里斯托弗·苏顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intrasonics SARL
Original Assignee
Intrasonics SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intrasonics SARL filed Critical Intrasonics SARL
Publication of CN102422284A publication Critical patent/CN102422284A/zh
Application granted granted Critical
Publication of CN102422284B publication Critical patent/CN102422284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • G06F16/634Query by example, e.g. query by humming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features

Abstract

描述了一种标记系统,用于允许用户标记音频和视频内容,用于与其他用户共享。该系统允许以最小的用户参与生成标记,使得该处理可以像在计算机装置上标记网站一样容易使用。消除歧义服务器被设置为对待标记的内容消除歧义。消除歧义服务器使用来自各种源的信息来提供多个候选用于用户选择。历史数据和其他用户的标记也可以用于辅助消除歧义处理。

Description

标记系统
技术领域
本发明涉及标记音频和/或视频内容用于与其他用户共享的系统和方法。本发明尤其涉及标记音频内容以及对这种标记的后续分析用于观众和市场调查。
背景技术
快速并容易地访问信息的梦想追溯到万维网(WWW)到来之前。Vannevar Bush早在1945年就在The Atlantic Monthly写了其富有远见的文章“As We May Think”。这篇文正描述了称为Memex的概念机。虽然其本质上是机械并使用微缩胶片,但是其确实描述了许多我们在当下与WWW联系的特征,诸如页面的链接和组合。
“As We May Think”对Ted Nelson和Douglas Englebart有着关键影响,前者创造了术语“超文本”和“超媒体”,而后者发明了鼠标并在1968年12月9日对此以及革命性计算机协作系统进行了论证。被称为NLS(在线系统)的系统包括像视频会议一样先进的特征和超文本链接的实际实现方式。在20世纪80年代末,通过诸如ENQUIRE的项目从Tim Berners-Lee的成果中产生了万维网。随着社交媒体、社交网络、以及分众分类法的出现,万维网已经进一步发展到Web 2.0。
社交网络的一个重要元素是网络中用户间的信息共享。人们已经发现,讲述他们干什么以及他们喜欢什么是有价值的。社交网络者共享其对于更广泛的话题和全部类型媒体的观点的期望越来越大。
Vannevar Bush的许多梦想已经实现了。例如,单次鼠标点击可以标记网页,这可以通过诸如delicious(www.delicious.com)的各种社交网络服务来加标签并与其他用户共享。然而,非常难以按照与网页相同的方式来标记音频和视频内容。当经由广播电视或无线电网络消费(观看或收听)视频和音频时并且只有一个简单的远程控制接口而通常没有互联网连接时,该问题进一步加剧。
发明内容
本发明关注于将可用于网页的标记的简单性提供给视频和音频内容。
本发明还关注用于观众调查和市场调查目的的标记的后续分析。特别地,许多现有观众调查系统目前测量用户对电视或无线电节目的“接触(exposure)”。它们实际上并不知道用户是否真正地观看或收听广播节目。但是,借助于由本发明生成的标记,可以获得关于广播内容的用户“参与”的真实测量-当他/她标记内容用于后续观看和/或与其他用户共享,则该用户真正地“参与”了内容。读者参考由Joe Plummer等在2007年5月30日发表的题为“Measures of Engagement”的论文,其描述了“接触”和“参与”之间的差别以及测量参与的一些方法。
根据一个方面,本发明提供了一种标记系统,包括用户装置和消除歧义模块,其中,用户装置包括标记模块,标记模块可操作用于:i)接收用户发起的输入,该输入表明对播出模块播放的媒体内容片段进行标记的期望;ii)获得与从耦接至用户装置的麦克风捕获的听觉信号相关的数据;以及iii)将与听觉信号相关的数据发送到消除歧义模块;以及其中,消除歧义模块可操作用于:i)处理与由用户装置捕获的听觉信号相关的数据,以识别用户想要标记的媒体内容片段;以及ii)生成针对该媒体内容片段的标记数据。媒体内容可以包括视频和/或音频内容。
在一个实施方式中,消除歧义模块处理与听觉信号相关的数据,以生成用户选项,并将用户选项输出到用户装置,并且其中,用户装置将用户选项输出给用户以便用户选择。然后,用户装置可以将用户选定的选项发送回消除歧义模块,用于对待标记的媒体片段的身份消除歧义。
在优选实施方式中,标记模块独立于播放媒体内容的播出模块运行。这允许该系统能够用任何未来的或传统的播出模块或装置来运行。播出模块通常设置在独立于用户装置的装置上,诸如电视机或收音机。
在一个实施方式中,用户装置处理所捕获的听觉信号,以提取听觉信号中嵌入的一个或多个码,并且其中,发送到消除歧义服务器的数据包括该码。该码或每个码通常包括频道标识符和时间码,并且消除歧义模块使用频道标识符和时间码对内容消除歧义,以及识别待标记的媒体内容片段。
在可替换实施方式中,由用户装置发送的数据包括听觉信号的采样,并且系统进一步包括指纹模块,该模块比较由用户装置捕获的听觉信号的采样和存储的已知媒体内容的音频模式,并将数据输出到消除歧义模块,其识别可能与用户装置捕获的听觉信号匹配的媒体内容。然后,消除歧义模块使用该数据来识别待标记的内容。
该系统还允许用户输入与待标记的内容片段相关的数据,以包括在标记中。用户输入可以包括文本、音频、或可视化注释中的一个或多个。
通常,消除歧义模块将生成链接(诸如URL)或内容标识符(诸如,由创建内容的媒体制作者生成的PID),以包括在标记中,允许用户或其它用户随后访问所标记的内容。消除歧义模块还可以确定待标记的内容片断的开始和结束点,以包括在标记中。因此,一般地,消除歧义模块使用从用户装置捕获的听觉信号解码或导出的有限元数据,对想要标记的内容的身份和期望的开始和结束点消除歧义。
标记本身可以由消除歧义模块生成或用户装置根据由消除歧义服务器提供的数据生成。
消除歧义模块可以设置在用户装置中,或者设置在用户装置可经由通信网络连接的至少一个远程服务器中。
本发明还提供了一种用户装置,包括:用户界面;麦克风;以及标记模块,该标记模块可操作用于:i)接收用户发起的输入,该输入表明期望标记由播出模块播放的媒体内容片段;ii)获得与从麦克风捕获的听觉信号相关的数据;以及iii)将与听觉信号相关的数据发送到消除歧义模块。
本发明还提供了一种消除歧义模块,用于对用户待标记的内容消除歧义,消除歧义模块可操作用于:i)处理与用户装置捕获的听觉信号相关的数据,以识别用户想要标记的媒体内容片段;以及ii)生成针对该媒体内容片段的标记数据。
对由许多不同用户这样生成的标记的分析提供了观众调查或媒体研究数据的丰富源泉,其提供用户对内容参与的清晰指示,而不是测量用户与内容相接触的常规调查测量。因此,本发明还提供了一种标记分析模块,其对利用上述标记系统从多个不同用户获得的聚合标记进行分析,并且这提供了用于市场或媒体研究目的的媒体分析数据。
本发明中使用的模块可以是硬件模块,或者可以是软件模块。它们还可以是硬件模块或软件模块的混合。在设置软件模块的情况下,可以设置计算机可读介质或其他软件产品来承载码,以使得可编程装置被配置为上述用户装置、消除歧义模块、或分析模块。还提供了相应的方法。
优选实施方式的一些有利方面包括:
1)允许独立于播放内容的播放装置的类型,标记带有时基的内容;
2)组合从内容的音频解码或导出的有限元数据和其他元数据源,以对内容身份以及感兴趣的开始和结束点消除歧义(解析);
3)使用多种消除歧义方法以及这些消除歧义方法的各种组合来对内容身份和所期望的开始和结束点消除歧义;
4)随着包括用户输入的更多元数据变得可用,随着时间推移的迭代解决方案,以提高准确度;
5)来自不同用户的聚合标记,以提供辅助消除歧义的额外数据,或提供EPG的建议;
6)设置编辑标记以及制作剪辑汇编的能力;
7)将额外数据添加到包括标题数据的标记的能力;
8)使用聚合的标记数据来进行用户对媒体内容的兴趣的市场调查或媒体调查的能力;
9)将标记剪辑下载到诸如STB的媒体播放装置,以允许后续播放容易访问剪辑的能力;
10)标记内容本身中的参考的能力。
附图说明
从参照附图描述的示例性实施方式的以下详细描述中,本发明的这些和其他各个方面和特征将变得显而易见,在附图中:
图1是体现了本发明的移动通信系统的示意图;
图2是示出形成图1示出的系统的一部分的移动电话的主要元件的框图;
图3是示出形成图1示出的系统的一部分的消除歧义服务器的主要部件的框图;
图4是体现本发明的另一移动通信系统的示意图。
具体实施方式
概述
本实施方式的视频&音频标记系统被设计为:
·为方便使用-旨在标记网页的简单性。
·为移动性-不同于网页,音频和视频内容以各种方式被消费,其中许多方式并不是坐在电脑前。
·广播兼容-虽然音频和视频内容越来越多地通过互联网被消费,但是仍然有广播网络的广泛普遍使用。
·提供内容的准确识别-所有音频和视频内容都具有固有的时基。例如,节目可以历时30分钟。用户可能希望标记整个节目或者仅标记其片段。可能有节目的特别部分是感兴趣的并且用户只想对此进行标记。因此理想的是不仅仅准确地识别内容,还识别用户感兴趣的开始和结束时间。
·容易地整合-任何系统都应当尽可能多地与现有基础设施整合,包括使用社交网络网站,以能够共享标记。
·允许标记易于检索-标记应当易于被检索,这包括内容的开始和结束时间,特别是在已经标记了片段的情况下,并且优选地还链接至内容。易于检索还应当包括经由社交网络网站的使用。
图1概述了在本实施方式中被设置用于允许用户标记视频和/或音频片段用于后续使用和共享的音频和视频标记系统1。最初,音频和/或视频内容由诸如电视摄像机或无线话筒的内容创建器3创建。内容创建器3可以在捕获到内容时立即将其输出,例如用于现场直播;或者内容创建器3可以在准备广播或以其他方式分发到最终用户之前处理并编辑内容。这样创建的内容将通常存储在媒体存储装置5上用于随后播出。另外,还可以经由播出/连续性系统7现场播出。通过在可用频道上同步不同内容的播出时间的调度服务器9来驱动播出/连续性系统7。
在播放链中设置有音频编码器11,其将数据插入或嵌入到音频流中。这种编码系统当前用于诸如观众监控的任务(参见例如WO02/45273,其全部内容结合于此作为参考)。在观众监控的情况下,由编码器11插入到音频的数据通常包括频道标识符和某种形式的时间码。其他数据可以被插入诸如作为内容本身的唯一标识符,例如从而标识音乐曲目或广告。由编码器11执行的编码通常以嵌入数据在音频作为听觉(声音)信号播出时对最终用户不起眼的方式执行。用于此的技术已经非常成熟(参见例如WO02/45286或WO2009/144470,其内容结合于此作为参考)。
内容流然后被分配(13)到用户播放装置15。该分配可以通过各种方式来发生,包括陆地和卫星广播、电缆、以及互联网甚至诸如DVD和CD的媒体。由于数据嵌入在音频中,因此该系统可对任意形式的分配起作用。
还应当注意,音频编码(由编码器11执行)可以发生在分配链的其他地方,例如用户本地,例如,用户的机顶盒(未示出)。这还提供了对该与例如用户地理上所处的场所相关的额外有用数据进行编码的可能性。这允许“你在哪儿”元素为标记。
然后经由诸如TV、收音机、计算机、多室分配系统、以及个人和便携式计算装置的标准播放装置15将内容播放给用户。播放装置15通常包括显示子系统(内容包括音频)和包括一个或多个扬声器的音频子系统(未示出)。该实施方式的一个优势在于无论所使用的特别创建系统3、存储系统5、播出系统7、分配系统13、以及播放系统15的工作能力。
插入在内容音频中的数据存在于由播放装置15输出的听觉信号19中。听觉信号19经由麦克风23被用户的移动(蜂窝)电话21接收并被电话21中的解码器(未示出)解码。电话21解码和恢复插入的数据的方式很容易理解(参加例如WO02/45273),因此这里将不再进一步详细描述。移动电话21的使用解决了在包括广播媒体的各种环境中消费内容的问题。当用户听到或看到他们想要标记的事物时,用户能够使用移动电话21的用户界面请求标记该内容。特别地,当用户想要标记特定内容时,他们按下键盘31上的按钮。这使得解码器(未示出)将音频中嵌入的数据解码。该嵌入的数据连同诸如由用户输入的标识用户为何标记该内容的信息的其他信息,可能足以用作音频/视频内容的标记,并允许内容的后续检索。
然而,在大多数情况下,由编码器11插入至音频的数据不足以准确地识别内容用于随后检索;并且即使能够准确地识别内容,优选地仍然是指定用户想要标记的内容片段的开始和结束时间。因此,在大多数情况下,存在着对标记了什么特别内容进行消除歧义的需要。在该实施方式中,这是使用内容消除歧义服务器37来实现的。特别地,用户的移动电话21通过到基站41和通信网络43(通常将包括互联网和/或用户的蜂窝电话运营商网络的一部分)的RF无线链接39连接至内容消除歧义服务器37。用户的移动电话21将其从听觉信号19(以及任何其他用户输入和其他相关信息)提取的数据传送到内容消除歧义服务器37。服务器37使用接收的数据来检索调度服务器9中存储的调度信息。如果可用信息不足以解决歧义,则消除歧义服务器37可以向用户的移动电话21发送提示,请求额外信息。通常,这些提示将经由显示器29输出给用户。一旦用户对提示进行了响应并且消除歧义服务器37具有对内容消除歧义所需的信息,则服务器37将唯一识别内容的信息发送到用户的移动电话21。用户的电话21能够自己存储该信息用于随后检索控制内容时使用,或者用户的电话21能够使用该信息来生成针对内容的所需标记。通过将标记推送(使其可用)在例如由社交网络服务器45运营的社交网络上,可以与其他用户共享标记。社交网络服务器45还可以从媒体存储装置5检索内容用于其数据库47内的本地存储,使得社交网络网站的其他用户容易地访问该内容。
一旦创建了标记,则用户可以经由其移动电话21或经由单独的互联网访问装置49(诸如个人计算机等)对其进行编辑。用户可以编辑标记,以包括诸如评论或说明的额外信息;或者细化标记,使得其更准确地指向所期望的内容。
该实施方式中还设置了标记分析服务器51,以分析由不同用户生成的标记。分析服务器51从消除歧义服务器37获得标记信息(尽管其还可以从社交网络服务器45获得该标记信息)。由用户生成的标记信息对于市场调查目的特别有用,这是因为其突出了不同用户感兴趣或“参与”的足以创建标记的内容。该信息比仅标识用户是否已经与内容“接触”的普通观众调查信息更有价值,这是因为在内容正在播出时,用户可能没有实际观看或收听该内容。
移动电话
图2示出了在本实施方式中使用的移动电话21的主要部件。如图所示,移动电话21包括用于接收听觉信号和用于将其转换成电气等效信号的麦克风23。这些电气信号然后被过滤器51过滤,以去除通常在300Hz至3.4kHz的频带外的不想要的频率。经过滤的音频然后被模拟数字转换器53数字化,该转换器通常以8kHz的采样频率对经过滤的音频采样,通常用13位至16位数字值来表示每个采样。数字化音频流(D(t))然后被输入到处理器55,其在语音呼叫期间压缩音频,并将压缩的音频输出到RF处理单元57,该RF处理单元将压缩的音频调制到一个或多个RF载波信号上用于经由天线27传输到基站35。类似地,经由天线27接收的压缩音频信号被馈送到RF处理单元57,该RF处理单元解调接收的RF信号,以从RF载波信号恢复压缩的音频数据,然后将其传送到处理器55。处理器55然后将压缩的音频数据解码,以重新生成由此表示的音频采样,其经由数字模拟转换器59和放大器61被输出到扬声器25。
处理器55的操作由存储器65中存储的软件控制。该软件包括操作系统软件67(用于控制移动电话21的一般操作)、用于访问互联网的浏览器68、以及用于为移动电话21提供额外功能的应用软件69。在该实施方式中,应用软件69被配置为使得移动电话21以上述方式生成播出装置15所播放的音频或视频内容的标记。
消除歧义服务器
图3是示出该实施方式中使用的消除歧义服务器37的主要部件的框图。如图所示,消除歧义服务器37包括网络接口81,消除歧义服务器37经由该接口与用户电话21、调度服务器9、以及标记分析服务器51通信。消除歧义服务器37还包括由存储器85中存储的软件控制的处理器83。如图所示,该软件包括操作系统87、含有候选列表91和标记目标93的消除歧义模块89、以及用户交互模块95。存储器还存储可用于帮助消除歧义处理的诸如用户配置文件数据97的其他数据。
操作
由系统将如何为用户生成标记的实例来最好地理解标记系统的操作。
最初,用户可以观看由BBC在电视播出装置15上播放的节目,并且在播放期间的一些点,他们看到感兴趣的事物,因此他们按下其移动电话21上的按钮。这使得应用软件69启动,并且其立即开始查找由麦克风23接收的听觉信号19中嵌入的数据。该嵌入的数据应当至少标识用户正在观看的频道和何时播放内容的时间码。然而,关于用户想要标记什么(“标记目标”)仍然有歧义。
为了克服该歧义,应用软件69与消除歧义服务器37通信。取决于实现方式,这可以是简单的“目录查找”服务(将频道和时间码映射到对应内容的内容标识符),或者消除歧义服务器37可以使用更复杂的算法用于消除歧义。取决于实现方式,该算法可以涉及提示用户提供更多信息来阐明他们想要标记什么。
在以下的实例中,将假设消除歧义服务器37将利用一些用户交互来执行消除歧义。其他实现方式可以使用不同的处理步骤,或者可替换地基于规则、基于推断、或者其他类型的算法,并可以支持来自不同广播商的频道范围。该实例中的消除歧义服务器37使用可用信息和程序来生成用户可能已经想要标记的项目的“候选列表”91,并使用程序和来自用户交互的额外信息来缩小候选列表91,以产生最终的标记目标93。候选列表91中的每项都具有用于引导用户交互的分配类型、以及开始时间和结束时间。
示例消除歧义处理
消除歧义服务器37最初接收来自用户的移动电话21的频道和时间信息。作为响应,消除歧义服务器37将候选列表91初始化清空。消除歧义服务器37然后尝试使用来自BBC的调度服务器9的BBC调度信息(可用作结构化XML数据)来填充候选列表91。
消除歧义服务器37使用从移动电话21接收的频道和时间码信息来构造URL,以访问调度服务器9中存储的XML数据。例如,如果频道信息是“BBC 1/伦敦”并且时间码是“2010年2月22日18:01”,则消除歧义服务器37构造如下URL:
http://www.bbc.co.uk/bbcone/programmes/schedules/london/2010/02/22. xml
所生成的URL的特别结构对寻址的调度服务器将是特定的并且将由消除歧义服务器37预先知道。
针对该URL返回的XML数据具有多个<播放>元素,每个元素都用于计划全天在识别的频道播放的每个节目。每个元素都具有指定节目的计划播放时间的<开始>和<结束>子元素,并且子元素进一步描述情节(Episode)、系列、和品牌。<情节>元素具有唯一标识符元素<pid>,消除歧义服务器将其用作该播放项的内容标识符。
在该实例中,时间码信息表明所观看的内容在18:01播放,因此消除歧义服务器处理所接收的XML数据,以识别在18:01播放的内容。在该情况下,内容标识符设置为“bbc_pid:b00r0zfn”用于标题为“BBC Newsat Six”的节目。消除歧义服务器37然后将该内容标识符添加到类型为“情节”的候选列表91。
在该实施方式中,如果用户在节目的计划时隙的开始或结束的5分钟内按下按钮,则消除歧义服务器37适当地也从已经检索的时间表XML提取用于上一节目或下一节目的内容标识符。这对于用户在电视节目的开始或结束附近按下按钮的情况有助于消除歧义。他们可能想要标记当前节目、或者下一节目(可能稍后观看)、或者上一节目(他们迟于标记的节目)。
在该实例中,消除歧义服务器37从在17:59结束的标题为“WeakestLink”的节目检索内容标识符“b006mgvw”,并将其添加到候选列表91。
消除歧义服务器37还可以考虑用户配置文件数据97中为用户保持的用户配置文件,以识别其他可能的候选项以包括在候选列表91中。例如,用户配置文件数据97可以定义能够用于识别其他可能候选的用户的过去和当前行为。例如,用户配置文件数据97可以表明该用户在不同的日子频繁标记了同一节目。(消除歧义服务器37可以从由用户的移动电话21发送的初始标记请求中包括的用户ID信息(可以包括用户的电话号码)来识别特别用户)。因此,消除歧义服务器37还可以检索前一天或后一天的时间表XML,以获得对应于其他天的节目的信息。消除歧义服务器37然后将这些额外内容标识符添加到类型为“情节”的候选列表。
消除歧义服务器37还使用额外数据源来生成额外候选。例如,消除歧义服务器37可以查找关于其已经添加到候选列表91的电视节目的片段的时间信息及其组成镜头,以导出每个镜头的播放时间。广播服务器37然后可以识别用户按下按钮之前最后的三个镜头,并将这些镜头添加到类型为“场景(Scene)”的候选列表91。一般地,该信息仅用于直播节目或“室内”制作的节目。在该实例中,BBC的制作时间表将具有“BBC Newsat Six”的逐片段的信息。消除歧义服务器37将使用媒体对象服务器(MOS)协议与BBC的媒体播出系统7联络,以请求关于节目的元数据,并收回包括每个节目片段的唯一标识符和开始/结束时间的结构化XML数据。
消除歧义服务器37还与调度服务器9联络,以请求关于在节目之间的空隙播出的任何广告或节目预告片的信息。如果存在任何广告或预告片,则消除歧义服务器37将在用户按下按钮前5分钟内放映的任何广告或预告片添加到类型为“广告”的候选列表。虽然BBC不广播商业广告,但是其在节目之间放映促销广告。在该实例中,可能已经在“Weakest Link”和“BBC News at Six”之间放映了将被添加到候选列表91的广告。
额外地或可替换地,消除歧义服务器37可以请求从BBC的广播合作伙伴Red Bee Media请求传输日志信息。该传输日志构成了“运行”时间表,并且收回的信息将指定在这两个节目之间播放的包括广告的全部媒体项,并将提供每个媒体项的唯一标识符和开始/结束时间。
唯一标识符用于构造内容标识符(见下面的说明),并且这些与设置的开始/停止时间组合,以将新项目添加到候选列表91。当构造内容标识符时,必须注意确保其在标记系统中是唯一的。BBC所使用的“PID”值的分配由BBC控制,因此可以假设,任意PID都是BBC内容的唯一标识符。当这些与来自媒体播出系统7和来自调度服务器的标识符混合时,需要一些额外步骤来确保全部内容标识符的唯一性,诸如用其源(例如,实例中的“bbc_pid”、“redbee_id”、“bbc_playout_id”)做所有内容标识符的前缀。
一旦消除歧义服务器37已经生成了候选列表91,其经由用户的移动电话21发起与用户的交互,使得用户可以从候选列表91进行选择,或者至少可以缩小可能性。为此,在该实施方式中,消除歧义服务器37向用户的移动电话21发送关于候选列表中出现的类型的信息,以呈现给用户作为选择。在该实例中,消除歧义服务器37向分析结构化数据的应用软件69发送结构化数据(例如,XML数据),并将“情节”、“场景”、“广告”的选择输出给用户(例如,经由显示器29)。移动电话21还允许用户手动指定其标记的时间范围,而不是从候选列表91选择。一旦用户已经做出选择或手动指定了时间范围,移动电话21将用户输入返回到消除歧义服务器37。消除歧义服务器37接收用户输入,并且如果用户已经输入了开始和结束时间,则消除歧义服务器37将使用开始和结束时间来尽可能地对内容消除歧义。如果用户从列表选择了类型,则消除歧义服务器37将描述了与用户选择的类型匹配的、候选列表的项的结构化数据发送到移动电话21,以呈现给用户。响应于接收该进一步的信息,移动电话21将选择显示项之一的选项呈现给用户,或者表明显示项中没有项是用户想要标记的。移动电话21再次将从用户接收的进一步输入返回到消除歧义服务器37。
如果用户表明呈现给用户的候选列表91中没有条目是待标记的正确内容,则用户装置21可以提示用户输入额外信息。该额外信息可以包括标题(例如,“Boston Legal 22nd February”、“Flora Advert”、“Funny Scenewith elephant”)、元数据标签(例如,“advert”、“funny”、“Denny Crane”)、或其他描述信息。消除歧义服务器37然后可以使用该额外信息来尝试对待标记的内容消除歧义。
另外,消除歧义服务器37可以从其他用户的先前和实时行为信息的统计分析推断内容的身份和时间。例如,如果在特定时间点有相当数量的用户标记了节目并且这可能由节目中的特殊元素引发,因此消除歧义服务器37可以推断用户想要标记相对于整个节目的片段。例如,如果发生挫折(错误),则有可能人们想要标记节目的该片段。这可能要求广播商或其他方的进一步分析或手动细化,以准确地指定开始和结束时间。
如上所述,用户能够增加由消除歧义服务器确定的开始和结束时间以及内容标识符信息。额外信息可以包括:
·标签,例如“News”、“Blooper”、“Interview”
·评论,例如“This is a great interview”
·注释,例如“Note the person in the background”,这里,文本还可以包括其应当与图像的哪个部分/区域相关的说明
·捕获的图像,例如,视频内容背景中的人的捕获的图像
·评级,例如,用户能够给出例如5个中位列第4的评级
·共享,例如,用户可以指定还有谁能够看到用户的标记
对于注释的情况,移动电话21的用户界面可以包括用于选择注释应该位于图像何处的输入机制。例如,可以有4个区的集合,并且用户能够经由移动电话21的用户界面选择右上方的区。
移动电话21上的内置相机可以用于指定感兴趣的区域和/或提供待附至标记的图像或音频文件。例如,用户能够对视频屏幕(包括感兴趣的区域)拍照,然后使用移动电话21上的用户界面指定对捕获的图像的全部或只是一部分感兴趣;或者用户可以经由麦克风23输入指定标记的原因的口头说明,并且其可以被附至标记。
附至标记的任何额外信息还可以由消除歧义服务器37自动地分析(可选地,与媒体内容结合),以推断关于标记的进一步信息;例如,确定多个用户已指定了相同的感兴趣区域,即使他们捕获的图像或指定的区域不同。
一旦尽可能地对标记目标消除歧义,消除歧义服务器37使用关于标记目标的可用信息的选择来创建用户的标记。按特异性的降序排列,可能可用的信息类为:
1)唯一标识符。在情节的情况下,这将是从BBC的PID信息导出的内容标识符。在场景和广告的情况下,内容标识符可以从由生成这些候选的源(例如,BBC的播出服务器)提供的信息导出。
2)频道、开始时间、和结束时间。注意,这比最初由移动电话21提交的频道和时间信息更具体。
3)从移动电话21接收的频道和时间信息。
4)用户提供的描述性元数据。例如,标题或标签或者他们为何标记节目或片段的说明。
可以看出,由此可以生成丰富和准确的标记。标记可以存储在消除歧义服务器37中或存储在移动电话21上。标记用于共享也是理想的。共享可以经由诸如电子邮件或文本消息的多种机制发生,但是其特别地适合诸如Facebook(www.facebook.com)、Delicious(www.delicious.com)、和Twitter(www.twitter.com)一系列社交网络。这在图1中示出,其中,内容消除歧义服务器37或用户的移动电话21能够在社交网络服务器45上推送标记。消除歧义服务器37能够使用由用户设置的用户的社交网络账户的登录详情,以尽可能无缝地进行处理。这意味着内容消除歧义服务器37将具有针对每个用户的账户,以在其用户配置文件数据97中安全地保持其用户账户数据。
标记分析
用户行为以及多个用户的行为聚合是增强消除歧义处理的潜在丰富信息源并提供关于观看和收听习惯的有用信息。例如,可以看到标记了什么内容以及标记该内容的用户数量。该信息可以补充有诸如被捕获作为系统的这些使用的注册处理一部分的用户等级和人口统计信息的其他信息。聚合数据因此提供了强大市场调查数据库,其由标记分析服务器51分析,以扩大对用户观看什么或收听什么的认知,以包括其兴趣或意见的级别。分析服务器51可以接收传统观众调查数据,以及使用两个信息源来识别标识了用户真正参与的内容的更准确的观众调查信息。
修改和替换
以上已经描述了详细实施方式。本领域普通技术人员将意识到,可以对上述实施方式做出多种修改和替换,同时还从所体现的本发明中受益。
在上述实施方式中,消除歧义服务器37经由用户的移动电话21与用户交互,以对待标记的内容消除歧义。在替换实施方式中,用户可以决定在稍后的时间与消除歧义服务器37交互-例如,使用其家庭计算机经由有线网络连接。
在上述实施方式中,消除歧义服务器37设置在网络中。在替换实施方式中,消除歧义服务器的功能可以由用户的移动电话21或由用户的其他互联网装置(诸如其个人计算机)提供。
在上述实施方式中,用户的移动电话21发送从移动电话21接收的听觉信号中提取的频道和时间码数据。在替换实施方式中,移动电话21除了发送频道和时间码,还可以发送额外信息。例如,如果位置信息可用(诸如来自GPS解码器或来自小区ID数据),则还可以提供位置信息。该位置信息可用于确定节目内容中的任何区域变化。例如,所提取的数据可以显示正在观看频道1,但是借助于位置信息,还可以推断这可能来自特殊区域。该配置在频道可以显示对广播区域特定的本地新闻的情况下是有用的。
在上述实施方式中,消除歧义服务器能够确定待标记的内容的开始和结束时间。指定开始和结束时间的方法有多种。这些方法包括但不限于:
·整个节目。如果播出需要,可以从调度信息取出时间。
·用户的手动指定。这可以经由用户的移动电话的用户界面来执行。时间可以按照多种方式来指定,包括但不限于:
-实际时间,例如,22:10至22:15(在该情况下,通过将移动电话接收时间码的时间和广播时间码的时间相比较,可以参考移动电话的时钟时间作为广播时间)。
-估计期间,例如,发起标记前的3分钟至之后的5分钟。
-可以从用户发起标记(开始)的点和经由用户界面的后续输入导出开始点和结束点,以确定结束点。
-这些或其他输入方法的组合。
·识别来自调度信息的节目片段。例如,可以提供节目内容的细分,例如,采访被安排在22:09至22:14。再次,在不可能彻底解决的情况下,可以将一系列片段呈现给用户用于选择正确的片段。
在已经保存了标记的情况下,可以在以后的日子更新标记的详情。例如,如果很多人已经标记了特别部分,则可以手动地细化开始和结束时间(例如,经由内容消除歧义服务器37),然后该更新被发送到用户。可以将多种其他机制用于更新标记。例如,用户的标记可以参考包含普通标记的服务器。这意味可以在中心进行更新。该功能可以是内容消除歧义服务器37的一部分,或者驻留在不同服务器上。
可以由诸如个人计算机的互联网访问装置49来访问共享的标记。可以跟随标记,以允许从社交网络服务器的数据库47或从媒体存储装置5来播放视频或音频。标记中设置的时间信息意味着可以相对于整个节目播放较长节目的特定片段。还可以使用多种其他播放模块,例如,可以将标记的内容下载到个人视频录像机(PVR)或移动装置。还有对标记的剪辑收费的可能性,例如,基于每次播放支付或终身购买。
在以上实施方式中,系统依赖于用户装置来恢复正在播放的内容的声音中嵌入的数据。一种可替换的潜在补充方法,使用音频指纹来工作。音频指纹是一种用于识别内容的完善技术。例如,Shazam(www.shazam.com)是允许用户识别音乐曲目的商业系统的实例。这种系统的基础是已知曲目的音频指纹数据库。用户收听的内容的指纹,在手机中创建,或者在经由语音信道捕获音频的远程服务器创建。然后将所捕获的指纹与数据库中的指纹相比较,以试图识别曲目。
图4中示出了这种指纹方法的使用。来自播出系统7的传播(feed)进入指纹服务器101。这生成了该传播的指纹,带有相关频道ID和日期&时间戳。对于多频道业务,服务器101将获得来自不同频道的多个同步传播。
在该实施方式中,用户的移动电话21使用本地运行(在移动电话21上)的软件应用程序来生成指纹。该指纹然后被发送到指纹服务器101,该指纹服务器将指纹与其数据库相比较(如果正播放的内容将不断更新以记录播放内容)。当发现一个或多个匹配时,指纹服务器将与每个匹配相关的频道ID以及日期和时间传递给内容消除歧义服务器37,内容消除歧义服务器然后像上述第一实施方式那样对内容消除歧义。
可替换地,用户的移动电话21可以建立与指纹服务器101的语言信道(直接地或经由互联网),并且指纹服务器101可以捕获音频,并生成用于与其指纹数据库匹配的指纹。这意味着具有语音能力的任何用户通信装置甚至固定电话都可以用于该系统。
应当注意的是,嵌入数据实施方式和指纹实施方式没有理由不能并行工作。移动电话21上的应用程序可以在嵌入数据提取模式或指纹模式下运行,或者同时用作解码器并生成指纹。
由标记分析服务器51获得的信息不仅可以用于观众调查信息,还可以暗示关于用户可能想要收听或观看的内容。例如,用户可以继续标记特殊节目或节目类型(诸如科幻小说系列)。分析服务器51甚至标记服务器37可以处理由用户生成的标记以及由其他用户生成的标记,并且基于分析,可以推荐用户可能想要观看或收听的其他内容。这还可以进一步用于创建“社会EPG”。社会EPG通过聚合用途和标记信息以基于其他人感兴趣的内容来创建个人EPG来工作。可以收集的关键信息包括但不限于:
·我将要观看什么
·我正在观看什么
·我实际上观看了什么
·我标记了什么
·我编辑了什么
·我喜欢(偏好)什么
在这种实施方式中,可以通过推荐引擎从诸如机顶盒的播放装置15获得的数据来聚合诸如我正在观看什么、我将要观看什么、和我已经观看了什么的信息。将这些与用户主动标记、评价、编辑了什么相组合,使得对用户已经喜欢或可能喜欢什么有丰富的认知。在该数据经由社交网络网站共享的情况下,可以基于其媒体消费配置文件和其他配置文件信息,限制对来自知道或定义为“志同道合”的人的数据的推荐。然后可以通过推荐引擎生成个性化EPG,并经由播放装置15甚至其移动电话21呈现给用户。
音频和视频内容参考其他内容并非不寻常。例如,电视节目可以给出可以发现更多信息的网站的详情。借助于本发明,可以确定可以通过对标记参考(例如,网站)而非节目本身的愿望来驱动用户的标记请求。在这种实施方式中,可以设置参考服务器,收集来自节目内容的数据和元数据。例如,与节目的特别部分(时间)相关的网址(URL)。当用户发起标记时,内容消除歧义服务器37可以为与节目相关的任何参考检查参考服务器。这些参考然后可以作为标记选项在用户的移动电话21的显示器上呈现给用户。用户然后可以选择标记内容或其中的一个参考。
对于一些媒体内容,参考信息可能已经以数字形式可用。例如,播客通常具有与播客本身一起发布的相关“显示记录”。该文本信息通常按讨论的顺序包含于播客中讨论的项目的web链接。还可以指定何时在播客的时基中作出参考。这种信息源可以被访问,并可选地由参考服务器聚合,以当用户表明其想要标记参考时呈现给用户。
通过限制搜索参考的时间段,可以减小呈现给用户的参考选项的数量。例如,仅呈现在从标记时间前5分钟内做出的参考。也可以在从节目的早期搜索参考时将选项呈现给用户。还可以通过对显示的数量具有上限来限制选项的数量。例如,显示做出的最后四个参考。
上述方法对于提供与广告相关的链接特别有用。例如,在有可能包含8个30秒广告的4分钟广告休息时,可以将列表呈现给用户,用户可以从该列表选择其感兴趣的广告。
标记音频和视频内容的一个问题是处理其有时基的事实。在上述实施方式中,这是通过不仅能够识别内容、还能够识别播放在时基中的何处来解决的。用户的移动电话21可以有效地同步到媒体播放装置15。这意味着用户的移动电话21能够在消费内容的同时设置编辑标记。该一般原则的特殊实例如下:
·用户正在收听广播。
·用户的移动电话21中的音频解码器被打开并接收音频。
·音频解码器接收嵌入的内容ID和时间数据。应用程序然后设置基于接收的时间运行的定时器。其现在有效地同步到媒体播放装置15。
·用户收听其感兴趣的事物,并使用其移动电话21的用户界面来设置开始点。
·当感兴趣的项目结束时,用户再次使用用户界面来设置结束点。
·这可以针对其他感兴趣的项目重复,并可以在不同的频道和媒体源工作。
编辑标记实时设置的本质意味着其将需要细化。上述基本标记处理也是如此。存在有不同的方法来进行。这些方法包括但不限于:
·用户经由其移动电话21的用户界面手动调节。
·用户的移动电话21基于以下各项来自动调节:
-用户设置,例如,从用户指定开始点减去30秒;
-统计分析,例如,对设置晚了这么多秒的开始点的普通人的统计分析;
-内容时间表,例如,编辑标记开始点靠近时间表上的特殊项目的开始点;
·后期捕捉细化,其中,编辑标记被转发到编辑和汇编服务器上保持的用户账户。用户然后可以经由互联网访问装置49对此进行访问,以细化编辑标记。这可以通过审查可以经由社交网络服务器获得的内容来完成。
该容易地设置编辑标记的能力将其自身提供给用户,创建其自己的音频和/或视频剪辑汇编(播客和视频点播)。例如,这可以是其他人可以收听或观看的放在一起汇编的来自今天的“我的最爱”剪辑。
值得注意的是,在时间码未嵌入在音频中的情况下,可以使用用户移动电话的内置时钟或经由对调度服务器9的参考来确定。该替换方案特别适于图4中描绘的指纹方法。这里,可以根据由来自播放/连续性系统7的、指纹服务器101生成和时间戳记的指纹,来检查来自用户的移动电话21的指纹,以确定播放的时间点。这将处理通过参考初始时间而将内容时移的场景。还可以确定已经被时移的播放量。
如上所述,可以将各种不同数据添加到标记。可以添加的元数据的源之一是标题(例如,讲话的子标题)。将标题添加到标记具有多种潜在用途,包括:
·相比于内容本身,能够以低存储/带宽开销进行内容的丰富描述。
·标题可以用于细化剪辑的开始和结束点。例如,用户可以经由其移动电话21或另一互联网访问装置49来审查标题文本。用户能够选择表示开始以及同样用于结束点的标题。由于标题与内容同步,选择开始和结束标题允许用户装置或消除歧义服务器导出标记的更准确地开始和结束点。
·标题文本还可以与时间表交叉参考,以确定播出和最初时间表之间的任何差异。
如果标题不可用,则可以使用语音识别引擎来制作标题。例如,消除歧义服务器或一些其他网络服务器可以包括语音识别引擎,获得针对播出的传播,并生成时间戳记标题。
在播放期间暂停内容的能力已经延伸到通过使用个人视频录像机(PVR)的现场直播。借助于这里描述的标记系统,通过允许用户对其想要停止观看现场直播然后立即或在之后的日子在其他播放装置15上继续观看的瞬间,可以进一步扩大该功能。如果用户想要在另一位置或在另一装置上执行观看/收听,这是特别有用的。
在上述实施方式中,标记应用程序响应于用户按下移动电话上的按钮等,开始处理从麦克风接收的听觉信号以对嵌入听觉信号中的数据解码。本领域技术人员将意识到,为了恢复听觉信号19中嵌入的码,可以已经为不同的应用程序运行单独的解码模块(例如,报告检测到的所有码的观众调查模块)。在该情况下,当用户按下按钮或者以其他方式表明其期望做出标记时,标记模块从解码模块获得下一解码数据然后像之前那样将其传送到消除歧义服务器。解码模块不必与标记模块分离。例如,解码功能可以形成被布置为捕获用于观众调查目的的码的现有观众调查模块的一部分,并且标记模块被添加作为观众调查模块的额外部件。
在上述实施方式中,在用户按下电话上的按键表明其希望标记内容片段时,标记模块将数据发送到消除歧义服务器。标记模块然后用作用户与消除歧义服务器之间的接口,向用户提供从消除歧义服务器接收到的用户选项用于选择;并将用户选定的选项提供给消除歧义服务器。在可替换实时方式中,一旦初始数据已由标记模块提供至消除歧义服务器,后续的用户交互可以由不同的模块来控制。例如,当消除歧义模块希望与用户交互时,其可以将指令发送至用户的电话使其打开对于该消除歧义服务器的网络门户。该消除歧义服务器然后会通过该网络门户与用户直接交互。
在上述实施方式中,用户通过按下其移动电话上的键来发起标记操作。作为响应,移动电话将来自听觉信号的码进行解码或者捕获音频,并将解码的码或捕获的音频发送到远程服务器用于处理。在可替换实施方式中,用户装置可以只对码解码或捕获音频,然后将其存储,直到远程服务器请求来自用户装置的码或内容。这样,服务器“拉”进行标记所需的信息,而不是将信息“推”到服务器用于处理。
在上述实施方式中,标记主要被生成用于与其他用户共享。本领域技术人员将意识到,如果需要,标记可以保密。这可以用于在初始内容中标记用户想要从其继续观看或收听内容的点。在该情况下,标记将通常存储在用户装置上。
在上述系统中,内容消除歧义服务器通过查询第三方调度系统获得调度数据。当该第三方调度系统不可用时,通过连接至媒体流以及连同频道和时间一起存储内容元数据,可替换的消除歧义服务器可以建立其自己的调度数据库。可能的流源包括:RTSP、MMS、DAB文本、RDS、文字电视广播、MHEG、Open TV等。
在上述实施方式中,描述了移动电话作为用于自己生成或结合消除歧义服务器生成标记的用户装置。本领域技术人员将意识到,如果其具有捕获听觉信号的麦克风以及网络连接以允许其连接至其他装置特别是消除歧义服务器,则可以使用其他用户装置。用户装置还优选地是用户可以随身携带的便携式装置。移动(蜂窝)电话非常适于该任务,但是也可以使用诸如PDA、便携式媒体播放器或膝上型计算机的其他便携装置。
在以上的实施方式中,描述了多个软件模块和软件应用程序。本领域技术人员将意识到,软件模块或应用程序可以以汇编或非汇编形式设置,并可以在计算机网络上作为信号提供,或者在记录介质上。此外,可以使用一个或多个专用硬件电路来执行由该软件的部分或全部执行的功能。然而,软件模块的使用是优选的,这是因为其便于计算机系统的更新。另外,如果需要,上述一个或多个软件模块或应用程序的功能可以组合到单个模块中,嵌入在操作系统中,或者分离成多个不同模块。同样,可以通过单个服务器或者可以通过多个不同服务器来执行上述各种服务器中的一些或全部的功能。例如,为了负载均衡目的,还可以设置提供相同功能的多个服务器。
在上述实施方式中,用户的移动电话经由RF无线链接连接至基站。在其他实施方式中,可以使用其他无线甚至有线链接。例如,可以使用无线光链路将用户装置和基站连接。
在上述实施方式中,用户装置被布置为捕获听觉信号(使用其麦克风),然后将从听觉信号解码或导出的元数据发送到消除歧义服务器,用于识别内容以及内容的开始和结束点。在替换实施方式中,元数据可以嵌入在内容的视频部分中。在该情况下,用户装置上的相机可以捕获由播放装置播放的视频并将元数据解码,然后像之前那样将其转发到消除歧义服务器。可替换地,所捕获的视频可以发送到指纹服务器,在此可以确定内容的可能匹配并传送到消除歧义服务器。
在上述实施方式中,用户装置与播放装置分开设置。在替换实施方式中,用户装置和播放装置可以是同一装置。例如,许多移动电话具有内置无线电接收器模块,并且将来,许多将具有电视接收器模块。通常,这些无线电接收器模块或电视接收器模块将具有基本功能,并且本发明的标记系统可以设置为与其并行(且独立地)运行,以拾取由这些无线电/电视模块输出的听觉信号或视频信号,然后以与上述相同的方式运行。
对于本领域技术人员来说,各种其他修改将是显而易见的,并且这里将不再进一步详细描述。

Claims (43)

1.一种标记系统,包括用户装置和消除歧义模块,
其中,所述用户装置包括标记模块,所述标记模块可操作用于:
i)接收用户发起的输入,所述输入表明对播出模块正在播放的媒体内容片段进行标记的期望;ii)获得与从耦接至所述用户装置的麦克风捕获的听觉信号相关的数据;以及iii)将与所述听觉信号相关的所述数据发送到所述消除歧义模块;以及
其中,所述消除歧义模块可操作用于:i)处理与所述用户装置捕获的所述听觉信号相关的数据,以识别所述用户期望标记的所述媒体内容片段;以及ii)生成针对所述媒体内容片段的标记数据。
2.根据权利要求1所述的系统,其中,所述消除歧义模块可操作用于处理与听觉信号相关的所述数据以生成用户选项,并且可操作用于将所述用户选项输出到所述用户装置,并且其中,所述用户装置可操作用于将所述用户选项输出给所述用户以供所述用户进行选择。
3.根据权利要求2所述的系统,其中,所述用户装置可操作用于将用户选定的所述用户选项发回到所述消除歧义模块,并且其中,所述消除歧义模块可操作用于使用选定的所述选项从而对待标记的媒体片段的身份消除歧义。
4.根据上述权利要求中任一项所述的系统,其中,所述标记模块被布置为独立于正在播放所述媒体内容的所述播出模块运行。
5.根据上述权利要求中任一项所述的系统,其中,所述用户装置可操作用于处理所捕获的所述听觉信号,以提取嵌入在所述听觉信号中的码;并且其中,与所述听觉信号相关的所述数据包括经提取的所述码。
6.根据权利要求4所述的系统,其中,所述码包括频道标识符和时间码,并且其中,所述消除歧义模块可操作地使用所述频道标识符和所述时间码来对所述内容消除歧义并识别待标记的所述媒体内容片段。
7.根据权利要求1至3中任一项所述的系统,其中,与所述听觉信号相关的所述数据包括所述听觉信号的采样,所述系统进一步包括指纹模块,可操作用于将所述用户装置捕获的所述听觉信号的所述采样与存储的已知媒体内容的音频模式进行比较,并可操作用于将数据输出到识别能够与所述用户装置捕获的所述听觉信号匹配的媒体内容的所述消除歧义模块。
8.根据上述权利要求中任一项所述的系统,其中,所述用户装置可操作地接收与待标记的所述内容片段相关的用户输入,以包括在所述标记中。
9.根据权利要求8所述的系统,其中,所述用户输入包括文本、音频、或可视化注释中的一个或多个,并且其中,所述标记包括用户输入注释。
10.根据上述权利要求中任一项所述的系统,其中,所述消除歧义模块可操作地生成访问所述内容的链接或内容标识符,以包括在所述标记中。
11.根据上述权利要求中任一项所述的系统,其中,所述消除歧义模块或所述标记模块可操作地生成所述标记。
12.根据上述权利要求中任一项所述的系统,其中,所述消除歧义模块可操作地确定用于待标记的所述内容片段的开始和结束点,以包括在所述标记中。
13.根据上述权利要求中任一项所述的系统,其中,使用从所述用户装置捕获的所述听觉信号解码或导出的有限元数据,所述消除歧义模块可操作地对期望标记的内容的身份以及期望的开始和结束点消除歧义。
14.根据上述权利要求中任一项所述的系统,其中,所述消除歧义模块设置在所述用户装置中,或者设置在所述用户装置可经由通信网络连接的至少一个远程服务器中。
15.根据权利要求1至14中任一项所述的系统,其中,所述用户期望标记的所述内容片段包括视频内容。
16.一种用户装置,包括:
用户界面;
麦克风;以及
标记模块,可操作用于:i)接收用户发起的输入,所述输入表明对播出模块正在播放的媒体内容片段进行标记的期望;ii)获得与从麦克风捕获的听觉信号相关的数据;以及iii)将与所述听觉信号相关的所述数据发送到消除歧义模块。
17.根据权利要求16所述的用户装置,可操作地将所述消除歧义模块生成的用户选项输出给所述用户以供所述用户进行选择。
18.根据权利要求17所述的用户装置,其中,所述用户装置可操作地向所述消除歧义模块发送用户选定的用户选项,用于对待标记的媒体片段的身份消除歧义。
19.根据权利要求16至18中任一项所述的用户装置,其中,所述标记模块独立于正在播放所述媒体内容的所述播出模块运行。
20.根据权利要求16至19中任一项所述的用户装置,可操作地处理所捕获的所述听觉信号,以提取嵌入在所述听觉信号中的码;并且其中,与所述听觉信号相关的所述数据包括经提取的所述码。
21.根据权利要求20所述的用户装置,其中,所述码包括频道标识符和时间码。
22.根据权利要求16至19中任一项所述的用户装置,其中,与所述听觉信号相关的所述数据包括所述听觉信号的采样。
23.根据权利要求16至22中任一项所述的用户装置,其中,所述标记模块可操作地接收与待标记的所述媒体片段相关的用户输入,以包括在所述标记中。
24.根据权利要求23所述的用户装置,其中,所述用户输入包括文本、音频、或可视化注释中的一个或多个,并且其中,所述标记包括用户输入注释。
25.根据权利要求16至24中任一项所述的用户装置,其中,所述标记模块可操作地根据从所述消除歧义模块接收的数据生成所述标记。
26.根据权利要求16至25中任一项所述的用户装置,其中,所述用户期望标记的所述内容片段包括视频内容。
27.一种消除歧义模块,用于对用户待标记的内容消除歧义,所述消除歧义模块可操作用于:i)处理与用户装置捕获的听觉信号相关的数据,识别所述用户期望标记的媒体内容片段;以及ii)生成针对所述媒体内容片段的标记数据。
28.根据权利要求27所述的模块,其中,所述消除歧义模块可操作地处理与听觉信号相关的所述数据以生成用户选项,并且可操作地将所述用户选项输出到所述用户装置。
29.根据权利要求28所述的模块,可操作地从所述用户装置接收用户选定的用户选项,并且其中,所述消除歧义模块可操作地使用所选定的所述选项对待标记的所述音频片段的身份消除歧义。
30.根据权利要求27至29中任一项所述的模块,其中,与所述听觉信号相关的所述数据包括已经从所述听觉信号提取的码。
31.根据权利要求30所述的模块,其中,所述码包括频道标识符和时间码,并且其中,所述消除歧义模块可操作地使用所述频道标识符和所述时间码对所述内容消除歧义,以及识别待标记的所述音频片段。
32.根据权利要求27至31中任一项所述的模块,其中,从所述用户装置接收的所述数据包括与待标记的所述媒体内容片段相关的用户输入,以包括在所述标记中。
33.根据权利要求32所述的模块,其中,所述用户输入包括文本、音频、可视化注释中的一个或多个,并且其中,所述标记包括用户输入注释。
34.根据权利要求27至33中任一项所述的模块,可操作地生成用于访问所述内容的链接或内容标识符,以包括在所述标记中。
35.根据权利要求27至34中任一项所述的模块,可操作地生成所述标记。
36.根据权利要求27至35中任一项所述的模块,可操作地确定待标记的所述音频片段的开始和结束点,以包括在所述标记中。
37.根据权利要求27至36中任一项所述的模块,可操作地使用从所述用户装置捕获的内容解码或导出的有限元数据,对期望标记的所述内容的身份以及所期望的开始和结束点消除歧义。
38.根据权利要求27至37中任一项所述的模块,设置在所述用户装置中,或设置在远离所述用户装置并且所述用户装置能够经由通信网络连接的服务器中。
39.一种标记分析模块,其特征在于,所述分析模块对于使用权利要求1至15中任一项所述的系统从多个不同用户获得的聚合标记进行分析。
40.一种计算机可执行指令产品,包括计算机可执行指令,用于使得可编程计算机装置配置成根据权利要求16至26中任一项所述的用户装置,或者配置成根据权利要求27至38中任一项所述的消除歧义模块。
41.一种生成音频片段的标记的方法,其特征在于,使用权利要求1至15中任一项所述的系统。
42.一种标记系统,包括用户装置和消除歧义模块,
其中,所述用户装置包括:捕获装置,用于捕获播出模块播出的媒体内容;以及标记模块,可操作用于:i)接收用户发起的输入,所述输入表明对于所述播出模块正在播放的媒体内容片段进行标记的期望;ii)获得与所述捕获装置捕获的媒体内容相关的数据;以及iii)将与所捕获的所述内容相关的所述数据发送到所述消除歧义模块;以及
其中,所述消除歧义模块可操作用于:i)处理与所述用户装置捕获的所述内容相关的数据,以识别用户期望标记的所述媒体内容片段;以及ii)生成针对所述媒体内容片段的标记数据。
43.根据权利要求42所述的标记系统,其中,所述捕获装置包括照相机或麦克风。
CN201080020438.6A 2009-03-10 2010-03-10 标记系统 Active CN102422284B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0904113.8A GB0904113D0 (en) 2009-03-10 2009-03-10 Video and audio bookmarking
GB0904113.8 2009-03-10
PCT/GB2010/050428 WO2010103325A2 (en) 2009-03-10 2010-03-10 Bookmarking system

Publications (2)

Publication Number Publication Date
CN102422284A true CN102422284A (zh) 2012-04-18
CN102422284B CN102422284B (zh) 2015-07-15

Family

ID=40600813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080020438.6A Active CN102422284B (zh) 2009-03-10 2010-03-10 标记系统

Country Status (5)

Country Link
US (1) US20120089911A1 (zh)
EP (1) EP2406732B1 (zh)
CN (1) CN102422284B (zh)
GB (1) GB0904113D0 (zh)
WO (1) WO2010103325A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065625A (zh) * 2012-12-25 2013-04-24 广东欧珀移动通信有限公司 一种数字语音标签的添加方法及装置
CN103647761A (zh) * 2013-11-28 2014-03-19 小米科技有限责任公司 录音标记方法、装置、终端、服务器及系统
CN106164890A (zh) * 2013-12-02 2016-11-23 丘贝斯有限责任公司 用于消除非结构化文本中的特征的歧义的方法
CN107018451A (zh) * 2016-01-28 2017-08-04 深圳市音波传媒有限公司 时基码标记、生成及时基超媒体事件的调度方法、装置及系统

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125908A (ja) 1999-10-26 2001-05-11 Sony Corp 入力装置および方法
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US20120130876A1 (en) * 2010-11-18 2012-05-24 Andre Wesley Voisin System, Method and computer program for operating web-based collective e-money lending/borrowing circles between members and non-members of social networking websites
EP2487923A3 (en) 2011-02-10 2014-03-05 LG Electronics Inc. Multi-functional display device an method for contolling the same
EP2487924A3 (en) 2011-02-10 2013-11-13 LG Electronics Inc. Multi-functional display device having a channel map and method for controlling the same
EP2487925A3 (en) 2011-02-10 2012-09-19 LG Electronics Inc. Multi-functional display device and method for displaying content on the same
EP2487922B1 (en) 2011-02-10 2015-06-24 LG Electronics Inc. Multi-functional display device having an electronic programming guide and method for controlling the same
EP2487921A3 (en) 2011-02-10 2014-05-28 LG Electronics Inc. Multi-functional display device having a channel scan interface and a method for controlling the same
US10200756B2 (en) * 2011-02-11 2019-02-05 Sony Interactive Entertainment LLC Synchronization of favorites and/or recently viewed lists between registered content playback devices
KR101211098B1 (ko) 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
CN104012100A (zh) * 2011-10-14 2014-08-27 谷歌公司 作为媒体曝光计的可穿戴计算机
US8966042B2 (en) 2011-11-21 2015-02-24 Echostar Technologies L.L.C. Differentiating bookmarks in content access lists shared among multiple content player devices
CN102521321B (zh) * 2011-12-02 2013-07-31 华中科技大学 基于检索词歧义性和用户偏好的视频搜索方法
US8825763B2 (en) * 2011-12-09 2014-09-02 Facebook, Inc. Bookmarking social networking system content
US10049158B1 (en) * 2012-02-24 2018-08-14 Amazon Technologies, Inc. Analyzing user behavior relative to media content
WO2013180437A1 (en) * 2012-05-28 2013-12-05 Samsung Electronics Co., Ltd. A method and system for enhancing user experience during an ongoing content viewing activity
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9317471B2 (en) * 2012-11-02 2016-04-19 Google Inc. Bookmarking prospective media content on computer network
US9113213B2 (en) * 2013-01-25 2015-08-18 Nuance Communications, Inc. Systems and methods for supplementing content with audience-requested information
US9372616B2 (en) * 2013-01-31 2016-06-21 International Business Machines Corporation Smart interactive bookmarks
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US10394408B1 (en) * 2013-06-27 2019-08-27 Google Llc Recommending media based on received signals indicating user interest in a plurality of recommended media items
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
CN104092958B (zh) * 2014-07-01 2017-07-18 广东威创视讯科技股份有限公司 视频信号标注方法、系统以及装置
US20160094600A1 (en) * 2014-09-30 2016-03-31 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
CN104994443A (zh) * 2015-07-06 2015-10-21 无锡天脉聚源传媒科技有限公司 一种epg视频文件的生成方法及装置
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
CN106060589B (zh) * 2016-05-31 2019-04-12 无锡天脉聚源传媒科技有限公司 一种节目信息的分析方法及装置
US10489016B1 (en) 2016-06-20 2019-11-26 Amazon Technologies, Inc. Identifying and recommending events of interest in real-time media content
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US11552919B1 (en) 2017-09-28 2023-01-10 Twitter, Inc. User-defined message timelines
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11347379B1 (en) 2019-04-22 2022-05-31 Audible, Inc. Captions for audio content
US11463507B1 (en) * 2019-04-22 2022-10-04 Audible, Inc. Systems for generating captions for audio content
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020183059A1 (en) * 2002-06-08 2002-12-05 Noreen Gary Keith Interactive system and method for use with broadcast media
US20030021441A1 (en) * 1995-07-27 2003-01-30 Levy Kenneth L. Connected audio and other media objects
CN101014953A (zh) * 2003-09-23 2007-08-08 音乐Ip公司 音频指纹识别系统和方法
CN101025985A (zh) * 2006-02-16 2007-08-29 索尼株式会社 音乐作品提取程序、装置和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
GB2409737A (en) * 2003-12-31 2005-07-06 Nokia Corp Bookmarking digital content
EP2011017A4 (en) * 2006-03-30 2010-07-07 Stanford Res Inst Int METHOD AND APPARATUS FOR ANNOTATING MULTIMEDIA STREAMS
US9106801B2 (en) * 2008-04-25 2015-08-11 Sony Corporation Terminals, servers, and methods that find a media server to replace a sensed broadcast program/movie
US8051081B2 (en) * 2008-08-15 2011-11-01 At&T Intellectual Property I, L.P. System and method for generating media bookmarks
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021441A1 (en) * 1995-07-27 2003-01-30 Levy Kenneth L. Connected audio and other media objects
US20020183059A1 (en) * 2002-06-08 2002-12-05 Noreen Gary Keith Interactive system and method for use with broadcast media
CN101014953A (zh) * 2003-09-23 2007-08-08 音乐Ip公司 音频指纹识别系统和方法
CN101025985A (zh) * 2006-02-16 2007-08-29 索尼株式会社 音乐作品提取程序、装置和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065625A (zh) * 2012-12-25 2013-04-24 广东欧珀移动通信有限公司 一种数字语音标签的添加方法及装置
CN103647761A (zh) * 2013-11-28 2014-03-19 小米科技有限责任公司 录音标记方法、装置、终端、服务器及系统
CN106164890A (zh) * 2013-12-02 2016-11-23 丘贝斯有限责任公司 用于消除非结构化文本中的特征的歧义的方法
CN107018451A (zh) * 2016-01-28 2017-08-04 深圳市音波传媒有限公司 时基码标记、生成及时基超媒体事件的调度方法、装置及系统
CN107018451B (zh) * 2016-01-28 2020-03-06 深圳市音波传媒有限公司 时基超媒体事件的调度方法、装置及系统

Also Published As

Publication number Publication date
GB0904113D0 (en) 2009-04-22
WO2010103325A2 (en) 2010-09-16
EP2406732A2 (en) 2012-01-18
US20120089911A1 (en) 2012-04-12
WO2010103325A3 (en) 2010-11-04
CN102422284B (zh) 2015-07-15
EP2406732B1 (en) 2015-07-15

Similar Documents

Publication Publication Date Title
CN102422284B (zh) 标记系统
CN110351578B (zh) 用于根据脚本自动制作视频节目的方法和系统
CN103299648B (zh) 接收增强服务的方法及其显示装置
US9563699B1 (en) System and method for matching a query against a broadcast stream
CN102238420B (zh) 信息提供方法、终端、服务器装置、信息提供系统和程序
CN101517550B (zh) 大众传媒的社会性和交互式应用
US8737813B2 (en) Automatic content recognition system and method for providing supplementary content
CN102273200A (zh) 采用便携式装置的内容交互方法和系统
US20150378587A1 (en) Various Systems and Methods for Expressing An opinion
CN101128813B (zh) 用于提供关于广播的信息的方法和系统
US20160337059A1 (en) Audio broadcasting content synchronization system
CN102833596B (zh) 一种信息的传送方法及装置
CN105230035A (zh) 用于选择的时移多媒体内容的社交媒体的处理
CN103229513A (zh) 视频显示装置及其控制方法
US20130070152A1 (en) Sampled digital content based syncronization of supplementary digital content
KR20150035808A (ko) 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템
JP2003169312A5 (zh)
CN103477653A (zh) 供给设备、供给方法、接收设备、接收方法、程序和广播系统
CA2977740C (en) System and method for associating messages with media during playing thereof
KR101348704B1 (ko) 모바일 스마트 디바이스를 이용한 tv 방송 프로그램 보조 방법
CN106462637A (zh) 显示与设备上播放的内容有关的信息
CN104349183B (zh) 通过伴音通道实现的采集媒体收视效果反馈的方法
WO2014043987A1 (zh) 一种信息的传送方法、装置及系统
KR101279848B1 (ko) 스마트 디바이스를 이용한 방송 컨텐츠 및 연관성 뉴스 컨텐츠의 결합 방법
CN104427361A (zh) 电视服务系统与提供影音服务的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant