CN104303233B - 扩增与媒体内容有关的用户输入信息的方法和装置 - Google Patents

扩增与媒体内容有关的用户输入信息的方法和装置 Download PDF

Info

Publication number
CN104303233B
CN104303233B CN201380022215.7A CN201380022215A CN104303233B CN 104303233 B CN104303233 B CN 104303233B CN 201380022215 A CN201380022215 A CN 201380022215A CN 104303233 B CN104303233 B CN 104303233B
Authority
CN
China
Prior art keywords
user
media content
input information
comment
main media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380022215.7A
Other languages
English (en)
Other versions
CN104303233A (zh
Inventor
纳拉亚南·文基塔拉曼
桑托什·S·巴萨普
雪莉·A·查新
李泳锡
希伦·M·芒达利亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Andrew Wireless Systems UK Ltd
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN104303233A publication Critical patent/CN104303233A/zh
Application granted granted Critical
Publication of CN104303233B publication Critical patent/CN104303233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

所公开的是一种扩增用户输入信息(109)的方法，所述方法包括：使第一辅助装置(108)与主媒体内容(101)相关联(302)；接收(304)在所述第一辅助装置(108)处所输入的用户输入信息(109)；以及分析(306)所述用户输入信息(109)以识别用户内容元数据(111)。所述方法还包括以下各项中的至少一个：接收(310)与所述主媒体内容(101)有关的主内容元数据(107)并且从所述主媒体内容(101)得到(310)主内容元数据(107)；以及识别(314)所述用户内容元数据(111)与所述主内容元数据(107)之间的关联。

Description

扩增与媒体内容有关的用户输入信息的方法和装置
技术领域
本发明一般地涉及媒体内容的交互，并且更特别地，涉及扩增与媒体源相关联的用户输入信息。
背景技术
存在提供可查看的媒体内容的源的各种装置，诸如电视、计算机以及移动装置。这样的媒体源的观察者可能在一些实例中倾向于提供与正查看什么有关的某种类型的评论。诸如推特(TM)的服务给观察者提供评论的机会，所述评论然后可由跟随观察者或访问托管该评论的网页的其它人查看。时常评论总体上是一般的并且容易地整体归因于媒体内容，但是在其它情况下，评论特定于内容的单一部分。这可能是令人困惑的，因为当针对特定部分时，例如，评论能够在内容的该特定部分的上下文外缺少用户的相关性。此外，用户常常能够期望获得关于内容的特定部分、人或在内容中查看到的对象的附加的信息，而这可能是有挑战的。
发明内容
上述考虑事项和其它的由本发明解决，本发明能够通过参考本说明书、附图以及权利要求书来理解。根据本发明的方面，扩增用户输入信息的方法包括：将第一辅助装置与主媒体内容相关联；接收在第一辅助装置处所输入的用户输入信息；以及分析用户输入信息以识别用户内容元数据。所述方法还包括以下各项中的至少一个：接收与主媒体内容有关的主媒体内容元数据并且从主媒体内容得到主内容元数据；以及识别用户内容元数据与主内容元数据之间的关联。
在本发明的另一方面，以补充主媒体装置的操作的方式操作辅助装置的方法包括：建立第一辅助装置相对于主媒体装置的关联；在第一辅助装置处接收用户输入信息，其中，用户输入信息与由主媒体装置所输出的主媒体内容有关；分析用户输入信息；分析主媒体内容；以及识别用户输入信息与主媒体内容之间的关联。
在本发明的再一个方面，用于接收与主媒体内容有关的补充信息的系统包括：移动装置；用户接口，所述用户接口被配置成接收关于移动装置的用户输入信息并且显示关于移动装置的用户输入信息；以及在移动装置内部的发射机，所述发射机被配置成向另一装置发射包含与离散场景有关的主媒体内容的用户输入信息的至少一部分，所述离散场景可由移动装置的用户在用户输入信息被至少部分地输入到移动装置中时查看。该系统还包括在移动装置内部的接收机，所述接收机被配置成从另一装置接收通信，其中，通信包括对用户输入信息的扩增，所述用户输入信息包括对象列表、对象标识信息以及从与离散场景相关联的主媒体内容得到的主内容元数据和从用户输入信息得到的用户内容元数据中的一个或多个。
在本发明的又一个方面，增强主媒体内容的方法包括：在辅助装置上接收用户评论；从用户评论获得用户内容元数据；接收与由辅助装置的用户所查看的主媒体内容有关的主内容元数据；通过分析用户内容元数据和主内容元数据来确定用户评论是否与主媒体内容有关；以及通过将主内容元数据与用户评论相关联来生成扩增的用户评论，其中，经扩增的用户评论包括将用户评论与在主媒体内容中可查看的一个或多个场景的特定对象或属性相关的信息。
附图说明
虽然所附权利要求具体地阐述了本发明的特征，但是可以从结合附图进行的以下具体描述最好地理解本发明及其目标和优点，附图中：
图1是可以实践本发明的示例性通信系统的框图；
图2是示出图1的示例性辅助装置的示例性内部硬件组件的框图；
图3是用于使用图1的通信系统来将用户输入信息与主媒体相关联的示例性方法的流程图；
图4是在图1的辅助装置上可查看的示例性用户接口的图；以及
图5是利用扩增的评论的示例性方法的流程图。
具体实施方式
转向附图，其中同样的附图标记指代同样的元件，本发明被图示为被实现在适合的环境中。以下描述基于本发明的实施例，并且关于在本文中未显式地描述的替代实施例不应该被认为是限制本发明。
在图1中，通信系统100被示出为具有各种示例性组件。更特别地，主媒体装置102被提供用于从主媒体源104查看主媒体内容101。主媒体装置102包括显示器(未示出)，该显示器允许用户(未示出)查看各种类型的主媒体内容101，例如，电视节目、音频文件、电子书、电影以及个人视频。主媒体装置102能够包括允许主媒体内容101的查看的各种类型的装置中的一个或多个，诸如电视(例如，Google TV(TM))、计算机以及移动装置。在至少一些实施例中，主媒体装置102包括附加的装置，诸如配置成接收并且处理主媒体内容101以用于在主媒体装置102上查看的机顶盒106。主媒体装置102能够经由各种类型的通信中的一个或多个来接收主媒体内容101，所述通信诸如卫星传输、电缆传输以及因特网。
如图1中所附加地示出的，辅助装置108被配置用于与通信系统100的一个或多个组件通信。辅助装置108在至少一些实施例中是移动装置，诸如智能电话、平板或膝上型计算机。在其它实施例中，辅助装置108能够包括其它装置，诸如非移动装置，例如台式计算机。辅助装置108能够包括接口软件，诸如被配置成将辅助装置108与通信系统100中的一个或多个组件(诸如主媒体装置102和服务器112)接口对接的客户端应用110。此外，客户端应用110能够被利用来执行针对辅助装置108所讨论的动作中的一个或多个。辅助装置108能够经由使用例如(图2的)无线收发信机202或硬连线连接的各种类型的通信中的一个或多个与通信系统100中的各种装置进行通信。此外，一个或多个其它辅助装置116还能够被包括在通信系统100中，如在下面所讨论的。
通信系统100能够包括服务器112以使用通信的各种有线和无线方法中的一个或多个(例如经由蜂窝信号或因特网)与通信系统100中的一个或多个组件进行通信。服务器112能够包括一致地或独立地工作的一个或多个硬件或软件组件以提供可经由网络(诸如因特网)访问的信息存储部。在至少一些实施例中，服务器112包括一个或多个硬盘驱动器，然而在其它实施例中，服务器112能够包括代替或除基于硬盘驱动器的存储介质之外的各种基于微芯片的存储器存储装置，诸如随机存取存储器。另外，在至少一些其它实施例中，服务器112能够包括专用存储服务器服务，诸如“云服务”，其能够涉及与彼此一致地操作的多个存储装置。另外，通信系统100能够包括组合装置114，诸如电视装置(TM)。电视装置(TM)例如经由卫星传输、电缆传输以及因特网收集从许多源中的一个或多个接收到的各种类型的主媒体内容101。组合装置114能够将主媒体内容101传送到通信系统100中的各种装置，诸如主媒体装置102和辅助装置108。
在至少一些实施例中，通信系统100允许用户在主媒体装置102上查看来自主媒体源104的主媒体内容101，并且允许用户使用辅助装置108来组成用户输入信息109，诸如与主媒体内容101有关的基于文本的和基于语音的用户评论(帖子)。用户输入信息109与用户内容元数据111有关，如在下面详细地讨论的。主媒体源104能够包括各种媒体源中的一个或多个，诸如电视台、有线电视以及基于web的提供商、基于租赁的电影提供商等，其广播或者以其它方式提供对主媒体内容101的访问。在至少一些实施例中，主媒体源104包括消息传送服务器119，诸如可扩展消息传送和存在协议服务器(XMPP)，消息传送服务器119在诸如主媒体装置102和服务器112的装置之间提供消息传送。在至少一些其它实施例中，主媒体源104包括广播或者以其它方式提供对主媒体内容101的访问的媒体服务器121。主媒体内容101能够包括许多类型的信息中的任一个，诸如电子书、电影、电视节目、网络广播、视频等。主媒体内容101与主内容元数据107有关，如在下面更详细地讨论的。
在至少一些实施例中，辅助装置108接收关于能够对其执行各种操作的用户输入信息109。例如，能够扩增用户输入信息109以包括补充到用户输入信息109的附加的信息，诸如与由主媒体装置102所提供的主媒体内容101有关的主内容元数据107或将用户输入信息109与在主媒体装置102上查看到的特定“场景”相关联的场景水印ID。注意的是，在至少一些实施例中，“场景”被认为是其中动作被冻结(诸如在静止图片中)的单一视频帧。此外，能够扩增用户输入信息109以包括到在视频帧中找到的特定对象的关联，所述特定对象诸如人、特征(例如，特定服装项或场景位置)或物品。另外，能够扩增用户输入信息109以提供关于已在场景或用户输入信息109中识别的对象的附加的信息。一旦已扩增了用户输入信息109，则另一用户能够从辅助装置108或另一装置查看用户输入信息109的扩增版本，所述另一装置诸如不同于辅助装置108的附加的辅助装置116。在一个场景中另一个用户可以查看与主媒体无关的经扩增的用户输入信息。在另一场景中，其它用户可以在存在主媒体情况下查看经扩增的用户输入。在后者场景中，经扩增的评论的各部分可以用来进一步扩增正由第二用户所查看的主媒体。诸如通过将已被扩增的用户输入信息109与由该另一用户所提供的附加的用户输入信息相关联，或通过识别或者链接在已(或尚未)被扩增的用户输入信息109中所引用的对象，另一个用户能够提供用户输入信息109的附加的扩增。
转向图2，提供了图示图1中所示出的辅助装置108的示例性内部组件200的框图。在至少一些实施例中，这些内部组件200能够存在于可能与通信系统100的组件(诸如辅助装置116)进行通信的其它辅助装置中。如图2中所示，辅助装置108的组件200包括多个无线收发信机202、处理器部204(例如，微处理器、微计算机、专用集成电路等)、存储器部206、一个或多个输出装置208以及一个或多个输入装置210。在至少一些实施例中，存在用户接口，所述用户接口包括输出装置208中的一个或多个，诸如显示器，以及输入装置210中的一个或多个，诸如小键盘或触摸传感器。内部组件200能够进一步包括组件接口212以提供到附属组件或附件的直接连接以得到附加的或增强的功能性。内部组件200还优选地包括电源214，诸如电池，以用于在使得辅助装置108能够为便携的同时向其它内部组件提供电力。另外，内部组件200能够附加地包括一个或多个传感器228。内部组件200中的全部能够通过一个或多个内部通信链路232(例如，内部总线)的方式耦合到彼此，并且与彼此通信。
另外，在图2的本实施例中，无线收发信机202特别包括蜂窝收发信机203和Wi-Fi收发信机205。更特别地，蜂窝收发信机203被配置成进行蜂窝通信，诸如3G、4G、4G-LTE、面对面(vis-à-vis)手机信号塔(未示出)，但是在其它实施例中，蜂窝收发信机203能够被配置成利用各种其它基于蜂窝的通信技术中的任一个，诸如模拟通信(使用AMPS)、数字通信(使用CDMA、TDMA、GSM、iDEN、GPRS、EDGE等)或下一代通信(使用UMTS、WCDMA、LTE、IEEE802.16等)或其变体。
相比之下，Wi-Fi收发信机205是配置成依照IEEE 802.11(a、b、g或n)标准与接入点进行Wi-Fi通信的无线局域网收发信机205。在其它实施例中，Wi-Fi收发信机205能够替代地(或此外)进行共同地理解为被包含在诸如一些类型的对等(例如，Wi-Fi对等)通信的Wi-Fi通信内的其它类型的通信。另外，在其它实施例中，Wi-Fi收发信机205能够用针对非蜂窝无线通信所配置的一个或多个其它无线收发信机代替或补充，包括例如采用诸如HomeRF(射频)、归属节点B(3G毫微微小区)、蓝牙的自组织通信技术或诸如红外技术的其它无线通信技术的无线收发信机。因此，尽管在本实施例中辅助装置108具有两个无线收发信机203和205，但是本公开内容旨在包含其中存在采用任何任意数目的(例如，两个或更多个)通信技术的任何任意数目的(例如，两个以上)无线收发信机的许多实施例。
与辅助装置108的内部组件200的其它操作结合的无线收发信机202的示例性操作能够采取各种形式并且能够包括例如如下操作：一旦接收到无线信号，则内部组件检测通信信号，并且收发信机202对通信信号进行解调以恢复由无线信号所发射的传入信息，诸如语音或数据。在从收发信机202接收到传入信息之后，处理器部204针对一个或多个输出装置208将传入信息格式化。同样地，对于无线信号的传输，处理器部204将能够但是不必由输入装置210激活的传出信息格式化，并且向无线收发信机202中的一个或多个输送传出信息以用于调制以便提供待发射的已调制通信信号。无线收发信机202通过无线(以及可能有线)通信链路的方式向其它装置输送已调制通信信号，所述其它装置诸如图1的通信系统100的一个或多个其它组件。
取决于实施例，内部组件200的输出装置208和输入装置210能够包括各种视觉、音频或机械输出。例如，输出装置208能够包括诸如液晶显示器和发光二极管指示器的一个或多个视频输出装置216；诸如扬声器、警报器或蜂鸣器的一个或多个音频输出装置218；或诸如振动机构的一个或多个机械输出装置220。视频输出装置216尤其还能够包括视频屏幕。同样地，通过示例，输入装置210能够包括诸如光学传感器(例如，相机透镜和光电传感器)的一个或多个视频输入装置222、诸如麦克风的一个或多个音频输入装置224以及一个或多个机械输入装置226，诸如翻转传感器、键盘、小键盘、选择按钮、导航群集、触摸垫、电容式传感器、运动传感器和开关。能够致动输入装置210中的一个或多个的操作能够不仅包括按钮或其它致动器的物理按压，而且能够包括例如断开辅助装置108(如果它能够采取断开和闭合位置)、对辅助装置108进行解锁、移动辅助装置108以致动运动、移动辅助装置108以致动位置定位系统以及操作辅助装置108。
如上面所提到的，内部组件200同样能够包括各种类型的传感器228中的一个或多个。传感器228能够包括例如接近传感器(例如，光检测传感器、超声波收发信机或红外收发信机)、触摸传感器、高度传感器以及一个或多个位置组件，所述位置组件能够包括例如全球定位系统接收机、三角测量接收机、加速度计、倾斜传感器、陀螺仪，或能够识别辅助装置108的当前位置或用户装置接口((携带模式)的任何其它信息收集装置。虽然传感器228用于被认为不同于输入装置210的图2的目的，但是在其它实施例中，输入装置中的一个或多个还能够被认为构成传感器中的一个或多个(并且反之亦然)是可能的。附加地，虽然在本实施例中输入装置210被示出为不同于输出装置208，但是应该认识到，在一些实施例中一个或多个装置既用作输入装置且用作输出装置。例如，在采用了触摸屏幕的实施例中，触摸屏幕能够被认为既构成视觉输出装置且构成机械输入装置。
内部组件200的存储器部206能够包含各种形式中的任何形式的一个或多个存储器装置(例如，只读存储器、随机存取存储器、静态随机存取存储器、动态随机存取存储器等)，并且能够由处理器204用来存储和检索数据。在一些实施例中，存储器部206能够与处理器部204一起集成在单一装置(例如，包括存储器或存储器中处理器的处理装置)中，但是这样的单一装置将仍然通常具有执行不同的处理和存储器功能并且能够被认为是单独装置的不同部分。由存储器部206存储的数据能够包括但不必限于操作系统、应用以及信息数据。
每个操作系统包括控制辅助装置108的基本功能的可执行代码，所述基本功能诸如在包括在内部组件200之中的各种组件之中的交互、经由无线收发信机202或组件接口212的与外部装置的通信、以及去往和来自存储器部206的应用和数据的存储和检索。每个应用包括利用操作系统来提供更特定功能性的可执行代码，所述更特定功能性诸如文件系统服务和存储在存储器部206中的受保护数据和不受保护数据的处理。这样的操作系统或应用信息能够包括软件更新信息(其能够被理解成潜在地包含应用或操作系统或两者的更新)。至于信息数据，这是能够由操作系统或应用引用或者操纵以用于执行辅助装置108的功能的非可执行代码或信息。附加地，尤其，信息数据能够包括从(或向)诸如服务器112和辅助装置116的其它装置下载到辅助装置108(或从辅助装置108上传)的各种类型的信息中的任一个。
参考图3，流程图示出用于将用户输入信息109与主媒体内容101相关联并且使用通信系统100来扩增该用户输入信息的示例性方法的步骤。这些步骤能够由辅助装置108、组合装置114以及服务器112中的一个或多个独立地或共同执行。如上面所讨论的，通信系统100允许用户诸如利用主媒体装置102查看主媒体内容101，并且允许用户使用辅助装置108来组成和关联与主媒体内容101有关的用户输入信息109。更特别地，在步骤302中，辅助装置108使用多个通信方法和协议中的一个或多个(诸如蓝牙、Wi-Fi、因特网、对等等)与主媒体装置102相关联。在一个实施例中，辅助装置108能够使用PIN与多个其它主媒体装置102配对，并且用户能够使用辅助装置108的一个或多个输入装置来选择所期望的主媒体装置102。替代地，辅助装置108能够基于诸如RFID的接近技术、诸如房间标识符(例如，起居室、卧室)的位置技术、诸如对象识别的视线技术或读取快速响应码来自动地确定适当的主媒体装置102。在另一实施例中，辅助装置108和主媒体装置102能够独立地向提供诸如装置标识符、用户标识符以及位置标识符的信息的组合装置114或主媒体源104(例如，消息传送服务器119或媒体服务器121)注册。组合装置114或服务器112然后能够基于这个信息来关联辅助装置108和主媒体装置102并且可选地向它们通知该关联。
在主媒体内容101的显示期间，辅助装置108接收用户生成的用户输入信息109(例如，辅助内容)，诸如用户评论，其可能与在主媒体内容101中所找到的特定场景有关，如步骤304中所示。使用输入装置210(诸如小键盘(未示出))、话音命令等中的一个或多个将用户评论提供给辅助装置108。在步骤306中分析用户评论以识别在用户评论或其它用户输入信息109内(或与之相关联)的用户内容元数据111。分析能够在通信系统100中的装置中的一个或多个中完成，所述装置诸如辅助装置108、服务器112、消息传送服务器119或媒体服务器121。此外，分析能够在用户已键入完整评论或评论的一部分之后完成。分析能够包括语音到文本转换、各种文本分析方法中的一个或多个的执行，诸如使用关键字或关键短语提取器来解析用户评论，如在框308中所示。例如，当用户听到在主媒体装置102上显示的视频中所示出的人做出特定声明时，用户能够输入用户评论，例如，“我不同意他所说的，但那是个好烤箱(I do not agree with what he says,but that is a nice oven)”。这个用户评论能够被解析为包括以下关键字和关键短语诸如“我”、“他”、“不同意”、“说”、“好”以及“烤箱”的用户内容元数据111。
现参考步骤310，在辅助装置108或主媒体源104(例如，媒体服务器121或消息传送服务器119)处键入用户评论能够进一步初始化用于分析主媒体内容101以识别主内容元数据107的过程。在一个实施例中，基于节目、电影的名称、用户评论的上下文(例如，如果这是响应于相同的或不同的用户的在先用户评论)以及其它用户输入信息109的用户评论的键入的时间而识别被选取用于分析的主媒体内容101的场景。更特别地，辅助装置108能够与通信系统100中的另一装置(诸如主媒体装置102或主媒体源104)进行通信，以请求与用户评论时间相关联的主内容元数据107。
能够通过一个或多个方法来获得主内容元数据107，诸如使用元数据提供商服务、在主媒体内容101中编码的信息、以及如在框312中所识别的媒体分析器或对象检测器。主内容元数据107能够包括许多项，诸如包括在场景和它们的位置中的对象、正在场景中动作的人、正在说什么和由谁在说、电影或电视节目的名称等的列表。在至少一些实施例中，主内容元数据107能够诸如在隐藏字幕中所找到的作为编码信号被提供在主媒体内容101中，并且因此至少部分地从主媒体内容101中预先得到。在至少一些其它实施例中，能够利用由辅助装置108、服务器112、机顶盒106或组合装置114中的一个或多个所执行的操作从主媒体内容101得到主内容元数据107。另外，在至少一些实施例中，主媒体源104或组合装置114能够使用如在美国专利6,711,293和美国专利公开2009/0238460中所描述的技术(诸如对象检测)来分析主媒体内容101，这两者皆由此通过引用并入在本文中。主媒体内容101然后能够使用基于对象的编码与主内容元数据107组合，其中在至少一些实施例中，基于对象的编码与用于MPEG-4的编码过程相似。在被编码后，能够向主媒体装置102、辅助媒体装置108或服务器112发射主媒体内容101以执行主媒体内容101的分析以得到主内容元数据107。在仍然一些其它的实施例中，主内容元数据107被预先得到并且可从与通信系统100通信的第三方服务(诸如论坛报媒体服务(TM))访问。
继前述示例，上面所提出的用户评论能够在包括如在主媒体装置102上所查看到的电视节目(诸如美食鉴定秀)的主媒体内容101的查看期间输入到辅助装置108中。所生成或者提供的主内容元数据107能够包括诸如谁在做出用户评论的时刻说话、他们在那时之前或期间说什么以及什么对象存在于场景中的信息。例如，“Chef Pavoli在说话”、“那个乳蛋饼看起来可怕”、“Flame Master brand oven(Flame Master品牌烤箱)”、“伊利湖的图片”等。
现在参考步骤314，通过进一步分析生成用户内容元数据111与主内容元数据107之间的许多关联。这些关联被用来在步骤316处自动地扩增用户评论。例如，与用户评论相关联的用户内容元数据111包括关键短语“好烤箱”，具有关键字“烤箱”，其经由关键字“烤箱”的使用与主内容元数据107的关键短语“Flame Master品牌烤箱”相关联。作为这个关联的结果，用户的评论(或其它用户输入信息109)在步骤316中扩增以包括在用户评论中被引用的烤箱的品牌的身份，即，Flame Master。另外，结果，与主媒体装置102或另一主媒体装置(未示出)相关联的用户或另一个体能够访问与主媒体内容101的场景有关的经扩增的用户输入信息117(例如，扩增的用户评论)。
附加地，当经扩增的用户输入信息117由第二用户在观看主媒体内容101的同时查看到时，可以使用来自经扩增的用户输入信息117的信息来扩增正由第二用户所观看的主媒体内容101。例如，当另一用户观看演出的重播或演出的DVR-d版本时，那么能够经由辅助装置108显示经扩增的用户输入信息117的一部分并且能够经由主媒体装置102显示另一部分。在一个实施例中，组合装置114从主媒体源104接收主媒体内容101，从辅助装置108接收经扩增的用户输入信息117的一部分(诸如经扩增的用户输入信息117正参考的对象的图形X-Y轴坐标或媒体对象跟踪ID)，以及然后使用各种媒体混频或覆盖技术中的一个来组合它们以创建随着用户正在消费所对应的扩增的用户输入信息117而显示的主媒体内容101的扩增查看。在另一实施例中，主媒体源104确定用户正在观看主媒体内容101并且获得将被发送给用户的扩增的用户输入信息117的子集，将经扩增的用户输入信息117的一部分与主媒体内容101中的对应部分组合，并且在辅助装置显示经扩增的用户输入的信息117的另一部分的同时发射待向用户显示的经扩增的主媒体内容101。这可以基于用户的各种偏好中的一个或多个来完成。例如，将显示已由特定用户(诸如包括在特定社交群(朋友、家庭等)中的用户)至少部分地生成的仅扩增的用户输入信息117。
用户内容元数据111与主内容元数据107之间的关联能够被利用来提供在主内容元数据107它本身中不可用的附加的信息。例如，在关键短语“Flame Master品牌烤箱”已与用户的评论相关联之后，能够自动地执行因特网搜索以提供关于“Flame Master品牌烤箱”的补充信息，诸如型号、评语、价格等，其能够用来进一步扩增用户的评论，如在步骤315中一样。此外用户还能够提供当评论在稍后的时间被另一用户查看时应该出现在主媒体内容101上的一些修改程序。在一个实施例中，当用户键入评论时，显示与用户的评论相关联的场景(例如，在Flame Maste烤箱被显示的情况下)的场景框也在辅助装置108上被显示给用户，并且用户能够键入修饰工具(modifier)，诸如使用辅助装置108上的客户端应用110的围绕对象的圆或指向对象的箭头。这些修改工具还能够连同用户评论一起存储并且然后用来扩增主媒体内容101，如较早地描述的。如步骤318中所示，用户评论能够与任何关联的扩增一起存储在服务器112中。针对用户输入信息109所生成的关联用来扩增用户输入信息109以便不仅向辅助装置108的用户提供附加的信息，而且向其它个体提供这样扩增的信息，所述其它个体使用诸如辅助装置116的其它装置在有或没有所关联的主媒体内容的情况下与用户评论接口对接。
在至少一些实施例中，诸如服务器112的可访问存储介质被提供来用作各种信息的储存库，所述各种信息诸如用户内容元数据111、主内容元数据107、原始用户输入信息109以及扩增的用户输入信息117、主媒体内容101等。此外，服务器112能够存储与特定视频(例如)有关的所有信息，使得多个辅助装置能够访问服务器112并且获得用户输入信息109和经扩增的用户输入信息117，以及添加它们自己的用户输入信息。在至少一些实施例中，服务器112能够执行各种功能，诸如接收和分析主媒体内容101以得到主内容元数据107。另外，在至少一些实施例中，服务器112可以是可由辅助装置访问并且与主媒体源104通信的云服务。
在至少一些实施例中，主媒体内容101能够在查看主媒体内容101之前连同所关联的主内容元数据107一起被加载到辅助装置108上，使得辅助装置108不必与通信系统100的另一组件进行通信以便扩增用户输入信息109以用于在辅助装置108上查看。
现参考图4，示出了可在辅助装置108上查看的示例性用户接口400的图。用户接口400被配置成从辅助装置108的一个或多个输入装置210接收信号并且能够被认为是这样的输入(和输出)装置。在本实施例中，用户接口400能够显示各种特征，诸如能够被用来随着它被输入到辅助装置108中示出用户的评论或者用来以原始的或扩增的形式示出先前键入的评论的文本框402。用户接口400还能够包括场景框404，其显示(例如，由于评论被键入的时间)与用户的评论相关联的场景。场景框404还能够包括各种扩增，诸如定位于特定对象周围以在场景中识别它们的对象框406，其中对象框406能够与特定扩增相关联。例如，能够在具有对象框406的场景框404中识别在用户的评论中所提到的烤箱。这给用户接口400的观察者提供了找到在特定用户评论中所引用的对象以及提供可选择对象的方便方法，所述可选择对象当被选择时，揭示关于烤箱的附加的信息。使用这个接口400，用户还可以向主媒体内容101提供用户希望在用户评论在稍后的时间被查看时具有的任何附加的变换。对象框406能够由辅助装置108提供，其中对象框406的定位通过各种源中的一个或多个来确定，所述各种源诸如辅助装置108、服务器112、组合装置114等。
此外，列表框408能够被包括在用户接口400中。列表框408能够包括行410，所述行410各自提供经由用户内容元数据111或主内容元数据107与场景相关联的对象的身份。列表框408能够以各种方式中的一个或多个起作用。例如，行412能够包括文本“Flame Master品牌烤箱”。当用户选择围绕烤箱414的对象框406时，这个文本能够出现。此外或替换地，当用户的评论被分析以识别关键字“烤箱”时，行412中的文本能够出现。另外，在至少一些其它实施例中，当行412中的文本被选择时，能够加亮对象框406，以识别在行412上识别的对象。此外，行412还能够显示到附加的资源的链接，诸如能够提供关于对象的信息(诸如规格、价格以及评语)的网页链接409。
此外，时间线框416还能够被包括在用户接口400中。时间线框416包括沿着时间线419延伸的时间线监视器417。时间线监视器417提供关于在场景框404中所示出的场景发生在视频中的时间的指示并且将其显示在时间显示框415中。此外，诸如通过触摸时间线419，能够将时间线监视器417移位到另一时间，以通过视频移动来从视频中的另一时间点选择特定场景，从而将针对该时间的场景显示在场景框404中。当使用时间线框416选择特定场景时，能够更新用户接口400中的信息框中的每一个，包括文本框402、场景框404以及列表框408。除前述信息框之外，能够在用户接口400上显示和选择各种其它按钮、框以及选项。以这种方式，用户接口能够被配置成给辅助装置108(或其它辅助装置116)的用户提供用来定制他与主媒体内容101的交互的过多选项。
在上述信息的至少一个示例性应用中，以下操作能够发生。用户当在主媒体装置102上观看烹调节目的同时在他的辅助装置108上打开客户端应用110。用户接口400被显示，其可以或者可以不随着它被广播而显示烹调节目。辅助装置108然后与主媒体装置102配对。辅助装置108能够获得关于正从主查看装置102、组合装置114或媒体源104中的一个查看的主媒体内容101的信息。在主媒体装置102上查看包括烤箱的场景。一旦查看烤箱，则用户开始键入评论“好烤箱”。辅助装置108记录下评论被键入的时间和主媒体内容101在做出评论时正在观看的东西。用户的评论由辅助装置108分析，所述辅助装置108识别关键字“烤箱”。替换地，用户的评论能够被发送给通信系统100中的另一装置以用于分析。在至少一些实施例中，辅助装置108可能不知道用户正在观看什么。尽管在一些实施例中，辅助装置108能够通过查询主媒体装置102或另一装置(诸如组合装置114或主媒体源104(例如，消息传送服务器119或媒体服务器121))来查询主媒体装置102当前在显示什么。评论时间和识别的演出以及现识别为用户内容元数据111的关键字“烤箱”被发送给服务器112，其中主媒体内容101已被(或被积极地)解析以识别主内容元数据107。主内容元数据107(针对场景发生了的时间)被搜索以得到词“烤箱”，并且当找到项“Flame Master品牌烤箱”时，由服务器112建立和存储关联。项“Flame Master品牌烤箱”现被联系到形成扩增的用户输入信息117的用户评论，其包括用户评论和所关联的主内容元数据107两者。扩增信息连同用于在用户接口400上显示的场景的图像一起被发送给辅助装置108。替换地，如果主媒体内容101在辅助装置108上正被查看，则场景能够由辅助装置108提供。然后，用户接口400将用户评论显示在评论框402中，将场景显示在场景框404中，并且将短语“Flame Master品牌烤箱”显示在列表框408中。能够在场景框404中将烤箱414装箱或者以其它方式突出显示以识别烤箱414。替换地，能够在主媒体装置102中提供突出显示。
在一个实施例中，服务器112与主媒体源104或组合装置114进行通信以加亮与正由用户所做出的用户评论有关的潜在项。这能够使用诸如MPEG对象跟踪和加亮的技术来实现。另外，能够在列表框408中显示网站地址。稍后，另一用户能够在他的辅助装置116上打开另一用户接口并且选择这个视频以观看。当与用户评论相关联的场景发生时，用户评论连同所关联的扩增数据一起出现在用来扩增该评论的场景框404和列表框408中。在另一实施例中，用户评论“好烤箱”被显示在辅助装置116上并且烤箱的加亮发生于在主媒体装置102中显示的主媒体内容101上。
在下面所提供的是代码列表，其提供了将来自上述示例的经扩增的评论存储在服务器112中的示例性方法。
上述代码解决了与先前所讨论的“Flame master烤箱”场景有关的示例扩增的评论。更特别地，提供该评论的扩增的评论的XML表示由“xyz”作为借助称作“abc”的组而被分组的会话的一部分做出。用户评论它本身是“好烤箱”，这在其id是“1234”并且名称是“烹调节目”的主媒体内容101的上下文中做出。用户评论在时间134秒处被做出到节目中并且从那时起是相关的持续10秒。它与具有媒体对象ID“123”的烤箱有关并且定位于主媒体内容101中的坐标x、y处。而且，当向用户显示用户评论时，如果主媒体内容101也正被观看，则箭头应该被放置在屏幕上的坐标x1、y1处以识别烤箱对象。
现参考图5，提供了利用扩增的评论(扩增的用户输入信息117)的示例性方法。参考图5，流程图500示出用于利用扩增的用户输入信息的示例性方法的步骤。更特别地，在步骤502中，用户在主媒体装置102上查看主媒体内容101。在步骤504中，主媒体装置102或组合装置114监视正在主媒体装置102上显示的主媒体内容101的场景和一个或多个场景的主内容元数据。在另一实施例中，辅助装置108确定主媒体内容101的当前位置和在正被查看的主媒体内容101内的时间，并且向服务器112提供该信息。然后在步骤506中，主媒体装置102或组合装置114查询服务器112以识别对于正被显示或预期被显示的场景中的一个或多个是否存在扩增的用户输入信息117。在另一实施例中，服务器112使用该信息来确定对于当前时间段是否存在扩增的用户信息。如果无扩增的用户输入信息117是可用的，则在步骤508中，正常地显示主媒体内容101。尽管如果扩增的用户输入信息117是可用的，则在步骤510中，经扩增的用户输入信息117的至少一部分被发送给辅助装置108。在一个实施例中，服务器112可以向辅助装置108发送与当前查看时间段相对应的由用户的社交群所生成的经扩增的评论的一部分。辅助装置108然后可以使用当前查看时间以及用户偏好和上下文来确定是否应当显示评论并且应当何时显示评论。此外，如果存在与主媒体内容101相关联的扩增信息，则经扩增的用户输入信息117的至少一部分被添加到主媒体内容101以形成扩增的主媒体内容101，其在至少一些实施例中能够被存储在服务器112中。在一个实施例中，扩增可以通过向组合装置114发送待添加到主媒体装置102以覆盖在屏幕上的信息来完成。在其它情况下，扩增可以通过服务器112直接地向主媒体源104发送扩增部分并且使得主媒体源104能够向主媒体装置102发送经扩增的主媒体内容101来完成。在步骤514中，在经扩增的用户输入信息117的至少一部分被显示在辅助装置108上的同时，经扩增的主媒体内容101被主媒体装置102显示。
鉴于本发明的原理可以应用于的许多可能的实施例，应该认识到，关于附图本文中所描述的实施例仅意在为说明性的，并且不应该被认为限制本发明的范围。因此，如本文中所描述的本发明设想了如可能落入权利要求及其等同物的范围内的所有这样的实施例。

Claims (22)

1.一种扩增用户输入信息的方法，所述方法包括：
把第一辅助装置与主媒体装置相关联以显示媒体内容；
在主媒体内容在所述主媒体装置显示期间，接收在所述第一辅助装置处输入的用户输入信息；
分析所述用户输入信息以自动产生用户内容元数据，其中所述用户输入信息包括用户评论，该用户评论响应于所述主媒体内容的显示，并且所述用户内容元数据包括来自所述用户评论的一个或多个关键字和来自所述用户评论的关键短语；
以下步骤的至少一个：接收与所述主媒体内容有关的主内容元数据，和从所述主媒体内容得到主内容元数据；以及
在一个或多个装置中，利用所述用户内容元数据和所述主内容元数据自动生成所述用户评论和所述主内容元数据之间的被识别关联，该生成包括分析所述用户内容元数据和所述主内容元数据以识别所述用户内容元数据与所述主内容元数据之间的一个或多个关联，
其中，所述主内容元数据包括有关所述主媒体内容中的场景中显示的特定能查看对象的信息，并且其中所述被识别关联包括使所述用户输入信息与所述第一辅助装置接收所述用户输入信息期间所述主媒体装置显示的特定能查看对象有关的信息。
2.根据权利要求1所述的方法，其中，所述主媒体内容中的场景中显示的特定能查看对象是下述之一：人、特征、物品、与品牌标识相关联的项、与型号信息相关联的项、与评语信息相关联的项、与价格信息相关联的项、与规格信息相关联的项、服装项、美食项、房间和场景位置。
3.根据权利要求1所述的方法，还包括：通过将所述用户输入信息的至少一部分连同所述主媒体内容一起显示，来增强能查看的主媒体内容。
4.根据权利要求1所述的方法，还包括：
提供所述被识别关联中的一个或多个，以用于显示给所述第一辅助装置的用户；
其中，所述用户输入信息包括以下中的至少一个：基于文本的用户评论，以及基于话音的用户评论。
5.根据权利要求4所述的方法，其中得到主内容元数据由下述至少之一来完成：服务器、所述第一辅助装置、主媒体源和主媒体装置。
6.根据权利要求1所述的方法，还包括存储所述被识别关联，使得可由第二辅助装置检索，该第二辅助装置与所述用户输入信息被首先输入的所述第一辅助装置分离。
7.根据权利要求6所述的方法，还包括在所述第一辅助装置上显示的用户接口查看所述被识别关联。
8.根据权利要求1所述的方法，还包括：
从所述第一辅助装置产生所述主内容元数据的至少一部分给服务器，
其中，所述用户输入信息包括以下中的至少一个：基于文本的用户评论，以及基于话音的用户评论。
9.根据权利要求8所述的方法，还包括传送主内容元数据给所述第一辅助装置，使得与用户内容元数据关联。
10.一种以补充主媒体装置的操作的方式来操作第一辅助装置以显示媒体内容的方法，所述方法包括：
建立所述第一辅助装置相对于主媒体装置的关联；
在所述第一辅助装置处接收用户输入信息，其中，所述用户输入信息与所述主媒体装置在所述接收期间并行输出的主媒体内容有关；
分析所述用户输入信息，其中所述用户输入信息包括用户评论，该用户评论响应于所述媒体内容的输出；
分析所述主媒体内容；以及
在一个或多个装置中，至少根据分析所述用户输入信息的第一结果和分析所述主媒体内容的第二结果，自动生成所述用户评论的被识别关联，其中所述第一结果包括来自所述用户评论的一个或多个关键字和来自所述用户评论的关键短语，并且所述第二结果包括有关所述主媒体内容中的场景中显示的特定能查看对象的信息，使得识别所述用户输入信息与所述主媒体内容之间的一个或多个关联，
其中，所述被识别关联包括使所述用户输入信息与所述第一辅助装置接收所述用户输入信息期间所述主媒体装置显示的特定能查看对象有关的信息。
11.根据权利要求10所述的方法，其中，分析所述用户输入信息包括：识别与所述用户输入信息相关联的用户内容元数据。
12.根据权利要求11所述的方法，其中，分析所述主媒体内容包括以下步骤中的至少一个：分析所述主媒体内容以识别与所述主媒体内容相关联的主内容元数据；以及，访问预先得到的主内容元数据。
13.根据权利要求12所述的方法，其中，分析所述用户输入信息包括：利用提取器从所述用户输入信息提取至少一个关键字或关键短以形成所述用户内容元数据的至少一部分。
14.根据权利要求13所述的方法，其中，分析所述主媒体内容包括利用媒体分析器和对象检测器之一或两者来识别下述的一个或多个以形成主内容元数据的至少一部分：对象、位置、语音和文本。
15.根据权利要求14所述的方法，其中，识别所述用户输入信息和所述主媒体内容之间的关联包括识别与用户内容元数据相似的主内容元数据。
16.根据权利要求15所述的方法，还包括扩增所述用户输入信息的至少一部分以包括与之关联的主内容元数据的至少一部分。
17.根据权利要求16所述的方法，还包括存储所扩增的用户输入信息，使得由第一辅助装置和第二辅助装置的至少一个来检索。
18.根据权利要求16所述的方法，其中，所述主媒体装置是显示装置，所述第一辅助装置是具有用户接口的移动装置，用于输入所述用户输入信息并且用于查看扩增的用户输入信息的至少一部分。
19.一种用于接收与主媒体内容有关的补充信息的系统，该系统包括：
移动装置；
用户接口，所述用户接口被配置成接收和显示所述移动装置上的用户输入信息，其中所述用户输入信息包括响应于所述主媒体内容的查看的用户评论；
在所述移动装置内部的发射机，所述发射机被配置成向另一装置发射所述用户输入信息的至少一部分，其包括所述主媒体内容，所述主媒体内容包括所述主媒体内容的查看期间当所述用户输入信息至少部分地被输入到所述移动装置时所述移动装置的用户可查看的场景；
在移动装置内部的接收机，所述接收机被配置成从所述另一装置接收通信，其中，所述通信包括对所述用户输入信息的扩增，所述用户输入信息包括下述的一个或多个：包括把所述用户输入信息与场景中显示的特定可查看对象相关联的关联信息的对象列表、包括把所述用户输入信息与场景中的特定可查看物理对象相关联的关联信息的对象标识信息，
其中，所述扩增还包括下述的一个或多个：从与场景相关联的主媒体内容得到的主内容元数据和从所述用户输入信息得到的用户内容元数据，
其中，至少部分地基于所述用户输入信息的分析的结果——该结果包括来自所述用户评论的一个或多个关键字和来自所述用户评论的关键短语，以及至少部分地基于所述主媒体内容的分析，自动产生所述关联信息。
20.一种增强主媒体内容的方法，所述方法包括：
在辅助装置上接收用户评论；
从所述用户评论获得用户内容元数据，该用户内容元数据包括来自所述用户评论的一个或多个关键字和来自所述用户评论的关键短语；
接收主内容元数据，所述主内容元数据与所述辅助装置上显示的由所述辅助装置的用户在所述辅助装置接收所述用户评论期间查看的主媒体内容有关；
通过分析所述用户内容元数据和主内容元数据，确定所述用户评论是否是响应所述主媒体内容的显示；以及
在一个或多个装置中，至少根据确定所述用户评论是否是响应所述主媒体内容的显示，通过自动地把所述主内容元数据与所述用户评论相关联来生成扩增的用户评论，其中，所述扩增的用户评论包括自动生成的使所述用户评论与在所述主媒体内容中能查看的一个或多个场景中显示的特定可查看物理对象有关的关联信息。
21.根据权利要求20所述的方法，还包括：当所述扩增的用户评论正由所述用户在所述辅助装置上查看时，通过将所述扩增的用户评论的至少一部分显示在所述主媒体装置上来增强所述主媒体内容。
22.根据权利要求21所述的方法，还包括：将所述扩增的用户评论的至少一部分显示在所述辅助装置上。
CN201380022215.7A 2012-04-27 2013-04-09 扩增与媒体内容有关的用户输入信息的方法和装置 Active CN104303233B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/457,534 US10277933B2 (en) 2012-04-27 2012-04-27 Method and device for augmenting user-input information related to media content
US13/457,534 2012-04-27
PCT/US2013/035714 WO2013162870A1 (en) 2012-04-27 2013-04-09 Method and device for augmenting user-input information related to media content

Publications (2)

Publication Number Publication Date
CN104303233A CN104303233A (zh) 2015-01-21
CN104303233B true CN104303233B (zh) 2017-01-18

Family

ID=48183003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380022215.7A Active CN104303233B (zh) 2012-04-27 2013-04-09 扩增与媒体内容有关的用户输入信息的方法和装置

Country Status (6)

Country Link
US (1) US10277933B2 (zh)
EP (1) EP2842130A1 (zh)
KR (1) KR101931121B1 (zh)
CN (1) CN104303233B (zh)
BR (1) BR112014026859A2 (zh)
WO (1) WO2013162870A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140033040A1 (en) * 2012-07-24 2014-01-30 Apple Inc. Portable device with capability for note taking while outputting content
US10607299B2 (en) * 2013-03-15 2020-03-31 Tomorrowish Llc Displaying social media content
US9584557B2 (en) 2013-03-15 2017-02-28 Arris Enterprises, Inc. Proxy for facilitating streaming of media from server to client
US9191422B2 (en) 2013-03-15 2015-11-17 Arris Technology, Inc. Processing of social media for selected time-shifted multimedia content
US10585546B2 (en) 2013-03-19 2020-03-10 Arris Enterprises Llc Interactive method and apparatus for mixed media narrative presentation
US10775877B2 (en) 2013-03-19 2020-09-15 Arris Enterprises Llc System to generate a mixed media experience
US10614074B1 (en) 2013-07-02 2020-04-07 Tomorrowish Llc Scoring social media content
US9451335B2 (en) 2014-04-29 2016-09-20 At&T Intellectual Property I, Lp Method and apparatus for augmenting media content
US9842593B2 (en) 2014-11-14 2017-12-12 At&T Intellectual Property I, L.P. Multi-level content analysis and response
US10528573B1 (en) 2015-04-14 2020-01-07 Tomorrowish Llc Discovering keywords in social media content
US20180225024A1 (en) * 2017-02-09 2018-08-09 Zumobi, Inc. System and method for generating an integrated mobile graphical experience using compiled-content from multiple sources
GB2575009B (en) * 2018-05-14 2022-12-14 Advanced Risc Mach Ltd Media processing systems
CN109120996B (zh) * 2018-08-31 2021-08-13 深圳市万普拉斯科技有限公司 视频信息识别方法、存储介质及计算机设备
KR102657519B1 (ko) * 2019-02-08 2024-04-15 삼성전자주식회사 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법
US11347471B2 (en) * 2019-03-04 2022-05-31 Giide Audio, Inc. Interactive podcast platform with integrated additional audio/visual content
WO2022093550A1 (en) 2020-10-29 2022-05-05 Arris Enterprises Llc System and method for the utilization of a low-latency video source

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200935340A (en) * 2007-12-21 2009-08-16 Yahoo Inc Targeted AD system using metadata
CN101576930A (zh) * 2008-04-22 2009-11-11 波尔图科技有限责任公司 把由第一用户观看的视频内容项的关键帧发布到第二用户
CN102073674A (zh) * 2009-11-20 2011-05-25 索尼公司 信息处理装置、书签设置方法及程序

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061062A (en) 1991-12-20 2000-05-09 Apple Computer, Inc. Zooming controller
US6411725B1 (en) 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
JPH09106336A (ja) 1995-10-11 1997-04-22 Sharp Corp 複数の表示画像を情報処理装置の表示窓内に表示する方法
JPH11289512A (ja) 1998-04-03 1999-10-19 Sony Corp 編集リスト作成装置
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6486896B1 (en) 1999-04-07 2002-11-26 Apple Computer, Inc. Scalable scroll controller
US7058891B2 (en) 2001-05-25 2006-06-06 Learning Tree International, Inc. Interface for a system of method of electronic presentations having multiple display screens with remote input
JP2003099453A (ja) * 2001-09-26 2003-04-04 Hitachi Ltd 情報提供システムおよびプログラム
US20030182663A1 (en) 2002-03-25 2003-09-25 Sony Corporation System and method for sharing user comments on TV screens
US7934233B2 (en) 2002-04-02 2011-04-26 Koninklijke Philips Electronics N.V. Method and system for providing complementary information for a video program
US7944445B1 (en) 2003-12-15 2011-05-17 Microsoft Corporation System and method for providing a dynamic expanded timeline
US7836044B2 (en) 2004-06-22 2010-11-16 Google Inc. Anticipated query generation and processing in a search engine
US20060150218A1 (en) * 2005-01-03 2006-07-06 Lazar Clifford W System for buying goods and services
US20060282776A1 (en) 2005-06-10 2006-12-14 Farmer Larry C Multimedia and performance analysis tool
US7801910B2 (en) * 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
US8209724B2 (en) * 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
EP1850270B1 (en) 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
JP2008004134A (ja) 2006-06-20 2008-01-10 Sony Corp 音楽再生方法および音楽再生装置
US20080046925A1 (en) * 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080294694A1 (en) 2007-05-24 2008-11-27 Videoclix Technologies Inc. Method, apparatus, system, medium, and signals for producing interactive video content
US8887048B2 (en) * 2007-08-23 2014-11-11 Sony Computer Entertainment Inc. Media data presented with time-based metadata
US9535988B2 (en) * 2007-12-21 2017-01-03 Yahoo! Inc. Blog-based video summarization
GB0801429D0 (en) * 2008-01-25 2008-03-05 Decisive Media Ltd Media Annotation system, method and media player
US8181197B2 (en) * 2008-02-06 2012-05-15 Google Inc. System and method for voting on popular video intervals
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
JP5581309B2 (ja) * 2008-03-24 2014-08-27 スー カン，ミン 放送サービスシステムの情報処理方法、その情報処理方法を実施する放送サービスシステム及びその情報処理方法に関する記録媒体
CN101981576A (zh) * 2008-03-31 2011-02-23 杜比实验室特许公司 使用媒体内容中识别出的对象将信息与媒体内容相关联
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US8145648B2 (en) * 2008-09-03 2012-03-27 Samsung Electronics Co., Ltd. Semantic metadata creation for videos
CA2646117A1 (en) 2008-12-02 2010-06-02 Oculus Info Inc. System and method for visualizing connected temporal and spatial information as an integrated visual representation on a user interface
US20100162303A1 (en) * 2008-12-23 2010-06-24 Cassanova Jeffrey P System and method for selecting an object in a video data stream
US8413188B2 (en) * 2009-02-20 2013-04-02 At&T Intellectual Property I, Lp System and method for processing image objects in video data
US9159074B2 (en) * 2009-03-23 2015-10-13 Yahoo! Inc. Tool for embedding comments for objects in an article
US20100281108A1 (en) * 2009-05-01 2010-11-04 Cohen Ronald H Provision of Content Correlated with Events
US9466050B2 (en) 2009-05-22 2016-10-11 EVDense Holding Company, Inc. System and method for interactive visual representation of items along a timeline
WO2010141260A1 (en) * 2009-06-01 2010-12-09 Telcordia Technologies, Inc. System and method for processing commentary that is related to content
CA3149767A1 (en) 2009-07-16 2011-01-20 Bluefin Labs, Inc. Estimating and displaying social interest in time-based media
US20110021251A1 (en) 2009-07-22 2011-01-27 Sony Ericsson Mobile Communications Ab Electronic device with touch-sensitive control
US8335989B2 (en) 2009-10-26 2012-12-18 Nokia Corporation Method and apparatus for presenting polymorphic notes in a graphical user interface
US20110113444A1 (en) * 2009-11-12 2011-05-12 Dragan Popovich Index of video objects
US9955206B2 (en) * 2009-11-13 2018-04-24 The Relay Group Company Video synchronized merchandising systems and methods
US20110158605A1 (en) 2009-12-18 2011-06-30 Bliss John Stuart Method and system for associating an object to a moment in time in a digital video
US9189818B2 (en) 2010-12-10 2015-11-17 Quib, Inc. Association of comments with screen locations during media content playback
US20120167145A1 (en) * 2010-12-28 2012-06-28 White Square Media, LLC Method and apparatus for providing or utilizing interactive video with tagged objects
US9026909B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Keyword list view
WO2012118976A2 (en) * 2011-03-01 2012-09-07 Ebay Inc Methods and systems of providing a supplemental experience based on concurrently viewed content
US9762967B2 (en) * 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US8893184B2 (en) * 2011-07-15 2014-11-18 Intel Corporation Mechanism for facilitating multiple multimedia viewing planes in media display systems
US9349129B2 (en) * 2011-10-17 2016-05-24 Yahoo! Inc. Media enrichment system and method
US9245020B2 (en) * 2011-12-14 2016-01-26 Microsoft Technology Licensing, Llc Collaborative media sharing
US9596515B2 (en) * 2012-01-04 2017-03-14 Google Inc. Systems and methods of image searching
US8789120B2 (en) * 2012-03-21 2014-07-22 Sony Corporation Temporal video tagging and distribution
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200935340A (en) * 2007-12-21 2009-08-16 Yahoo Inc Targeted AD system using metadata
CN101576930A (zh) * 2008-04-22 2009-11-11 波尔图科技有限责任公司 把由第一用户观看的视频内容项的关键帧发布到第二用户
CN102073674A (zh) * 2009-11-20 2011-05-25 索尼公司 信息处理装置、书签设置方法及程序

Also Published As

Publication number Publication date
CN104303233A (zh) 2015-01-21
KR20150004895A (ko) 2015-01-13
US10277933B2 (en) 2019-04-30
BR112014026859A2 (pt) 2017-06-27
EP2842130A1 (en) 2015-03-04
KR101931121B1 (ko) 2018-12-21
WO2013162870A1 (en) 2013-10-31
US20130290859A1 (en) 2013-10-31

Similar Documents

Publication Publication Date Title
CN104303233B (zh) 扩增与媒体内容有关的用户输入信息的方法和装置
US11860937B2 (en) Play control of content on a display device
CN112738408B (zh) 图像修改器的选择性识别和排序
US10469566B2 (en) Electronic device and content providing method thereof
US10650442B2 (en) Systems and methods for presentation and analysis of media content
US9571606B2 (en) Social media viewing system
US8356251B2 (en) Play control of content on a display device
CN104813675B (zh) 使辅助内容与主媒体内容的并行馈送时间同步
WO2020257506A1 (en) Wearable multimedia device and cloud computing platform with laser projection system
US20150095350A1 (en) Methods, apparatuses, and devices for generating maps on a mobile device
US20160373885A1 (en) Cross device information exchange using gestures and locations
US20140298382A1 (en) Server and method for transmitting augmented reality object
EP3696691A1 (en) System for providing life log service and method of providing the service
KR20240090980A (ko) 객체에 대해 비디오 카메라 식별하기
KR20240100389A (ko) 실세계 객체의 그래픽 표현 추가
KR20240091227A (ko) 디스플레이를 위해 웹 기반 프래그먼트들에 액세스하기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: Georgia, USA

Patentee after: Ai Ruishi Technology Co.

Address before: American Pennsylvania

Patentee before: GENERAL INSTRUMENT Corp.

CP03 Change of name, title or address
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180412

Address after: Georgia, USA

Patentee after: ARRIS ENTERPRISES LLC

Address before: Georgia, USA

Patentee before: Ai Ruishi Technology Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220712

Address after: London, England

Patentee after: Iris International Intellectual Property Co.,Ltd.

Address before: State of Georgia, US

Patentee before: ARRIS ENTERPRISES LLC

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231228

Address after: London

Patentee after: Andrew Wireless Systems UK Ltd.

Address before: London

Patentee before: Iris International Intellectual Property Co.,Ltd.