CN108369583B - 用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质 - Google Patents

用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质 Download PDF

Info

Publication number
CN108369583B
CN108369583B CN201680066411.8A CN201680066411A CN108369583B CN 108369583 B CN108369583 B CN 108369583B CN 201680066411 A CN201680066411 A CN 201680066411A CN 108369583 B CN108369583 B CN 108369583B
Authority
CN
China
Prior art keywords
image
user
images
media presentation
presentation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680066411.8A
Other languages
English (en)
Other versions
CN108369583A (zh
Inventor
蔡特拉利·阿姆鲁特卡
关鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108369583A publication Critical patent/CN108369583A/zh
Application granted granted Critical
Publication of CN108369583B publication Critical patent/CN108369583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Abstract

提供了用于在与媒体呈现设备相关联的移动设备上执行个性化动作的方法、系统、和介质。在一些实施方式中,方法包括:确定移动设备通过通信网络与媒体呈现设备相关联,其中,媒体呈现设备处于呈现图像序列的操作模式;接收指示对呈现在媒体呈现设备上的图像序列中的图像的兴趣的用户命令;确定与呈现在媒体呈现设备上的图像序列中的图像相关联的元数据;使得与图像序列中的图像的表示和与移动设备的用户相对应的用户账户标识符一起存储与图像相关联的元数据;接收查阅与一个或者多个图像相对应的保存的图像信息的请求,已经接收到指示对该一个或者多个图像感兴趣的用户命令;以及响应于接收到请求,使得呈现允许移动设备的用户在保存的图像信息中进行导航的用户界面元素,其中,用户界面元素至少包括图像序列中的图像的表示和与图像序列中的图像有关的信息。

Description

用于存储与呈现在媒体呈现设备上的内容相关联的信息的方 法、系统、和介质
相关申请的交叉引用
本申请要求2016年2月17日提交的美国专利申请No.15/046,126号的权益,该申请通过引用的方式全部并入本文。
技术领域
所公开的主题涉及用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质。
背景技术
当消费显示在电视设备上的媒体内容时,媒体内容的查看者经常对与媒体内容有关的信息感兴趣,诸如,关于与媒体内容有关的位置的附加信息、关于与媒体内容有关的话题的信息等。例如,查看者可能想要搜索有关在电影中看到的演员或者有关在纪录片中显示的位置的附加信息。
搜索引擎允许查看者在互联网上搜索资源,这些资源包括:网页、图像、视频内容、和音频内容。典型的搜索引擎提供用于录入搜索词项的网页,其中,搜索词项由查看者输入。将针对特定搜索词项进行的搜索结果提供给查看者。此外,随着移动设备的出现,对移动搜索引擎的使用增加了。例如,使用移动设备,查看者可以在观看电视节目的同时在互联网内容中执行搜索和浏览。
然而,基于文本的搜索引擎可能稍微对该用户有限制。在用户想知道电影中的特定男演员或者女演员的名称姓名并且获得有关该特定男演员或者女演员的附加信息的示例中,用户可以尝试通过寻找电影的名称(例如,通过节目指南、通过在线电视指南网站、通过印刷的指南等)并且通过将其输入到移动搜索引擎中搜索电影来获得该信息。然后,用户点进各个搜索结果以找到包括与电影有关的信息的网页(例如,包括与电影和电视节目有关的信息的在线网站),访问该网页,并在网页中搜索以找到与该特定男演员或者女演员有关的信息。如果用户能够在网页上找到男演员或者女演员,则用户访问网站上与该特定男演员或者女演员有关的另一页面,并且扫览该页面以找到有关该特定男演员或者女演员的期望信息。这对用户而言是一个耗时的过程。此外,这可能使得用户错过电视节目的大部分或者暂停电视节目以经由该过程获得这样的信息。
因此,需要用于存储与呈现在媒体呈现设备上的内容相关联的信息的新方法、新系统、和新介质。
发明内容
根据所公开的主题的一些实施方式,提供了用于存储与呈现在媒体呈现设备上的内容相关联的信息的机制。
根据所公开的主题的一些实施方式,提供了一种用于获得与呈现的内容有关的信息的方法,该方法包括:确定移动设备通过通信网络与媒体呈现设备相关联,其中,媒体呈现设备处于呈现图像序列的操作模式;接收指示对正呈现在媒体呈现设备上的图像序列中的图像的兴趣的用户命令;确定与正呈现在媒体呈现设备上的图像序列中的该图像相关联的元数据;使得与该图像相关联的元数据与图像序列中的该图像的表示和与移动设备的用户相对应的用户账户标识符一起存储;接收查阅与一个或者多个图像相对应的保存的图像信息的请求,指示对该一个或者多个图像感兴趣的用户命令已被接收;以及响应于接收到请求,使得呈现允许移动设备的用户在保存的图像信息中进行导航的用户界面元素,其中,用户界面元素至少包括图像序列中的该图像的表示和与图像序列中的该图像有关的信息。
根据所公开的主题的一些实施方式,提供了一种用于获得与呈现的内容有关的信息的系统,该系统包括:硬件处理器,该硬件处理器配置为:确定移动设备通过通信网络与媒体呈现设备相关联,其中,媒体呈现设备处于呈现图像序列的操作模式;接收指示对正呈现在媒体呈现设备上的图像序列中的图像感兴趣的用户命令;确定与正呈现在媒体呈现设备上的图像序列中的该图像相关联的元数据;使得与该图像相关联的元数据与图像序列中的该图像的表示和与移动设备的用户相对应的用户账户标识符一起存储;接收查阅与一个或者多个图像相对应的保存的图像信息的请求,指示对该一个或者多个图像感兴趣的用户命令已被接收;以及响应于接收到请求,使得呈现允许移动设备的用户在保存的图像信息中进行导航的用户界面元素,其中,用户界面元素至少包括图像序列中该图像的表示和与图像序列中的该图像有关的信息。
根据本发明,该系统可以包括呈现设备、服务器和用户设备中的一个或者多个,这些设备中的每一个都具有硬件处理器,并且在这些设备的一个或者多个硬件处理器上实施前述段落中的步骤。
根据所公开的主题的一些实施方式,提供了一种包含计算机可执行指令的非暂时性计算机可读介质,该计算机可执行指令在由处理器执行时使得处理器执行用于获得与呈现的内容有关的信息的方法,该方法包括:确定移动设备通过通信网络与媒体呈现设备相关联,其中,媒体呈现设备处于呈现图像序列的操作模式;接收指示对正呈现在媒体呈现设备上的图像序列中的图像感兴趣的用户命令;确定与正呈现在媒体呈现设备上的图像序列中的该图像相关联的元数据;使得与该图像相关联的元数据与图像序列中的该图像的表示和与移动设备的用户相对应的用户账户标识符一起存储;接收查阅与一个或者多个图像相对应的保存的图像信息的请求,已经接收到指示对该一个或者多个图像感兴趣的用户命令;以及响应于接收到请求,使得呈现允许移动设备的用户在保存的图像信息中进行导航的用户界面元素,其中,用户界面元素至少包括图像序列中的该图像的表示和与图像序列中的该图像有关的信息。
根据所公开的主题的一些实施方式,提供了一种用于获得与呈现的内容有关的信息的系统,该系统包括:用于确定移动设备通过通信网络与媒体呈现设备相关联的装置,其中,媒体呈现设备处于呈现图像序列的操作模式;用于接收指示对正呈现在媒体呈现设备上的图像序列中的图像感兴趣的用户命令的装置;用于确定与正呈现在媒体呈现设备上的该图像序列中的图像相关联的元数据的装置;用于使得与该图像相关联的元数据与图像序列中的该图像的表示和与移动设备的用户相对应的用户账户标识符一起存储的装置;用于接收查阅与一个或者多个图像相对应的保存的图像信息的请求的装置,指示对该一个或者多个图像感兴趣的用户命令已被接收;以及用于响应于接收到请求而使得呈现允许移动设备的用户在保存的图像信息中进行导航的用户界面元素的装置,其中,用户界面元素至少包括图像序列中的该图像的表示和与图像序列中的该图像有关的信息。
在一些实施方式中,该系统进一步包括:用于确定媒体呈现设备的操作模式的装置,其中,响应于确定媒体呈现设备的操作模式是后台模式而使得将图像序列呈现在媒体呈现设备上,并且其中,响应于确定媒体呈现设备的操作模式是播放模式而使得在媒体呈现设备上呈现媒体内容。
在一些实施方式中,该系统进一步包括:用于接收移动设备通过无线通信网络与媒体呈现设备相关联的指示的装置。
在一些实施方式中,用于接收指示对图像序列中的该图像感兴趣的用户命令的装置进一步包括:用于接收包括在正呈现图像序列的环境中的氛围声音的音频数据的装置;以及用于识别包括音频数据中的、与获得与正呈现在媒体呈现设备上的图像相关联的信息的请求相对应的特定单词序列的语音输入的装置。
在一些实施方式中,用于确定与正呈现在媒体呈现设备上的图像序列中的该图像相关联的元数据的装置进一步包括:用于获得与接收到的用户命令相关联的定时信息的装置;用于基于定时信息来向媒体呈现设备传输对与正呈现在媒体呈现设备上的该图像相关联的图像信息的请求的装置;用于从媒体呈现设备接收图像信息的装置;以及用于传输对于补充内容的搜索查询的装置,其中,搜索查询包括图像信息。
在一些实施方式中,该系统进一步包括:用于使得呈现确认对正呈现在媒体呈现设备上的图像序列中的该图像的兴趣的确认界面的装置,其中,确认界面使得对图像信息的请求被传输至媒体呈现设备。
在一些实施方式中,该系统进一步包括:用于从与图像相关联的元数据中选择元数据的子集的装置,其中,该元数据的子集和与该图像的表示相对应的图像标识符被存储在与用户账户标识符相关联的表中。
在一些实施方式中,用于接收查阅保存的图像信息的请求的装置进一步包括:用于确定已经访问了利用与用户账户标识符相对应的凭证进行认证的浏览器界面的装置,其中,用户界面元素被使得呈现在浏览器界面中。
在一些实施方式中,该系统进一步包括:用于接收对正呈现图像序列中的该图像的表示和与图像序列中的该图像有关的信息的用户界面元素的用户选择的装置;以及用于使得浏览器界面访问与该图像有关的信息的源的装置。
附图说明
当结合以下附图考虑时,参照对所公开的主题的以下详细描述,可以更充分地了解所公开的主题的各个目的、特征、和优点,在附图中类似的附图标记表示类似的元素。
图1示出了根据一些实施方式的,可以实现用于存储与呈现在如本文描述的媒体呈现设备上的内容相关联的信息的机制的系统的概述性示意图的示例。
图2示出了根据所公开的主题的一些实施方式的,可以用于实现在图1中描绘的用户设备、呈现设备、和服务器中的一个或者多个的硬件的示例。
图3示出了根据所公开的主题的一些实施方式的,存储与呈现在媒体呈现设备上的内容相关联的信息的过程的示例。
图4示出了根据所公开的主题的一些实施方式的,呈现内容的显示设备和呈现确认界面的用户设备的示例。
图5示出了根据所公开的主题的一些实施方式的,呈现内容的显示设备和呈现用于在保存的与图像有关的信息中进行导航的用户界面的用户设备的示例。
图6示出了根据所公开的主题的一些实施方式的,可以在呈现设备、用户设备、以及一个或者多个服务器间在图3的过程中使用的数据流的示例。
具体实施方式
根据一些实施方式,如下面更详细描述的,提供了可以包括用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和/或计算机可读介质的机制。
在一些实施方式中,媒体呈现设备(诸如,数字媒体接收器或者媒体流送设备)可以在媒体呈现设备打开时请求要呈现的内容并且输出视频数据,但是缺少要呈现的图像和/或视频内容。例如,当媒体呈现设备最初启动时(例如,在请求任何内容以用于呈现之前),在没有活动的情况下经过了预定时间段之后等,媒体呈现设备可以请求要呈现的内容。在这样的示例中,例如,内容可以是图像的序列或者幻灯片。在一个更具体的示例中,在后台操作模式下,媒体呈现设备可以执行检索并且呈现图像或者其它媒体内容的应用,直到接收到呈现请求(例如呈现特定媒体内容项、启动媒体内容供应服务等)。
在对呈现在媒体呈现设备上的图像感兴趣时,机制可以检测保存与呈现的图像相关联的与图像有关的信息的用户命令。响应于检测到对应的用户命令,机制可以基于与用户命令相关联的定时信息来从媒体呈现设备至少检索图像识别信息。例如,媒体呈现设备可以在检测到用户命令时利用图像标识符和与呈现在媒体呈现设备上的图像相关联的图像元数据来响应对图像信息的请求。
机制可以连同与用户设备相关联的用户识别信息一起将与图像有关的信息存储在图像数据库中。这可以例如,允许用户稍后经由生成的用户界面来查阅与图像有关的信息和/或在与图像有关的信息中进行导航,其中,用户界面的用户选择部分可以向用户提供机会来查阅通过使用与图像有关的信息获得的附加或者补充内容。这还可以例如,允许用户与其他用户(例如,在社交共享服务中与用户设备的用户有联系的用户)共享与呈现在媒体呈现设备上的感兴趣的图像相对应的保存的与图像有关的信息。
应当注意,虽然本文描述的实施方式大体上涉及存储并且呈现与呈现在媒体呈现设备上的图像序列中感兴趣的图像相关联的图像信息,但是这仅仅是说明性的。响应于接收到合适的用户命令,可以获得任何合适的内容标识符,并且可以存储关于与内容标识符相关联的内容的元数据和其它信息以供稍后查阅。例如,响应于在呈现被呈现在媒体呈现设备上的视频内容期间(例如,当媒体呈现设备被检测为处于活动模式时)接收到合适的用户命令,可以存储关于呈现在媒体呈现设备上的视频内容的元数据和其它信息以供稍后连同视频内容的表示(例如,与视频内容相对应的授权封面图像)一起查阅。在一个更具体的示例中,可以使用与用户命令相关联的定时信息来向内容提供者或者任何其它合适的源传输在用户命令时获得与呈现的视频内容的一部分相关联的元数据和其它信息的请求。
结合图1至图14进一步描述这些和其它特征。
图1示出了根据一些实施方式的,可以实现用于存储与呈现在如本文描述的媒体呈现设备上的内容相关联的信息的机制的系统的概述性示意图的示例100。如图示的,系统100可以包括一个或者多个用户设备102。用户设备102可以是彼此在本地或者彼此远离。可以通过一个或者多个通信链路104来将用户设备102连接至可以经由通信链路112链接至服务器120的通信网络106。
虽然在图1中示出了三个用户设备102以避免使附图过度复杂化,但是在一些实施方式中可以使用任何合适数目的这些设备以及任何合适类型的这些设备。
系统100可以包括一个或者多个呈现设备110。呈现设备110可以是彼此在本地或者彼此远离。可以通过一个或者多个通信链路108来将呈现设备110连接至通信网络106,其可以经由通信链路112链接至服务器120和/或经由通信链路104链接至用户设备102。
系统100可以包括一个或者多个服务器120。服务器120可以是用于提供对本文描述的机制的访问以供存储与呈现在媒体呈现设备上的内容相关联的信息的任何一个或者多个合适的服务器,诸如,处理器、计算机、数据处理设备、或者这些设备的任何合适的组合。例如,可以将用于存储与呈现在媒体呈现设备上的内容相关联的信息的机制分布到多个后端组件和多个前端组件和/或用户界面中。在一个更具体的示例中,后端组件(诸如,用于接收将用户账户与呈现设备相关联的请求、接收与呈现在呈现设备上的内容有关的元数据、呈现与呈现在呈现设备上的内容相对应的保存的图像信息的请求等的机制)可以在一个或者多个服务器120上执行。在另一特定示例中,前端组件(诸如,用于呈现内容、呈现用于保存与呈现在呈现设备上的内容相对应的图像信息的确认界面、请求要呈现的内容、识别存在的用户设备、设置用户偏好、使得用户设备与呈现设备相关联、使得在用户设备上执行动作和/或呈现这样的动作的结果等的机制)可以执行在一个或者多个用户设备102和/或呈现设备110上。
在一些实施方式中,用户设备102、呈现设备110和服务器120中的每一个可以是通用设备(诸如,计算机)或者专用设备(诸如,客户端、服务器等)中的任何一个。这些通用设备或者专用设备中的任何一个都可以包括任何合适的组件,诸如,硬件处理器(该硬件处理器可以是微处理器、数字信号处理器、控制器等)、存储器、通信接口、显示控制器、输入设备等。例如,用户设备102可以实现为智能电话、平板计算机、可穿戴计算机、膝上型计算机、便携式游戏控制台、任何其它合适的计算设备、或者其任何合适的组合。作为另一示例,呈现设备110可以实现为数字媒体接收器、媒体流送设备、游戏控制台、机顶盒、电视机、投影仪、任何其它合适的计算设备、或其任何合适的组合。
通信网络106可以是任何合适的计算机网络或者这样的网络的组合,包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、Wi-Fi网络、数字用户线路(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)、内联网、一个或者多个对等连接等。通信链路104、108、和112中的每一个可以是适用于在用户设备102、呈现设备110以及服务器120间传送数据的任何通信链路,诸如,网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或者这样的链路的任何合适的组合。注意,在一些实施方式中,可以使用多个服务器120来提供对与本文描述的机制相关联的不同机制的访问以供将多个用户与媒体呈现设备相关联。例如,系统100可以包括:存储与一个或者多个用户和/或一个或者多个用户设备102相关联的用户偏好的用户偏好服务器120、维持在特定呈现设备110与其相关联的用户和/或用户设备102之间的对应(例如,包括和与用户设备102相关联的用户账户相对应的用户标识符的数据库条目、与呈现在呈现设备110上的图像序列中的图像相对应的图像标识符、和与呈现在呈现设备110上的图像相对应的元数据或者任何其它合适的图像信息)的图像信息数据库服务器120、确定使得哪个内容由特定呈现设备110呈现的内容传递服务器120、提供与由呈现设备110显示的媒体内容对应的元数据或者其它图像信息的内容传递服务器120、和/或用于执行本文描述的机制的任何合适的功能的任何其它合适的服务器。
在一些实施方式中,用户设备102可以与用户识别信息130相关联。用户识别信息130可以识别用户设备102的用户和/或可以识别用户设备102。例如,在一些实施方式中,用户识别信息130可以是令牌或者与用户设备102的用户相关联的其它数据。例如,令牌或者其它数据可以识别与产品和/或服务的特定用户账户相关联的用户。在一个更具体的示例中,这样的令牌或者其它信息可以包括与用于登录到用户设备上的应用的特定电子邮件地址相关联的字符串。作为另一示例,用户识别信息130可以是用户设备102的识别信息,诸如,MAC地址、设备ID、序列号、和/或用户设备102的任何其它合适的识别信息。作为又一示例,用户识别信息130可以是用户的识别信息和用户设备102的识别信息的组合。
在一些实施方式中,呈现设备110可以与呈现设备识别信息140相关联。呈现设备识别信息140可以识别呈现设备110的用户和/或呈现设备110。例如,在一些实施方式中,设备识别信息140可以是令牌或者与呈现设备110的用户相关联的其它数据。例如,令牌或者其它数据可以识别与产品和/或服务的特定用户账户相关联的用户。在一个更具体的示例中,这样的令牌或者其它信息可以包括与用作登录到在呈现设备上执行的应用的凭证的特定电子邮件地址相关联的字符串(该字符串可以是,例如,随机指派的)。作为另一示例,呈现设备识别信息140可以是呈现设备110的识别信息,诸如,MAC地址、设备ID、序列号、和/或呈现设备110的任何其它合适的识别信息。作为又一示例,呈现设备识别信息140可以是用户的识别信息和呈现设备110的识别信息的组合。在一些实施方式中,呈现设备识别信息140可以包括在语义上有意义的识别信息,诸如,用户指派的名称(例如,“UserA's LivingRoom Streaming Device(用户A的客厅流送设备)”)。
在一些实施方式中,呈现设备识别信息140可以包括呈现设备110的可以基于任何合适的条件来指派的持久性标识符。例如,可以在呈现设备110被初始化和/或重新初始化时指派呈现设备110的设备标识符。在一个更具体的示例中,在初始化期间,呈现设备110可以联系服务器以请求持久性设备标识符。在一些实施方式中,该设备标识符可以由服务器指派,使得每个呈现设备都具有唯一的设备标识符。此外,呈现设备110可以在呈现设备110被重置或者重新初始化时接收不同的设备标识符。在一些实施方式中,这样的设备标识符可以用于将用户识别信息和/或任何其它合适的信息(例如,在服务器处)与呈现设备110相关联以供稍后用于确定要使用呈现设备110呈现的内容。
在一些实施方式中,服务器120可以存储图像信息数据库150。图像信息数据库150可以包括与呈现在呈现设备110上的图像和/或其它媒体内容相关联的元数据或者其它图像信息,其中,这样的元数据或者其它图像信息可以与特定用户设备102的用户相关联(例如,响应于接收到对由呈现设备110显示的图像或者其它媒体内容的兴趣的用户指示而与该用户设备102的用户识别信息130相关联)。例如,响应于接收到特定用户命令(例如,检测到“save that screen(保存该屏幕)”的语音命令),可以获得与呈现在呈现设备110上的媒体内容相对应的元数据和其它图像信息,并且连同用户设备102的用户识别信息或者呈现设备110的用户识别信息一起将其存储在图像信息数据库150中。在一些实施方式中,从呈现设备110获得的元数据和/或其它图像信息可以用于传输检索与感兴趣的图像有关的附加或者补充内容的一个或者多个请求。可以连同元数据一起将这样的附加或者补充内容(或者指向附加或者补充内容的链接)作为记录的一部分存储在图像信息数据库150中。此外或者替选地,在一些实施方式中,图像信息数据库150可以包括识别哪些用户与哪些呈现设备相关联(例如,通过使用户识别信息130与呈现设备识别信息140相联系)的信息。在一些实施方式中,可以通过使用任何合适的技术或者技术的组合来组织图像信息数据库150中的信息。例如,可以将图像信息数据库150组织为关系数据库。
在本文描述的机制收集有关用户的个人信息或者可以利用个人信息的情形下,可以为用户提供如下机会:控制程序或者特征是否收集用户信息(例如,有关在用户的用户设备上的缓存的设备细节、在用户设备连接至其的网络上发现的设备、发送数据库查询的地址、社交网络、社交动作或者活动、职业、用户的偏好、或者用户的当前位置的信息)或者控制是否和/或如何从服务器接收可能与用户更有关的内容。另外,在存储或者使用特定数据之前,可以按照一种或者多种方式来处理该特定数据,从而使得可以去除个人可识别信息。例如,可以处理用户的身份,从而使得无法确定用户的个人可识别信息,或者可以在获得位置信息的情况下将用户的地理位置一般化(诸如,至城市、邮政编码、或者州县等级),从而使得无法确定用户的特定位置。由此,用户可以对内容服务器收集和/或使用有关用户的信息的方式进行控制。
在一些实施方式中,可以存储被存储在图像信息数据库中的信息,从而使得用户的个人信息变得模糊。例如,用户识别信息130和/或呈现设备识别信息140可以是指派的识别号码和/或代号,并且用户偏好可以与这样的识别号码和/或代号相关联。
图2示出了根据所公开的主题的一些实施方式的,可以用于实现在图1中描绘的用户设备102、呈现设备110和服务器120中的一个或者多个的硬件的示例200。参照图2,用户设备102可以包括可以互连的硬件处理器202、显示器/输入设备204、存储器206、和发射器/接收器208。在一些实施方式中,存储器206可以包括用于存储控制硬件处理器202的用户设备程序的存储设备(诸如,计算机可读介质)。
硬件处理器202可以使用用户设备程序来执行本文描述的机制和/或与本文描述的机制进行交互以供在与媒体呈现设备相关联的移动设备上执行基于呈现的媒体内容的个性化动作,将多个设备与媒体呈现设备相关联,控制在媒体呈现设备上呈现内容,将用户偏好从媒体呈现设备解除关联,设置用户偏好,使得在用户设备上执行一个或者多个确定的动作等。在一些实施方式中,用户设备程序可以使得硬件处理器202例如与执行过程300的至少一部分的设备交互,如下面结合图2所描述的。在一些实施方式中,用户设备程序可以使得硬件处理器202例如与执行下面结合图3描述的过程300的至少一部分的设备进行交互。在一些实施方式中,硬件处理器202可以通过使用例如发射器、接收器、发射器/接收器、收发器、或者任何其它合适的通信设备(诸如,发射器/接收器208)通过通信链路104或者任何其它通信链路来发送和接收数据。显示器/输入设备204可以包括:触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或者多个扬声器、和/或任何其它合适的显示器和/或呈现设备,和/或可以包括计算机键盘、计算机鼠标、一个或者多个物理按钮、麦克风、触摸板、语音识别电路、触摸屏的触摸界面、摄像头、运动传感器(诸如,光学运动传感器和/或加速度计)、温度传感器、近场通信传感器、生物计量数据传感器、和/或任何其它合适的输入设备。发射器/接收器208除了别的之外可以包括,用于发射和/或接收用于呈现内容的指令、用于设置用户偏好的指令、用于将用户偏好与呈现设备相关联的指令等的任何合适的发射器和/或接收器,并且可以包括用于与一个或者多个通信网络(诸如,在图1中示出的网络106)进行交互的任何合适的硬件、固件和/或软件。例如,发射器/接收器208可以包括:网络接口卡电路系统、无线通信电路系统、和/或任何其它合适类型的通信网络电路系统、一根或者多根天线、和/或用于发射和/或接收信号的任何其它合适的硬件、固件和/或软件。
呈现设备110可以包括可以互连的硬件处理器212、显示器/输入设备214、存储器216和发射器/接收器218。在一些实施方式中,存储器216可以包括用于存储控制硬件处理器212的呈现设备程序的存储设备(诸如,计算机可读介质)。
硬件处理器212可以使用呈现设备程序来执行本文描述的机制和/或与本文描述的机制进行交互以供在与基于呈现的媒体内容的媒体呈现设备相关联的移动设备上执行个性化动作,将多个设备与媒体呈现设备相关联,基于相关联的用户的用户偏好来请求要呈现的内容,请求和/或传输呈现设备识别信息140等。在一些实施方式中,呈现设备程序可以使得硬件处理器212例如与执行下面分别结合图3和图6描述的过程300和600的至少一部分的设备进行交互。在一些实施方式中,硬件处理器212可以通过使用例如发射器、接收器、发射器/接收器、收发器、或者任何其它合适的通信设备(诸如,发射器/接收器218)通过通信链路108或者任何其它通信链路来发送和接收数据。显示器/输入设备204可以包括触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或者多个扬声器、和/或任何其它合适的显示器和/或呈现设备,和/或可以包括计算机键盘、计算机鼠标、一个或者多个物理按钮、麦克风、触摸板、语音识别电路、触摸屏的触摸界面、摄像头、运动传感器(诸如,光学运动传感器和/或加速度计)、温度传感器、近场通信传感器、生物计量数据传感器、和/或任何其它合适的输入设备。在一些实施方式中,可以省略呈现设备110的显示器/输入设备214。发射器/接收器218可以包括用于发射和/或接收:除了别的之外的对要呈现的内容的请求、要呈现的内容、用于确定是否存在一个或者多个用户设备102的信号等的任何合适的发射器和/或接收器,并且可以包括用于与一个或者多个通信网络(诸如,在图2中示出的网络106)对接的任何合适的硬件、固件和/或软件。例如,发射器/接收器218可以包括:网络接口卡电路系统、无线通信电路系统、USB输入和/或输出电路系统、HDMI输入和/或输出电路系统、和/或任何其它合适类型的通信网络电路系统、一根或者多根天线、和/或用于发射和/或接收信号的任何其它合适的硬件、固件和/或软件。
服务器120可以包括可以互连的硬件处理器222、显示器/输入设备224、存储器226和发射器/接收器228。在一些实施方式中,存储器228可以包括用于存储通过通信链路112或者通过其它链路接收的数据的存储设备。存储设备可以进一步包括用于控制硬件处理器222的服务器程序。在一些实施方式中,存储器228可以包括由于由呈现设备进行的用户活动和/或活动而存储的信息(例如,用户偏好、用户识别信息130、呈现设备识别信息140、图像信息数据库150、要呈现的内容、对要呈现内容的请求、用于访问要呈现的内容的用户凭证等)。在一些实施方式中,服务器程序可以使得硬件处理器222例如执行下面分别结合图3和图6描述的过程300和600的至少一部分。
硬件处理器222可以使用服务器程序来与用户设备102和/或呈现设备110通信,以及提供对本文描述的机制的访问和/或本文描述的机制的副本。还应当注意,可以从任何合适的源接收通过通信链路112或者任何其它通信链路接收到的数据。在一些实施方式中,硬件处理器222可以使用例如发射器、接收器、发射器/接收器、收发器、或者任何其它合适的通信设备(诸如,发射器/接收器228)通过通信链路112或者任何其它通信链路来发送和接收数据。在一些实施方式中,硬件处理器222可以接收由一个或者多个用户设备102、呈现设备110、一个或者多个其它服务器120、和/或服务器120的一个或者多个用户(诸如,进行改变以调整与本文描述的机制相关联的设置以供将多个用户与媒体呈现设备相关联的用户)传输的命令和/或值。显示器224可以包括触摸屏、平板显示器、阴极射线管显示器、投影仪、一个或者多个扬声器、和/或任何其它合适的显示器和/或呈现设备,和/或可以包括计算机键盘、计算机鼠标、一个或者多个物理按钮、麦克风、触摸板、语音识别电路、触摸屏的触摸界面、摄像头、运动传感器(诸如,光学运动传感器和/或加速度计)、温度传感器、近场通信传感器、生物计量数据传感器、和/或任何其它合适的输入设备。发射器/接收器228除了别的之外可以包括,用于发射和/或接收要呈现的内容、用户偏好、用户识别信息130、呈现设备识别信息140、对内容的请求等的任何合适的发射器和/或接收器,并且可以包括用于与一个或者多个通信网络(诸如,在图2中示出的网络106)对接的任何合适的硬件、固件和/或软件。例如,发射器/接收器228可以包括:网络接口卡电路系统、无线通信电路系统、和/或任何其它合适类型的通信网络电路系统、一根或者多根天线、和/或用于发射和/或接收信号的任何其它合适的硬件、固件和/或软件。
在一些实施方式中,服务器120可以实现在一个服务器中或者可以分布为任何合适数目的服务器。例如,多个服务器120可以实现在各个位置以增加服务器可以与用户设备102和/或呈现设备110通信的可靠性和/或速度。此外或者替选地,如上面结合图1描述的,可以实现多个服务器120以执行与本文描述的机制相关联的不同任务。
图3示出了根据所公开的主题的一些实施方式的存储与呈现在媒体呈现设备上的内容相关联的信息的过程的示例300。
应当注意,虽然本文描述的实施方式大体上涉及存储并且呈现与呈现在媒体呈现设备上的图像序列中感兴趣的图像相关联的图像信息,但是这仅仅是说明性的。响应于接收到合适的用户命令,可以获得任何合适的内容标识符,并且可以存储关于与内容标识符相关联的内容的元数据和其它信息以供稍后查阅。例如,响应于在呈现被呈现在媒体呈现设备上的视频内容期间接收到合适的用户命令,可以存储关于呈现在媒体呈现设备上的视频内容的元数据和其它信息以供稍后连同视频内容的表示(例如,与视频内容相对应的授权封面图像)一起查阅。在一个更具体的示例中,在播放特定视频内容项“Movie A(电影A)”期间,接收到合适的用户命令(诸如,“save this and who is this actor(保存此以及这个演员是谁)”),并且响应于在播放“Movie A”期间在特定时间处的该用户命令,可以存储元数据和通过使用该元数据获得的补充内容以供在计算设备上生成并且呈现推荐卡片界面。在一些实施方式中,除了存储与图像有关的信息或者与呈现的媒体内容相关联的其它信息之外,还可以与一个或者多个用户(例如,在社交共享服务中与用户设备的用户具有关系的用户)共享关于呈现在媒体呈现设备上的视频内容的元数据和其它信息。
如在图3中示出的,过程300可以通过通信网络检测用户设备(诸如,用户设备102)与媒体呈现设备(诸如,呈现设备110)相关联来在310处开始。例如,登录进用户账户的用户可以在通信网络上对呈现设备进行定位并且引起与呈现设备相关联的请求(例如,连接至用户A的客厅呈现设备)。在一个更具体的示例中,响应于由用户发起的在呈现设备110上呈现特定内容的请求和/或作为由用户发起的在呈现设备110上呈现特定内容的请求的一部分,用户设备102可以使得将用户设备102的用户(例如,基于用户识别信息130)与特定呈现设备110相关联的请求被发送至执行过程300的至少一部分的服务器120。替选地,响应于呈现设备110从用户设备102接收到执行任何合适的动作的指令,呈现设备110可以使得将这样的用户设备102的用户与呈现设备110相关联的请求被发送至执行过程300的至少一部分的服务器120。作为又一示例,响应于发起将用户设备102的用户(例如,基于用户识别信息130)与特定呈现设备110相关联的任何合适的用户动作,用户设备102可以使得对这样的关联的请求被发送至执行过程300的至少一部分的服务器120。
在一些实施方式中,代替用户设备响应于来自呈现设备的检测用户设备的存在的信号或者除了其之外,该用户设备还可以向服务器120传输将其自身识别为对呈现设备110存在的信号。
在一个更具体的示例中,可以在任何合适的用户设备(诸如,智能电话、平板计算机、可穿戴计算机等)上加载客户端应用。在一些实施方式中,一旦加载了客户端应用,该客户端应用就可以发起呈现设备发现。例如,可以在用户设备连接至其的网络上发起呈现设备发现。在一个更具体的示例中,客户端应用可以使得用户设备通过利用发现和启动(DIAL)协议来在网络(例如,Wi-Fi网络)上搜索呈现设备。在另一更具体的示例中,可以执行完整发现协议,其使得计算设备在用户设备连接至其的网络上发送用户数据报协议(UDP)多播消息。在一些实施方式中,UDP可以包括涉及呈现设备(诸如,数字媒体渲染器和/或数字媒体服务器、数字媒体播放器、或者输出、处理、和/或呈现媒体内容的任何其它合适的呈现设备)的M-搜索消息。在一些实施方式中,UDP多播消息可以包括发送消息的设备的地址(例如,用户设备的网络地址),并且可以包括要在其期间发送回复的时间段。这样的时间段可以是任何合适的时间段(诸如,一秒、两秒等),并且可以基于任何合适的因子来设置这样的时间段。
作为另一示例,可以发起呈现设备发现以确定呈现设备是否接近用户设备。在另一更具体的示例中,客户端应用可以执行蓝牙服务发现协议(SDP)和/或允许设备通过短程连接来发现其它设备的任何其它合适的SDP。
应当注意,在发起呈现设备发现或者在用户设备上执行任何动作之前,客户端应用可以为用户设备的用户提供如下机会:提供对在用户设备上执行动作的肯定同意或者授权,诸如,检测连接至用户设备的呈现设备、检索与用户相关联的媒体内容、执行第二屏幕动作等。例如,在用户设备上加载了客户端应用时,客户端应用可以提示用户提供对于检索与呈现设备相关联的图像识别信息并且连同用户识别信息一起将可以包括图像识别信息的与图像有关的信息存储在数据库中的核准。在一个更具体的示例中,响应于下载了客户端应用和/或在用户设备上加载了客户端应用,可以向用户提示在执行这些动作之前请求(或者需要)用户提供同意的消息。此外或者替选地,响应于安装了客户端应用,可以向用户提示在执行这些操作之前请求(或者需要)用户提供同意的许可消息。
在一些实施方式中,过程300可以在320处确定媒体呈现设备的操作模式。例如,可以确定媒体呈现设备110当前处于在媒体呈现设备110上呈现图像的序列或者幻灯片的后台操作模式。在该模式中,媒体呈现设备可以呈现任何合适的媒体内容,该任何合适的媒体内容可以包括:一个或者多个图像、视频内容、音频内容、文本、图形、和/或任何其它合适的内容。在另一示例中,可以确定媒体呈现设备110当前处于在媒体呈现设备110上呈现媒体内容(例如,电影、音频剪辑、视频等)的活动模式。在检测到媒体呈现设备100处于活动模式时,过程300可以从媒体呈现设备110获得特定类型的元数据(例如,有关正发生当前场景的地点的位置元数据、有关出现在当前场景中的男演员和女演员的人物元数据、与呈现的媒体内容有关的关键字元数据等),或者可以等待确定从媒体呈现设备110获得什么类型的元数据的用户查询。应当注意,可以检测任何合适的操作模式信息—例如,仅呈现特定类型的内容的操作模式。
在一些实施方式中,连同对可以包括一个或者多个图像、视频内容、音频内容、文本、图形、和/或任何其它合适的内容的媒体内容的检索和呈现一起,可以检索与每条媒体内容有关的元数据。在一些实施方式中,元数据可以包括有关媒体内容的任何合适的信息。例如,元数据可以包括与媒体内容有关的一个或者多个话题。在一些实施方式中,与媒体内容有关的话题可以是“艺术”、“体育”、“天气”、“个人照片”、“旅行”、“股票”、“新闻”、“时尚”、和/或任何其它合适的话题。作为另一示例,元数据可以包括有关媒体内容的主题的任何合适的信息,诸如,对图像中描绘的内容的描述。作为又一示例,元数据可以包括与媒体内容有关的任何地理信息,诸如,捕获到媒体内容的位置的名称、出现在媒体内容中的地标的名称等。在一个更具体的示例中,有关艾菲尔铁塔图像的元数据可以包括短语“巴黎”、“法国”、“欧洲”、“艾菲尔铁塔”等。作为又一示例,元数据可以包括有关与媒体内容有关的一个或者多个源的任何合适的信息,诸如,社交媒体帖子、网页、URI等。
响应于通过通信网络检测到用户设备与媒体呈现设备相关联并且响应于检测到媒体呈现设备处于呈现图像序列的操作模式,过程300可以在330处确定是否已接收到指示对图像序列中的图像的兴趣的用户命令的请求。例如,响应于通过通信网络检测到用户设备与媒体呈现设备相关联,并且响应于检测到媒体呈现设备处于呈现图像序列的操作模式,可以激活音频输入设备(诸如,用户设备上的麦克风),其中,对音频数据进行分析以检测指示用户对正呈现的图像的兴趣的语音命令。在一个更具体的示例中,来自音频数据的语音命令可以包括特定单词序列,诸如,“save this image(保存该图像)”。在另一更具体的示例中,可以在发起请求的触发词项——诸如“OK device(好的,设备)”——之后检测指示用户的对图像的兴趣的语音命令。应当注意,在一些实施方式中,作为媒体呈现设备的一部分或者连接至媒体呈现设备的音频输入设备可以从接收到的音频数据中检测语音命令,并且将接收到的语音命令的指示传输至与媒体呈现设备相关联的用户设备。
在一些实施方式中,响应于确定媒体呈现设备处于特定操作模式,过程300可以检测是否已经接收到指示对正呈现在媒体播放设备上的媒体内容的一部分感兴趣的特定用户命令。例如,响应于确定媒体呈现设备处于正呈现图像序列的后台模式或者空闲模式,过程300可以确定是否已经接收到用户命令,诸如,“save this image”。在另一示例中,响应于确定媒体呈现设备处于媒体呈现设备正呈现媒体内容的活动模式,过程300可以确定是否已经接收到用户命令,所述用户命令包括保存与正呈现的媒体内容的一部分有关的元数据的指令并且包括与正呈现的媒体内容的一部分有关的查询。
在一些实施方式中,可以从用户命令中提取多个命令。例如,可以接收“save thisand who is this actor”的用户命令并且将其解析为至少两个命令—例如,“保存此”作为发起保存与接收到命令的时间有关的元数据和其它内容命令的命令和“who is thisactor”(或者词项“who(谁)”和“actor(演员)”)作为使用保存的元数据来发起搜索以回答用户进行的查询。在一个更具体的示例中,响应于在呈现“Movie A”期间接收到该用户命令,过程300可以向包括从媒体呈现设备检索到的与移动设备接收到用户命令的时间对应的元数据的一个或者多个搜索引擎传输搜索查询。继续该示例,可以存储响应于搜索查询的搜索结果或者其部分。例如,可以存储元数据和补充内容以供稍后查阅,并且可以在移动设备上按照卡片界面的形式向用户呈现对用户命令中接收到的查询的回答。在另一示例中,可以使用搜索结果来生成卡片界面以供稍后在移动设备上查阅(例如,在移动设备的用户可以通过包括响应于接收到的用户命令而保存的内容的各种界面来进行导航的情况下)。
在一些实施方式中,响应于检测到已经接收到对应的用户命令(例如,来自音频输入设备的“OK device,save this image(好的,设备,保存该图像)”),过程300可以从媒体呈现设备获得图像识别信息。例如,过程300可以在340处使得在用户设备上执行的应用向在媒体呈现设备上执行的应用传输获得与呈现在媒体呈现设备上的图像相关联的图像标识符的请求。这样的请求可以包括:例如,接收到用户命令的时间戳。作为响应,媒体呈现设备可以基于请求的时间戳来确定呈现的图像或者其它媒体内容,并且可以向用户设备传输图像识别信息和任何其它与图像有关的信息(例如,上面描述的元数据)以供进行存储。此外或者替选地,媒体呈现设备可以向用户设备传输图像识别信息,其中,在用户设备上执行的应用可以向内容源传输对与图像识别信息相对应的附加信息(例如,图像标识符、图像的名称、与图像相关联的艺术家、与图像相关联的日期、与图像相关联的位置等)的请求。
在一些实施方式中,过程300可以请求在接收到用户命令的时间戳或者靠近该时间戳呈现的多个图像的图像识别信息。例如,可以向用户设备的用户呈现多个图像并且可以向用户设备的用户提供如下机会:指示确认的对多个图像中的至少一个图像的兴趣(例如,通过选择呈现的图像表示中的一个或者多个图像表示)。
在一些实施方式中,过程300可以使用接收到用户命令的时间戳以允许移动设备的用户恢复或者返回到正呈现的特定内容。例如,如果在播放视频内容期间接收到用户命令,则呈现在用户界面上的元数据和其它与图像有关的信息可以包括恢复或者返回到在与接收到用户命令的时间戳相对应的播放时间处的视频内容的可选选项。继续该示例,移动设备的用户对可选选项的选择可以使得移动设备向媒体播放设备传输在特定时间处恢复播放特定媒体内容项的指令(例如,通过请求媒体内容项、选择特定播放时间、和将内容投射到媒体播放设备)。在另一示例中,在呈现图像序列期间接收到用户命令的情况下,移动设备的用户选择可选选项可以使得移动设备向媒体播放设备传输在接收到用户命令时显示呈现的图像序列中的图像的指令。
在一些实施方式中,过程300可以使得在用户设备和/或媒体呈现设备上呈现确认界面。例如,响应于检测到已经接收到对应的用户命令(例如,来自音频输入设备的“OKdevice,save this image”),过程300可以引起向用户设备的用户提示确认是否发起存储与图像有关的信息(例如,呈现的图像的表示、与呈现的图像相关联的元数据、至与呈现的图像有关的补充内容的链接等)的确认界面。然后可以例如,在社交媒体服务中将这样的与图像有关的信息存储为相簿的一部分。此外或者替选地,还可以在媒体呈现设备上呈现确认界面(例如,可以邻近指示将对图像进行保存并且将其与对应的用户账户相关联的消息来呈现图像的表示)。
在一个更具体的示例中,图4示出了响应于检测到已经接收到对应的用户命令,显示设备410呈现图像420以及移动设备102呈现确认界面的说明性示例。在一些实施方式中,显示设备410可以可操作地耦合至媒体呈现设备和/或媒体呈现设备可以并入到显示设备410中。例如,媒体呈现设备(诸如,数字媒体接收器或者媒体流送设备)可以请求在媒体呈现设备打开时呈现内容并且输出视频数据但是缺少要呈现的图像和/或视频内容。在一些实施方式中,媒体内容420可以是与显示设备410相关联的默认内容,诸如,来自一个源或者多个源的图像的集合(例如,本地存储的图像数据库、存储在呈现设备上的图像、服务器等)。此外或者替选地,媒体内容420可以是已经基于用户设备102的存在而选择以用于呈现的内容(例如,与在用户设备上认证的用户账户相关联的用户偏好)。例如,可以检测到移动设备102在媒体呈现设备410的接近度内(例如,在媒体呈现设备410的预定接近度内、在媒体呈现设备410连接至其的局域网上等)。在一些实施方式中,可以将图像的集合显示为图像的幻灯片。例如,可以在预定时间段(例如,十五秒、三十秒等)内以一次一个(或者许多个)的方式来呈现幻灯片中的每个图像。
继续上述示例,在检测到已经接收到保存与图像有关的信息的对应用户命令(例如,“OK device,save my screen(好的,设备,保存我的屏幕)”)时,可以在用户设备102的显示器上呈现确认界面430。如图所示。如在图4中示出的,可以在用户界面102的显示器上呈现卡片界面430,该卡片界面430包括呈现在显示设备410上的感兴趣的图像的表示440和请求用户设备102的用户确认对存储表示440中的图像的与图像有关的信息的兴趣的消息450。更具体地,响应于检测到与确认界面430的交互(例如,通过选择消息450),可以取消存储与图像有关的信息。否则,响应于在预定时间段(例如,五秒)内没有检测到与确认界面430的交互,可以发起将与图像相对应的与图像有关的信息存储在表示440中。替选地,在一些实施方式中,可能需要选择确认界面430以发起将与图像相对应的与图像有关的信息存储在表示440中。
在另一更具体的示例中,在检测到保存与正呈现的视频内容有关的元数据的多个命令和对于视频内容的查询(例如,“OK device,save my screen and who is theactress(好的,设备,保存我的屏幕以及该女演员是谁)”)时,可以呈现包括视频内容的表示、接收到多个命令的时间戳、和查询的表示的确认界面(例如,您是否询问—“who is theactress in this scene of Movie A?(在Movie A的这个场景中的女演员是谁?)”)。确认界面可以请求用户确认多个命令中的每个命令。
在一些实施例中,确认界面可以包括在接收到用户命令时返回到呈现的媒体内容中的图像或者位置的可选选项。例如,这可以允许用户在保存元数据或者获得补充内容之前查阅图像或者查阅媒体内容项中的特定场景。
参照回图3,在一些实施方式中,过程300可以在350处检索与呈现在媒体呈现设备上的图像相对应的元数据和其它与图像有关的信息。例如,在从媒体呈现设备或者任何其它合适的源接收到图像识别信息时,过程300可以通过使用图像识别信息来传输对与呈现在媒体呈现设备上的图像相对应的补充内容的请求。在一个更具体的示例中,服务器可以检索有关呈现的图像的数据块(data blob)或者任何其它合适的信息,并且使用该数据块来检索与图像相关联的元数据。
在一些实施方式中,元数据可以包括与呈现的内容有关的任何合适的信息,诸如,与呈现的内容有关的一个或者多个话题、有关包括在呈现的内容中的信息的类型的信息(例如,图像、视频、文件类型等)、有关呈现的内容的主题的信息(例如,对图像中描绘的内容的描述)、呈现的内容源自的源(例如,社交媒体帖子、网页、URI等)、有关与呈现的内容有关的一个或者多个用户(例如,出现在照片中的用户)的信息、有关呈现的内容的一个或者多个作者的信息等。在一个更具体的示例中,当呈现在媒体呈现设备上的媒体内容是风景相片时,元数据可以包括图像统一资源定位符、拍摄相片所处的位置、和与捕获相片的用户相关联的艺术家信息。在另一更具体的示例中,当呈现在媒体呈现设备上的媒体内容是来自新闻文章的图像时,元数据可以包括新闻文章的统一资源定位符、与包括在新闻文章中的内容相关联的关键字、发布新闻文章的源、和指向与新闻文章有关的内容的链接。在又一更具体的示例中,当呈现在媒体呈现设备上的媒体内容是来自社交共享服务的食物图像时,元数据可以包括图像统一资源定位符、指向用于制作在食物图像中示出的食物的食谱的链接、指向响应于食物图像的发布而已经提供在社交分享服务上的评论的链接、和指向相关食谱的链接。
在一些实施方式中,响应于从媒体呈现设备接收到图像识别信息、元数据、或者任何其它合适的与图像有关的信息,过程300可以向其它内容源生成对补充内容的一个或者多个附加请求。例如,从媒体呈现设备接收到的图像识别信息和/或元数据可以用于生成传输至搜索引擎的搜索查询。可以查阅响应于搜索查询的搜索结果,并且可以连同与图像有关的信息一起存储搜索结果的一部分。例如,可以将被确定为具有大于特定阈值得分的流行度得分的搜索结果连同与图像有关的信息一起存储在图像信息数据库中。在另一示例中,可以将被确定为与用户设备的用户相关的搜索结果连同与图像有关的信息一起存储在图像信息数据库中,其中,相关性可以基于与用户设备相关联的用户账户通常访问的内容源、与用户设备相关联的用户账户订阅的内容提供服务等。
在一些实施方式中,响应于检测到用户命令中的查询而生成传输至一个或者多个搜索引擎的搜索查询。该搜索查询可以获得用户命令中检测到的查询的答案,并且可以获得对应的搜索结果。
在360处,过程300可以将接收到的与图像有关的信息与在用户设备上认证的用户账户相关联。例如,过程300可以将接收到的与图像有关的信息存储在通过用户账户、用户设备、和/或呈现设备来索引的数据库中。在一个更具体的示例中,存储来自在用户设备上执行的客户端应用的与图像有关的信息的指令可以使得与用户标识符、与媒体呈现设备有关的识别信息、和/或其它合适的信息相关联地存储呈现在媒体呈现设备上的图像的表示、图像识别信息、和与图像相关联的元数据,使得响应于接收到对与已经呈现在媒体呈现设备上的感兴趣的图像有关的补充信息的后续请求,服务可以检索和/或确定与图像有关的信息以在用户设备上进行呈现。在另一更具体的示例中,响应于接收到来自用户设备的用户的存储与呈现在媒体呈现设备上的图像相对应的与图像有关的信息的确认,可以向服务器传输存储包括用户标识符(例如,用户账户凭证)的与图像有关的信息的请求、图像标识符、和与感兴趣的图像相关联的元数据。
注意,在本文描述的机制收集有关特定用户的信息的一些实施方式中,可以向用户提供机会来控制机制是否收集有关特定用户的信息和/或机制使用收集到的用户信息的方式。有关用户的信息的示例可以包括用户的兴趣和用户的识别信息(例如,用户简档、用户凭证、设备识别等)。此外,在存储有关用户的某些信息之前,可以按照一种或者多种方式来在本地存储(例如,不共享)这些信息、对这些信息进行加密、和/或处理这些信息以去除个人可识别信息。例如,本文中描述的机制可以利用匿名用户标识符(例如,与用户的姓名、用户的用户名和/或密码、用户的电子邮件地址等不相关联的用户标识符)来存储特定用户的用户偏好和/或用户兴趣。通过使用这些技术,用户可以对收集有关用户的什么信息和/或本文描述的机制使用这些信息的方式进行控制。
在一些实施方式中,可以从与呈现的图像相关联的接收到的元数据中选择元数据的一部分。例如,基于与用户账户相关联的先前用户选择和用户兴趣,可以选择元数据的一部分以用于存储,其中,该元数据的一部分用于生成用于在存储的图像信息中进行导航的用户界面。
应当注意,可以基于任何合适的标准来选择用于存储的元数据或者其它与图像有关的信息。例如,用户偏好可以用于选择的用于与用户账户相关联地存储的特定元数据,该用户偏好可以包括:用户的表明的兴趣、用户的隐含兴趣、用户已消费的媒体内容项、用户进行了评论和/或用户进行了评价的媒体内容和/或产品、和/或有关用户的任何其它合适的信息。在另一示例中,用户的隐含兴趣可以用于选择的用于与用户账户相关联地存储的特定元数据,该用户的隐含兴趣可以基于用户动作,诸如,用户消费哪些类型的媒体内容、用户购买哪些类型的产品、用户的与内容和/或产品有关的动作(例如,用户是否通过评论和/或“喜欢”内容/产品、对内容/产品进行评价等来参与内容/产品)。在一些实施方式中,可以给予用户机会来确定哪些信息用于确定用户偏好。例如,在一些实施方式中,用户偏好可以由用户手动录入。作为另一示例,在一些实施方式中,用户可以选择可以或者不可以用于确定用户偏好的信息的一个或者多个源。
在一些实施方式中,响应于将与图像有关的信息存储在通过用户账户索引的数据库中,可以向在用户设备上执行的应用传输确认消息。在接收到确认消息之后,在用户设备上执行的应用可以呈现指示已经存储了与用户有关的信息的界面(例如,“Image Saved(图像已保存)”)。此外或者替选地,可以在媒体呈现设备上呈现指示已经存储了与用户有关的信息的界面。
在370处,过程300可以呈现允许用户设备的用户在存储的与已经呈现在媒体呈现设备上的一个或者多个感兴趣的图像相关联的元数据和/或其它与图像有关的信息中进行导航的用户界面。例如,可以访问与图像有关的信息的数据库并且可以使用其来创建界面,其中用户可以滚动浏览关于用户账户的用户已经指示对其的兴趣的图像的与图像有关的信息。
在一个更具体的示例中,图5示出了已经呈现了图像420的显示设备410和呈现用于在保存的与图像有关的信息中进行导航的用户界面510的移动设备102的说明性示例。例如,在检测到已经启动了特定客户端应用或者以其它方式确定已经接收到查阅保存的与图像有关的信息的请求之后,可以基于图像数据库中的、与在移动设备102上认证的用户账户相关联的数据来生成用户界面510,并且可以在移动设备102的显示器上呈现用户界面510。如在图5中示出的,用户界面510可以包括呈现在显示设备410上的感兴趣的图像(例如,照片A)的表示、从图像数据库检索到的与图像有关的信息或者图像元数据(例如,标题信息、艺术家信息、指向包括图像的页面的链接、指向与艺术家或者所有者相对应的用户简档的链接、和媒体呈现设备的可选列表。继续该示例,用户界面510可以用于在已经呈现在接收到对应用户命令的特定媒体呈现设备上的图像中来进行导航。
在一些实施方式中,用户界面510可以允许用户从移动设备102的用户已经与其相关联的多个媒体呈现设备中进行选择。作为响应,移动设备102可以呈现用户界面510,该用户界面510包括已经呈现在该特定媒体呈现设备上的图像和其它媒体内容。此外或者替选地,移动设备102的用户可以指示用户界面510将包括来自所有媒体呈现设备的图像和其它媒体内容信息。
在一些实施方式中,过程300可以基于与用户界面510的交互来确定要由用户设备执行的一个或者多个动作。例如,如果呈现的内容包括绘画的图像,则对用户界面510的用户选择可以通过基于与绘画有关的元数据执行搜索来检索与绘画、绘画的艺术家等有关的网页、新闻文章、和/或任何其它合适的内容。在一些实施方式中,通过使用来自与呈现的内容有关的网页、新闻文章、和/或任何其它合适的内容的信息,服务器可以获得与呈现的内容有关的关键字的更大集合以确定用户设备的用户可能感兴趣的动作。
服务器可以向用户设备传输呈现与用户界面相关联的动作的响应。在一些实施方式中,响应可以包括可以用于呈现动作的任何合适的数据。例如,响应可以包括链接(例如,统一资源定位符(URL))、条形码(例如,快速响应(QR)代码)、和/或涉及包括与呈现的内容有关的信息的网页的任何其它合适的机制等。作为另一示例,元数据可以包括与呈现的内容有关的web内容(例如,网页、文本、视频等)的片段。
在一些实施方式中,客户端应用可以接收响应。在一些实施方式中,客户端应用可以使得用户设备102执行与呈现的内容有关的动作。在一些实施方式中,该动作可以包括:通过使用文本、图像、图标、图形、视频、动画、音频剪辑、超文本、超链接、声音、和/或任何其它合适的内容来呈现内容。
在一些实施方式中,用户界面510可以包括恢复或者返回到在一个播放时间处的视频内容或者图像序列中与接收到用户命令的时间戳相对应的图像可选选项。例如,移动设备的用户选择可选选项可以使得移动设备向媒体播放设备传输在特定时间处恢复播放特定媒体内容项的指令(例如,通过请求媒体内容项、选择特定播放时间、和将内容投射到媒体播放设备)。在另一示例中,移动设备的用户选择可选择选项可以使得移动设备向媒体播放设备传输显示在接收到用户命令时图像序列中正被呈现的图像的指令。
图6示出了根据所公开的主题的一些实施方式的,可以在呈现设备110、用户设备102、以及一个或者多个服务器120间在图3的过程中使用的数据流的示例600。
在602处,在媒体呈现设备110上执行的媒体呈现应用可以在与媒体呈现设备110相关联的显示器上呈现内容。例如,响应于确定媒体呈现设备110处于合适的操作模式(诸如,后台模式),这样的内容可以包括图像的幻灯片。在一个更具体的示例中,响应于检测到后台模式当前正在媒体呈现设备110上处于活动,媒体呈现设备110可以向内容服务器请求要呈现在媒体呈现设备110上的特定媒体内容—例如,选择的相片的幻灯片、与媒体呈现设备110的用户账户相关联地存储的相片的幻灯片等。在另一更具体的示例中,响应于检测到媒体呈现设备110正在活动模式下操作,媒体呈现设备110可以向内容服务器请求要呈现在媒体呈现设备110上的特定媒体内容—例如,视频内容、点播视频内容、音频内容等。
在604处,在用户设备102上执行的媒体呈现应用可以与媒体呈现设备110相关联。例如,响应于在用户设备102上启动了媒体呈现应用,该媒体呈现应用可以识别媒体呈现设备,诸如,媒体呈现设备110。这些媒体呈现设备可以包括:例如,用户设备102先前已经与其相关联的媒体呈现设备和/或连接至与用户设备102相同的本地网络的媒体呈现设备。
替选地,媒体呈现设备110可以识别存在的用户设备——诸如用户设备102),并且接收存在的用户设备的用户设备识别信息。媒体呈现设备110可以通过使用任何合适的技术或者技术的组合来识别存在的用户设备。例如,如上所述,媒体呈现设备110可以检测连接至与媒体呈现设备110相同的本地网络的用户设备。在一些实施方式中,可以基于任何合适的标准或者标准的组合来确定用户设备存在,诸如,如果用户设备对由媒体呈现设备110发送的消息作出响应。
在606处,在用户设备102上执行的媒体呈现应用可以通过使用音频输入设备(例如,用户设备102上的麦克风)来捕获音频数据。媒体呈现应用可以检测:已经接收到保存正显示在媒体呈现设备110上的图像的与图像有关的信息的用户命令。如上所述,在用户设备102上执行的媒体呈现应用可以检测用于发起存储与图像有关的信息的特定单词序列(例如,“OK device,save this image”)。
在608处,响应于检测到接收到保存正显示在媒体呈现设备110上的图像的与图像有关的信息的对应用户命令,在用户设备102上执行的媒体呈现应用可以向媒体呈现设备110传输对图像信息的请求。例如,传输的请求可以包括关于接收到用户命令的时间的定时信息。
响应于在610处接收到对图像信息的请求,媒体呈现设备110可以在612处传输与呈现在媒体呈现设备110上的图像相对应的图像标识符或者任何合适的图像识别信息、元数据、以及其它与图像有关的信息。例如,媒体呈现设备110可以向用户设备102传输响应,其中,该响应包括:与呈现的图像相关联的图像URL、描述呈现的图像的关键字、指向讨论呈现的图像的联系人的链接、与呈现的图像相关联的艺术家信息等。在用户设备102上执行的媒体呈现应用可以在614处接收与图像有关的信息。
元数据可以包括与呈现的内容有关的任何合适的信息,诸如,与呈现的内容有关的一个或者多个话题、有关包括在呈现的内容中的信息的类型的信息(例如,图像、视频、文件类型等)、有关呈现的内容的主题的信息(例如,对图像中描绘的内容的描述)、呈现的内容源自的源(例如,社交媒体帖子、网页、URI等)、有关与呈现的内容有关的一个或者多个用户(例如,出现在照片中的用户)的信息、有关呈现的内容的一个或者多个作者的信息等。在一个更具体的示例中,当呈现在媒体呈现设备上的媒体内容是风景相片时,元数据可以包括图像统一资源定位符、拍摄相片所处的位置、和与捕获相片的用户相关联的艺术家信息。在另一更具体的示例中,当呈现在媒体呈现设备上的媒体内容是来自新闻文章的图像时,元数据可以包括新闻文章的统一资源定位符、与包括在新闻文章中的内容相关联的关键字、发布新闻文章的源、和指向与新闻文章有关的内容的链接。在又一更具体的示例中,当呈现在媒体呈现设备上的媒体内容是来自社交共享服务的食物图像时,元数据可以包括图像统一资源定位符、指向用于制作在食物图像中示出的食物的食谱的链接、指向响应于食物图像的发布而已经提供在社交分享服务上的评论的链接、和指向相关食谱的链接。
替选地,在媒体呈现设备110上执行的媒体呈现应用可以通过使用音频输入设备(例如,连接至媒体呈现设备110的麦克风)来捕获音频数据。媒体呈现应用可以检测:已经接收到保存正显示在媒体呈现设备110上的图像的与图像有关的信息的用户命令,并且作为响应,向在用户设备110上执行的媒体呈现应用传输图像识别信息、元数据、和/或任何其它与图像有关的信息。
在一些实施方式中,在616处,在用户设备102上执行的媒体呈现应用可以基于接收到的与图像有关的信息来获得补充图像信息。例如,在从媒体呈现设备110接收到与呈现的图像相关联的图像识别信息和元数据之后,可以传输对与呈现在媒体呈现设备上的图像相对应的补充内容的请求,其中,该请求包括元数据和图像识别信息作为搜索词项。响应于该请求,可以将搜索结果或者来自一个或者多个搜索结果的补充图像信息附加到从媒体呈现设备110接收到的与图像有关的信息。
在618处,在用户设备102上执行的媒体呈现应用可以使得确认经由在620处的确认界面被呈现。例如,在用户设备102或者任何其它合适的应用上执行的消息收发应用可以呈现确认界面,诸如,在图4中示出的确认界面。例如,确认界面可以向用户设备102的用户提供如下机会:取消或者确认对呈现在媒体呈现设备上的、与接收到的用户命令相对应的图像的兴趣。
在622处,可以通过使用在用户设备102上执行的消息收发应用来接收确认响应。例如,确认响应可以是不保存与图像有关的信息的指示,并且作为响应,图像存储过程可以结束。在另一示例中,确认界面可以指示图像存储过程将继续,除非接收到与确认界面的用户交互(例如,对确认界面的用户选择),并且响应于在给定时段内没有检测到这样的用户交互,确认响应可以包括传输图像、图像识别信息、与图像相对应的元数据、与图像相对应的补充内容、和/或与用户识别信息相关联的任何其它合适的与图像有关的信息。
在624处,响应于接收到存储请求,可以与用户识别信息相关联地将图像、与图像相对应的补充内容、和/或任何其它合适的与图像有关的信息存储在图像数据库中。例如,在用户设备102上执行的社交媒体应用可以接收该请求并且可以在通过用户识别信息来索引的图像数据库中创建存储图像的表示和与图像有关的信息的相簿。应当注意,在用户设备102上执行的任何合适的应用可以用于存储与由用户设备102的用户识别的感兴趣的图像相关联的与图像有关的信息。
在一些实施方式中,响应于连同用户识别信息一起将与图像有关的信息存储在图像数据库中,在用户设备102上的社交媒体应用可以在626处传输可以将图像和与图像有关的信息与用户识别信息相关联地存储在图像数据库中的确认指示。可以将该确认指示传输回媒体呈现应用或者在用户设备102上执行的任何其它合适的应用。响应于在628处接收到已经存储了图像及其相关联的与图像有关的信息的确认响应,在630处可以在用户设备102和/或媒体呈现设备110上呈现确认消息(例如,可以将消息“Image Saved”连同图像的表示一起作为通知呈现在用户设备102上)。
在640处,响应于存储了与图像有关的信息和/或接收到查阅保存的图像信息的请求,社交媒体应用或者在用户设备102上执行的任何其它合适的应用可以呈现用于在保存的图像信息中进行导航的用户界面,诸如,在图5中示出的用户界面。例如,响应于接收到查阅与已经呈现在媒体呈现设备上的感兴趣的图像有关的图像信息的请求,服务可以检索和/或确定与图像有关的信息以在用户设备上呈现并且生成合适的用户界面。
这样的用户界面可以允许用户设备102的用户滚动浏览已经呈现在一个或者多个媒体呈现设备上的感兴趣的图像的多个表示。可以连同与图像有关的信息的至少一部分一起来呈现每个图像表示。
在一些实施方式中,用户界面可以包括与其他用户(例如,经由社交共享服务与用户设备102的用户有联系的用户)共享感兴趣的图像的选项。
在一些实施方式中,本文描述的机制可以包括软件、固件、硬件、或者其任何合适的组合。例如,本文描述的机制可以囊括用硬件处理器202、212和222中的一个或者多个可辨识的编程语言编写的计算机程序(例如,用编程语言——诸如,Java、C、Objective-C、C++、C#、Javascript、Visual Basic、或者任何其它合适的方法编写的程序)。作为另一示例,本文描述的机制可以囊括与一个或者多个网页或者网页部分相对应的代码(例如,经由任何合适的编码,诸如超文本标记语言(“HTML”)、动态超文本标记语言(“DHTML”)、可扩展标记语言(“XML”)、Java服务器页面(“JSP”)、活动服务器页面(“ASP”)、Cold Fusion、或者任何其它合适的方法)。
在本文描述的机制收集有关用户的个人信息或者可以利用个人信息的情形下,可以为用户提供如下机会:控制程序或者特征是否收集用户信息(例如,有关在用户的用户设备上的缓存的设备细节、在用户设备连接至其的网络上发现的设备、发送数据库查询的地址、社交网络、社交动作或者活动、职业、用户的偏好、或者用户的当前位置的信息)或者控制是否和/或如何从服务器接收可能与用户更有关的内容。另外,在存储或者使用特定数据之前,可以按照一种或者多种方式来处理该特定数据,从而使得可以去除个人可识别信息。例如,可以处理用户的身份,从而使得无法确定用户的个人可识别信息,或者可以在获得位置信息的情况下将用户的地理位置一般化(诸如,城市、邮政编码、或者州县等级),从而使得无法确定用户的特定位置。由此,用户可以对内容服务器收集和/或使用有关用户的信息的方式进行控制。
在一些实施方式中,任何合适的计算机可读介质可以用于存储用于执行本文描述的功能和/或过程的指令。例如,在一些实施方式中,计算机可读介质可以是暂时性或者非暂时性的。例如,非暂时性计算机可读介质可以包括介质,诸如,磁性介质(诸如,硬盘、软盘等)、光学介质(诸如,光盘、数字化视频光盘,蓝光光盘等)、半导体介质(诸如,闪速存储器、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、在传输期间不会转瞬即逝的或者不会有任何持久性假象的任何合适的介质、和/或任何合适的有形介质。作为另一示例,暂时性计算机可读介质可以包括在网络上的、在线路、导体、光纤、电路、在传输期间是短暂的并且不具有永久性的任何合适的介质、和/或任何合适的无形介质中的信号。
应当理解,可以按照不限于图中示出和描述的顺序和序列的任何顺序或者序列来执行或者进行图3、图5、和图6的过程的上述步骤。同样,可以在适当或者并行情况下大体上同时执行或者进行图3、图5、和图6的过程的上述步骤。
还应当注意,如本文使用的术语“机制”可以囊括硬件、软件、固件、或者其任何合适的组合。
因此,提供了用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质。
虽然已经在前面的说明性实施方式中对发明进行了描述和说明,但是应当理解,仅通过示例的方式提出本公开,并且可以在不脱离仅由所附权利要求书限制的发明的精神和范围的情况下对发明的实施方式的细节作出许多变化。可以按照各种方式来组合和重新布置所公开的实施方式的特征。

Claims (19)

1.一种用于获得与呈现的内容有关的信息的方法,所述方法包括:
确定移动设备通过通信网络与媒体呈现设备相关联,其中,所述媒体呈现设备处于呈现图像序列的操作模式;
接收指示对正呈现在所述媒体呈现设备上的所述图像序列中的图像的兴趣的用户命令;
确定与正呈现在所述媒体呈现设备上的所述图像序列中的所述图像相关联的元数据;
使得与所述图像相关联的所述元数据与所述图像序列中的所述图像的表示和与所述移动设备的用户相对应的用户账户标识符一起存储;
接收查阅与一个或者多个图像相对应的保存的图像信息的请求,指示对所述一个或者多个图像感兴趣的所述用户命令已被接收;以及
响应于接收到所述请求,使得呈现允许所述移动设备的用户在所述保存的图像信息中进行导航的用户界面元素,其中,所述用户界面元素至少包括所述图像序列中的所述图像的所述表示和与所述图像序列中的所述图像有关的信息。
2.根据权利要求1所述的方法,进一步包括:确定所述媒体呈现设备的操作模式,其中,响应于确定所述媒体呈现设备的操作模式是后台模式而使得将所述图像序列呈现在所述媒体呈现设备上,并且其中,响应于确定所述媒体呈现设备的操作模式是播放模式而使得在所述媒体呈现设备上呈现媒体内容。
3.根据权利要求1所述的方法,进一步包括:接收所述移动设备通过无线通信网络与所述媒体呈现设备相关联的指示。
4.根据权利要求1所述的方法,其中,接收指示对所述图像序列中的所述图像感兴趣的用户命令进一步包括:
使用音频输入设备来接收包括在正呈现所述图像序列的环境中的氛围声音的音频数据;以及
识别包括所述音频数据中的、与获得与正呈现在所述媒体呈现设备上的所述图像相关联的信息的请求相对应的特定单词序列的语音输入。
5.根据权利要求1所述的方法,其中,确定与正呈现在所述媒体呈现设备上的所述图像序列中的所述图像相关联的所述元数据进一步包括:
获得与所接收到的用户命令相关联的定时信息;
基于所述定时信息来向所述媒体呈现设备传输对与正呈现在所述媒体呈现设备上的所述图像相关联的图像信息的请求;
从所述媒体呈现设备接收所述图像信息;以及
传输对于补充内容的搜索查询,其中,所述搜索查询包括所述图像信息。
6.根据权利要求5所述的方法,进一步包括:使得呈现确认对正呈现在所述媒体呈现设备上的所述图像序列中的所述图像的兴趣的确认界面,其中,所述确认界面使得对图像信息的所述请求被传输至所述媒体呈现设备。
7.根据权利要求1所述的方法,进一步包括:从与所述图像相关联的所述元数据中选择元数据的子集,其中,所述元数据的子集和与所述图像的所述表示相对应的图像标识符被存储在与所述用户账户标识符相关联的表中。
8.根据权利要求1所述的方法,其中,接收查阅保存的图像信息的请求进一步包括:确定已经访问了利用与所述用户账户标识符相对应的凭证进行认证的浏览器界面,其中,所述用户界面元素被使得呈现在所述浏览器界面中。
9.根据权利要求8所述的方法,进一步包括:
接收对正呈现所述图像序列中的所述图像的所述表示和与所述图像序列中的所述图像有关的信息的所述用户界面元素的用户选择;以及
使得所述浏览器界面访问与所述图像有关的信息的源。
10.一种用于获得与呈现的内容有关的信息的系统,所述系统包括:
硬件处理器,被配置为:
确定移动设备通过通信网络与媒体呈现设备相关联,其中,所述媒体呈现设备处于呈现图像序列的操作模式;
接收指示对正呈现在所述媒体呈现设备上的所述图像序列中的图像的兴趣的用户命令;
确定与正呈现在所述媒体呈现设备上的所述图像序列中的所述图像相关联的元数据;
使得与所述图像相关联的所述元数据与所述图像序列中的所述图像的表示和与所述移动设备的用户相对应的用户账户标识符一起存储;
接收查阅与一个或者多个图像相对应的保存的图像信息的请求,指示对所述一个或者多个图像感兴趣的用户命令已被接收;以及
响应于接收到所述请求,使得呈现允许所述移动设备的用户在所述保存的图像信息中进行导航的用户界面元素,其中,所述用户界面元素至少包括所述图像序列中的所述图像的所述表示和与所述图像序列中的所述图像有关的信息。
11.根据权利要求10所述的系统,其中,所述硬件处理器进一步被配置为:确定所述媒体呈现设备的操作模式,其中,响应于确定所述媒体呈现设备的操作模式是后台模式而使得将所述图像序列呈现在所述媒体呈现设备上,并且其中,响应于确定所述媒体呈现设备的操作模式是播放模式而使得在所述媒体呈现设备上呈现媒体内容。
12.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:接收所述移动设备通过无线通信网络与所述媒体呈现设备相关联的指示。
13.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:
使用音频输入设备来接收包括在正呈现所述图像序列的环境中的氛围声音的音频数据;以及
识别包括所述音频数据中的、与获得与正呈现在所述媒体呈现设备上的所述图像相关联的信息的请求相对应的特定单词序列的语音输入。
14.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:
获得与所接收到的用户命令相关联的定时信息;
基于所述定时信息来向所述媒体呈现设备传输对与正呈现在所述媒体呈现设备上的所述图像相关联的图像信息的请求;
从所述媒体呈现设备接收所述图像信息;以及
传输对于补充内容的搜索查询,其中,所述搜索查询包括所述图像信息。
15.根据权利要求14所述的系统,其中,所述硬件处理器进一步被配置为:使得呈现确认对正呈现在所述媒体呈现设备上的所述图像序列中的所述图像的兴趣的确认界面,其中,所述确认界面使得对图像信息的请求被传输至所述媒体呈现设备。
16.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:从与所述图像相关联的所述元数据中选择元数据的子集,其中,所述元数据的子集和与所述图像的所述表示相对应的图像标识符被存储在与所述用户账户标识符相关联的表中。
17.根据权利要求11所述的系统,其中,所述硬件处理器进一步被配置为:确定已经访问了利用与所述用户账户标识符相对应的凭证进行认证的浏览器界面,其中,所述用户界面元素被使得呈现在所述浏览器界面中。
18.根据权利要求17所述的系统,其中,所述硬件处理器进一步被配置为:接收对正呈现所述图像序列中的所述图像的所述表示和与所述图像序列中的所述图像有关的所述信息的所述用户界面元素的用户选择;以及
使得所述浏览器界面访问与所述图像有关的所述信息的源。
19.一种包含计算机可执行指令的非暂时性计算机可读介质,所述计算机可执行指令在由处理器执行时使得所述处理器执行用于获得与呈现的内容有关的信息的方法,所述方法包括:
确定移动设备通过通信网络与媒体呈现设备相关联,其中,所述媒体呈现设备处于呈现图像序列的操作模式;
接收指示对正呈现在所述媒体呈现设备上的所述图像序列中的图像的兴趣的用户命令;
确定与正呈现在所述媒体呈现设备上的所述图像序列中的所述图像相关联的元数据;
使得与所述图像相关联的所述元数据与所述图像序列中的所述图像的表示和与所述移动设备的用户相对应的用户账户标识符一起存储;
接收查阅与一个或者多个图像相对应的保存的图像信息的请求,指示对所述一个或者多个图像感兴趣的用户命令已被接收;以及
响应于接收到所述请求,使得呈现允许所述移动设备的用户在所述保存的图像信息中进行导航的用户界面元素,其中,所述用户界面元素至少包括所述图像序列中的所述图像的所述表示和与所述图像序列中的所述图像有关的信息。
CN201680066411.8A 2016-02-17 2016-12-08 用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质 Active CN108369583B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/046,126 2016-02-17
US15/046,126 US10120882B2 (en) 2016-02-17 2016-02-17 Methods, systems, and media for storing information associated with content presented on a media presentation device
PCT/US2016/065529 WO2017142612A1 (en) 2016-02-17 2016-12-08 Methods, systems, and media for storing information associated with content presented on a media presentation device

Publications (2)

Publication Number Publication Date
CN108369583A CN108369583A (zh) 2018-08-03
CN108369583B true CN108369583B (zh) 2020-08-28

Family

ID=57681750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066411.8A Active CN108369583B (zh) 2016-02-17 2016-12-08 用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质

Country Status (4)

Country Link
US (3) US10120882B2 (zh)
EP (2) EP3417382B1 (zh)
CN (1) CN108369583B (zh)
WO (1) WO2017142612A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690313B2 (ja) * 2016-03-10 2020-04-28 株式会社リコー 情報処理システムおよび情報処理方法
CN117056558A (zh) * 2016-08-08 2023-11-14 内特拉戴因股份有限公司 使用边缘计算的分布式视频存储和搜索
US11070501B2 (en) * 2017-01-31 2021-07-20 Verizon Media Inc. Computerized system and method for automatically determining and providing digital content within an electronic communication system
KR102304701B1 (ko) * 2017-03-28 2021-09-24 삼성전자주식회사 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
US10572767B2 (en) * 2017-04-12 2020-02-25 Netflix, Inc. Scene and shot detection and characterization
US10664538B1 (en) * 2017-09-26 2020-05-26 Amazon Technologies, Inc. Data security and data access auditing for network accessible content
US20190138162A1 (en) * 2017-11-07 2019-05-09 Facebook, Inc. Systems and methods for providing calls-to-action and related content associated with virtual media content
US10878438B2 (en) * 2017-12-04 2020-12-29 Spotify Ab Audio advertising interaction with voice interactive devices
CN108055589B (zh) * 2017-12-20 2021-04-06 聚好看科技股份有限公司 智能电视
US10872115B2 (en) * 2018-03-19 2020-12-22 Motorola Mobility Llc Automatically associating an image with an audio track
US20200027296A1 (en) * 2018-07-23 2020-01-23 Dominion Voting Systems, Inc. Voter-verified digital voting audit trail
EP3676728B1 (en) * 2018-11-21 2023-11-29 Google LLC Consolidation of responses from queries to disparate data sources
JPWO2020158536A1 (ja) * 2019-01-30 2021-12-02 ソニーグループ株式会社 情報処理システム、情報処理方法および情報処理装置
US20210124772A1 (en) * 2019-10-27 2021-04-29 Apple Inc. Multi-user content queue
WO2021209814A1 (en) * 2020-04-16 2021-10-21 SHIFT Commerce LTD Acquisition of goods from video content
US20220358088A1 (en) * 2021-05-04 2022-11-10 At&T Intellectual Property I, L.P. Media content memory retrieval
US11935533B1 (en) * 2021-12-06 2024-03-19 Amazon Technologies, Inc. Content-related actions based on context
US11755859B2 (en) 2021-12-22 2023-09-12 Datalogic Ip Tech S.R.L. Apparatus and method for enabling decoding of remotely sourced and visually presented encoded data markers

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4296937B2 (ja) 2004-01-06 2009-07-15 船井電機株式会社 デジタル/アナログチューナ装置
WO2007106806A2 (en) * 2006-03-13 2007-09-20 Nielsen Media Research, Inc. Methods and apparatus for using radar to monitor audiences in media environments
US20100169786A1 (en) * 2006-03-29 2010-07-01 O'brien Christopher J system, method, and apparatus for visual browsing, deep tagging, and synchronized commenting
US9386269B2 (en) * 2006-09-07 2016-07-05 Rateze Remote Mgmt Llc Presentation of data on multiple display devices using a wireless hub
US7946918B2 (en) * 2006-09-11 2011-05-24 Apple Inc. Allowing media and gaming environments to effectively interact and/or affect each other
US20090158222A1 (en) 2007-12-14 2009-06-18 Apple Inc. Interactive and dynamic screen saver for use in a media system
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9760905B2 (en) * 2010-08-02 2017-09-12 Visa International Service Association Systems and methods to optimize media presentations using a camera
US20120198386A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Causing display of thumbnail images
TW201421250A (zh) 2012-11-29 2014-06-01 Faraday Tech Corp 顯示裝置及其影像擷取方法
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
CN106663107A (zh) 2014-06-24 2017-05-10 谷歌公司 用于使多个用户与媒体呈现设备相关联的方法、系统和媒体

Also Published As

Publication number Publication date
EP4170521A1 (en) 2023-04-26
CN108369583A (zh) 2018-08-03
WO2017142612A1 (en) 2017-08-24
US20190073383A1 (en) 2019-03-07
US11068533B2 (en) 2021-07-20
EP3417382A1 (en) 2018-12-26
US10120882B2 (en) 2018-11-06
EP3417382B1 (en) 2023-02-01
US20170235768A1 (en) 2017-08-17
US20210349935A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN108369583B (zh) 用于存储与呈现在媒体呈现设备上的内容相关联的信息的方法、系统、和介质
US11082472B2 (en) Methods, systems and media for associating multiple users with a media presentation device
US11743557B2 (en) Methods, systems, and media for presenting supplemental content relating to media content based on state information that indicates a subsequent visit to the content interface
US9609391B2 (en) Methods, systems, and media for presenting mobile content corresponding to media content
US10984038B2 (en) Methods, systems, and media for processing queries relating to presented media content
US11985178B2 (en) Methods, systems and media for associating multiple users with a media presentation device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant