CN111357297A - 从第一屏幕设备到第二屏幕设备的反向投射 - Google Patents

从第一屏幕设备到第二屏幕设备的反向投射 Download PDF

Info

Publication number
CN111357297A
CN111357297A CN201780060572.0A CN201780060572A CN111357297A CN 111357297 A CN111357297 A CN 111357297A CN 201780060572 A CN201780060572 A CN 201780060572A CN 111357297 A CN111357297 A CN 111357297A
Authority
CN
China
Prior art keywords
screen device
video content
video
screen
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780060572.0A
Other languages
English (en)
Inventor
刘世文
田俊熙
杜夫·T·阿敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111357297A publication Critical patent/CN111357297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在从第一屏幕设备到第二屏幕设备的反向投射的方面中，实施为第二屏幕设备的移动设备可以基于移动设备和诸如电视设备的第一屏幕设备都连接到本地网络来确定其位于第一屏幕设备的位置附近。移动设备和电视设备可以基于确定两个设备在附近而自动关联，以使得在两个设备之间同步数据。电视设备在两个设备相关联之前显示视频内容。然后，移动设备可以接收与在电视设备上显示的视频内容相对应的情境信息。当视频内容被分发到电视设备时，通过视频内容服务对视频内容的自动分析可以确定情境信息。

Description

从第一屏幕设备到第二屏幕设备的反向投射
技术领域
本申请一般涉及流视频内容，以及从第一屏幕设备到第二屏幕设备的反向投射(reverse casting)。
背景技术
许多设备用户具有电子和计算设备，例如移动电话，平板计算机，多媒体设备和其他类似设备。这些类型的计算设备越来越多地用作电视显示设备，并且实时电视和/或记录的视频内容的视频内容流变得更加普遍。移动设备和其他类型的这些计算设备正在快速发展以顺应想要在移动设备上流式传输视频内容，以及在更大的屏幕电视设备上观看相同内容的用户。通过利用移动设备作为遥控器向电视设备发送频道改变命令，移动设备的用户可以发起在电视设备上显示视频内容。通常，如果从移动设备发起电视频道，则用作电视设备的遥控器的移动设备将知道在电视设备上显示的视频内容的电视频道。然而，观众经常用特定电视设备的电视遥控器发起观看电视，或者从电视本身发起观看电视，在这种情况下，电视设备和观众的移动设备之间没有相关性。
发明内容
本文本描述了用于从第一屏幕设备到第二屏幕设备的反向投射的技术和装置。在一个方面，用于从第一屏幕设备到第二屏幕设备的反向投射的方法包括，基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的地点并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点。方法包括基于确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点，将所述第二屏幕设备与所述第一屏幕设备相关联，其中所述第一屏幕设备在关联之前显示视频内容，并且关联的设备使得能够在所述第一屏幕设备和所述第二屏幕设备之间同步数据。方法还包括在所述第二屏幕设备接收与在所述第一屏幕设备上显示的所述视频内容相对应的情境信息。
基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的地点并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点，如第一示例，本地网络可以涉及第二屏幕设备，第二屏幕设备识别出支持其与第一屏幕设备共享的本地网络的连接的无线路由器。对于该第一示例，靠近第一屏幕设备的地点意味着由具有20米半径的路由器覆盖的区域中的地点(路由器位于该周围区域的中心)。作为第二示例，该确定可以涉及第二屏幕设备识别自己连接到本地网络，并且作为响应，通过蓝牙信号验证第一屏幕设备的存在。对于该第二示例，靠近第一屏幕设备的地点意味着在半径为10米的蓝牙通信所覆盖的区域中的地点。可以使用其他技术或通信技术来确定第二屏幕设备与第一屏幕设备的接近度，包括全球定位信号(GPS)，通信信号定时测量，通信端口的地理映射，三角测量等。
在一个方面，用于从第一屏幕设备到第二屏幕设备的反向投射的方法包括，在所述第二屏幕设备上的用户界面中显示同步用户可选控件，以及基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的地点并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点。方法包括，响应于所述同步用户可选控件的用户输入，将所述第二屏幕设备与所述第一屏幕设备相关联，使得所述第一屏幕设备和所述第二屏幕设备之间数据同步，所述第一屏幕设备在关联设备之前显示视频内容。方法还包括，在所述第二屏幕设备接收在所述第一屏幕设备上显示的所述视频内容的内容标识，所述内容标识从所述第一屏幕设备接收。[Author]
在另一方面，一种移动设备，被实施为第二屏幕设备，用于从第一屏幕设备到所述第二屏幕设备的反向投射。移动设备包括，集成显示器，显示与所述第一屏幕设备上显示的视频内容相对应的情境信息。移动设备还包括，内存和处理器系统，所述处理器系统用于执行作为计算机应用的内容显示应用，所述内容显示应用实施为，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点，以及基于所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点，将所述第二屏幕设备与所述第一屏幕设备相关联。所述第一屏幕设备在所述第二屏幕设备与所述第一屏幕设备相关联之前显示所述视频内容，并且关联所述第一屏幕设备和所述第二屏幕设备，使得能够在所述第一屏幕设备和所述第二屏幕设备之间同步数据。内容显示应用被实施为，从视频内容服务接收所述情境信息，该视频内容服务向所述第一屏幕设备分发在所述第一屏幕设备上显示的所述视频内容。
在另一方面，一种移动设备，被实施为第二屏幕设备，用于从第一屏幕设备到所述第二屏幕设备的反向投射，所述移动设备包括，用于显示与所述第一屏幕设备上显示的视频内容相对应的情境信息的装置；用于确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点的装置；用于基于所述第二屏幕设备进入靠近所述第一屏幕设备的所述地点，将所述第二屏幕设备与所述第一屏幕设备相关联的装置，其中所述第一屏幕设备在所述第二屏幕设备与所述第一屏幕设备相关联之前显示所述视频内容，并且关联所述第一屏幕设备和所述第二屏幕设备，使得能够在所述第一屏幕设备和所述第二屏幕设备之间同步数据；以及用于从视频内容服务接收所述情境信息的装置，该视频内容服务向所述第一屏幕设备分发在所述第一屏幕设备上显示的所述视频内容。
提供本发明内容是为了介绍从第一屏幕设备到第二屏幕设备的反向投射的简化概念，从第一屏幕设备到第二屏幕设备的反向投射将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
附图说明
参考以下附图描述从第一屏幕设备到第二屏幕设备的反向投射的方面。可以始终使用相同的数字来引用附图中所示的相似特征和组件：
图1示出了示例视频内容观看系统，其中可以如本文所述地实施从第一屏幕设备到第二屏幕设备的反向投射的各方面。
图2还示出了可以在用于如本文所述的从第一屏幕设备到第二屏幕设备的反向投射的视频内容观看系统中实施的示例设备。
图3示出了设备的示例系统，其中可以如本文所述地实施从第一屏幕设备到第二屏幕设备的反向投射的各方面。
图4示出了根据本文描述的技术从第一屏幕设备到第二屏幕设备的反向投射的示例方法。
图5示出了根据本文描述的技术从第一屏幕设备到第二屏幕设备的反向投射的示例方法。
图6示出了具有示例设备的示例系统，该示例设备可以实施如本文所述的从第一屏幕设备到第二屏幕设备的反向投射。
具体实施方式
概述
描述了从第一屏幕设备到第二屏幕设备的反向投射，并且实施这些特征来在第一屏幕设备已经显示视频内容之后，将第二屏幕设备(例如，移动设备)与第一屏幕设备(例如，电视显示设备)相关联。例如，人可以在电视显示设备上发起观看诸如电视节目的视频内容。可以通过人用电视显示设备的遥控器来选择电视节目频道，或者可以直接从电视设备本身选择电视节目频道。在选择电视节目频道并且在电视显示设备上显示观看的电视节目之后，移动设备的用户可能回家或走进电视显示设备所在的其他人已经在看电视的房间。在这种情况下，第一屏幕设备(例如，电视显示设备)和第二屏幕设备(例如，移动设备)之间没有相关性。
“第二屏幕体验”通常涉及，在第一屏幕设备(例如，电视显示设备)上显示的视频内容，同时与该视频内容相关的附加内容可用于在第二屏幕设备(例如，移动设备)上观看和/或交互，提供增强的观看体验。投射技术是一种开发技术，在该技术中诸如移动电话或平板设备的移动设备可用于发起和控制媒体内容的回放，媒体内容诸如是电视显示设备上的视频内容，因特网流内容，电视节目内容，记录的媒体内容等。诸如以经由电视显示设备上的HDMI端口连接的加密狗形式的或者集成在电视显示设备本身中的投射设备，从安装在移动设备上的移动应用接收控制和回放命令，其中投射设备和移动设备两者都通过诸如家庭网络的Wi-Fi网络连接，设备可以通过该Wi-Fi网络相互通信。该投射技术被设计为让用户使用移动设备控制电视显示设备上的媒体内容的回放。
然而，所开发的用于投射技术的技术没有考虑如上所述的第一屏幕设备(例如，电视显示设备)已经在第二屏幕设备(例如，移动设备)与电视显示设备相关或相互关联之前显示视频内容的情景。如本文所述，反向投射的特征提供了移动设备可以与电视显示设备相关联，以使数据和内容能够在两个设备之间同步。例如，电视显示设备与移动设备相关联，用于与移动设备进行数据通信，并且移动设备可以从电视显示设备接收视频内容标识并“赶上”已经在电视显示设备上显示的内容。此外，即使在用户在电视显示设备上观看视频内容时，也可以利用专门为电视显示设备设计的电视遥控器发起频道改变。再者，用户的移动设备将不会意识到电视显示设备上的频道已被改变，直到电视显示设备将与电视显示设备上的频道改变相对应的更新传送回移动设备。
各个设备中的每个设备可以包括控制逻辑的实例化，或控制应用(例如，移动电话应用和/或投射设备)，控制逻辑的实例化或控制应用通过网络将移动设备与电视显示设备相关联以进行包括视频内容和其他媒体内容的有线或无线数据通信。设备关联将设备配对以进行通信，例如经由蓝牙TM或其他短程通信技术的直接通信，或经由设备两者都连接的Wi-Fi网络的通信。设备关联提供了，电视显示设备可以将作为反向投射的信息、数据和媒体内容传送回移动设备，例如在电视显示设备上显示的视频内容的内容标识。
在从第一屏幕设备到第二屏幕设备的反向投射的方面中，实施为第二屏幕设备的移动设备可以基于移动设备和诸如电视显示设备的第一屏幕设备都连接到本地网络来确定其位于第一屏幕设备的位置附近。例如，具有视频内容观看系统的观看者将具有被配置为家庭网络(例如，Wi-Fi网络)的一部分的设备，该视频内容观看系统带有经常用于第二屏幕体验和/或作为电视显示设备的遥控器的移动设备，该家庭网络具有提供设备之间的有线和/或无线通信的路由器设备。然后，当电视显示设备连接到本地网络并且移动设备进入接近电视显示设备的位置并连接该本地网络时，移动设备和电视显示设备可以基于确定了移动设备进入接近电视显示设备的位置而自动关联。或者，同步用户可选控件可以在移动设备上的用户界面中显示为用户可选控件，并且当用同步用户可选控件的用户输入，诸如用在移动设备的集成显示器上的用户界面中的触摸输入，发起设备关联时，移动设备和电视显示设备相关联，以使数据和内容在第一和第二屏幕设备之间同步。-
如上所述，电视显示设备可以在设备被关联之前显示视频内容，并且在电视显示设备已经在显示视频内容之后发生移动设备与电视显示设备的关联。在设备被关联之前，例如，如果电视显示设备上的电视频道是用电视的遥控器选择的，或者如果直接从电视显示设备本身选择电视频道，那么移动设备不知道在电视显示设备上显示的视频内容是什么。诸如基于确定了移动设备在电视显示设备的位置附近或者在由用户发起时，当移动设备和电视显示设备通过在各个设备的每个设备中实施的控制逻辑或控制应用而自动关联时，移动电话可以用作电视显示设备的遥控器。
另外，移动设备可以开始接收与在电视显示设备上显示的视频内容相对应的情境信息(contextual information)。移动设备还可以从电视显示设备接收在电视显示设备上显示的视频内容的内容标识，然后移动设备可以基于视频内容的内容标识，发起对在电视显示设备上显示的视频内容相对应的情境信息的请求。
情境信息可以作为媒体内容选项显示在移动设备上，以显示与在电视显示设备上显示的视频内容相关的媒体内容。例如，用户可能在电视显示设备上观看新闻，并且在报道关于特定事件的故事。在移动设备上接收和显示的情境信息可以是对任何类型的相关媒体内容的用户选择，例如另一新闻机构对新闻事件的报道，由目击者记录的新闻事件的视频剪辑，目击者对新闻事件的叙述的视频剪辑，新闻事件的一张或多张静止图像，新闻事件的录音等。在移动设备上接收和显示的情境信息可以是任何类型的媒体内容，诸如是视频，音频和/或图像内容，以及可购买媒体内容，可购买媒体内容包括用户可以从移动设备发起购买的其他视频内容，音乐内容和图像内容。情境信息作为用户在电视显示设备上观看视频内容的同时可能感兴趣的任何相关信息，数据和/或内容而显示在移动设备上。
在用于在电视显示设备上观看而显示的视频内容可以是任何类型的媒体内容，例如，记录的视频内容，因特网流内容，电视节目内容，实时媒体内容，和/或可以是实时电视节目，等等。可以在移动设备处实时接收对应于诸如实时电视节目的视频内容的情境信息。在实施方式中，当视频内容被分发到电视显示设备时，通过视频内容服务的对视频内容的自动分析来确定情境信息。例如，当视频内容服务分析实时电视节目时，确定与实时电视节目相关的情境信息时，以及将情境信息分发给移动设备时，移动设备还从视频内容服务接收情境信息。值得注意的是，在电视显示设备上显示的视频内容包括音频数据和视频数据，并且相关的情境信息可以对应于音频数据和/或对应于视频数据。例如，在电视显示设备上显示的视频内容可以包括作为视频内容的音频数据的音乐曲目，并且在移动设备上显示的情境信息包括在电视显示设备上的视频内容中播放的音乐曲目的音乐视频剪辑。
虽然从第一屏幕设备到第二屏幕设备的反向投射的特征和概念可以在任何数量的不同设备，系统，网络，环境和/或配置中实施，但是从第一屏幕设备到第二屏幕设备的反向投射的方面在以下示例设备，系统和方法中描述。
示例系统
图1示出了示例视频内容观看系统100，该系统中可以实施从第一屏幕设备到第二屏幕设备的反向投射的各方面。示例系统100包括示为移动电话的移动设备102，并且在此通常称为系统的第二屏幕设备。示例系统还包括示出为远离移动设备102的电视显示设备104，并且在此通常称为系统中的第一屏幕设备。虽然通常被称为电视，但是电视显示设备104表示可以接收，处理和显示任何类型的媒体内容的任何类型的显示面板，显示设备，计算机显示器，智能电视等，任何类型的媒体内容例如为流视频内容，因特网流内容，记录的媒体内容，电视节目内容，实时电视节目，实时因特网流内容等。此外，移动设备102代表可以用作视频内容观看系统100中用于“第二屏幕体验”的第二屏幕设备的任何类型的计算设备，“第二屏幕体验”使用移动电话，平板设备或诸如参考图3所示的计算设备进行描述的类似的移动设备。
在该示例中，移动设备102和电视显示设备104被配置为具有路由器设备108的家庭网络106(例如，Wi-Fi网络)的一部分，路由器设备108被实施为提供设备之间的有线和/或无线通信以及经由网络110的网络连接功能的接入点。另外，用于流传输内容的投射设备与安装在移动设备102上的移动应用(例如，“移动应用”)进行通信，用于流传输内容的投射设备诸如是通过电视显示设备104上的HDMI端口连接的加密狗的形式，或者集成在电视显示设备本身中流式传输。电视显示设备104和移动设备102两者的投射设备都可以经由Wi-Fi网络连接，或者经由诸如通过游戏和/或媒体控制台设备的有线连接进行通信。
示例系统100还包括视频内容服务器112，视频内容114可以经由网络110和家庭网络106中的路由器设备108从视频内容服务器112分发到移动设备102和电视显示设备104。类似地，被确定为与视频内容服务器112处的视频内容114相关的情境信息116可以经由网络110和家庭网络106中的路由器设备108分发到移动设备102。视频内容服务器112通常也被称为后端服务器，并且在实施方式中，可以是基于云服务的服务器设备，视频内容114和/或情境信息116可以从该服务器设备请求并分发到设备，该设备渲染和显示诸如在电视显示设备104上显示的视频内容的各种类型的媒体内容中的任何一种媒体内容。
这里描述的任何设备，服务器和/或服务可以经由网络110进行通信，例如，移动设备102和视频内容服务器112之间的数据通信，以及电视显示设备104和视频内容服务器112之间的数据通信。网络可以实施为包括有线网络和/或无线网络。网络还可以使用任何类型的网络拓扑和/或通信协议来实施，并且可以表示为或以其他方式实施为两个或更多个网络的组合来包括基于IP的网络和/或因特网。网络还可以包括由诸如通信服务提供商，移动电话提供商和/或互联网服务提供商的移动网络运营商和/或其他网络运营商所管理的移动运营商网络。
移动设备102具有集成显示器118，显示器118可用于在集成显示器的内容显示区域120中显示媒体内容。可在内容显示区域120中显示的媒体内容可包括，诸如实时电视内容，记录的视频内容，点播内容，因特网流内容的视频内容，以及图像，图形和与移动设备102接收的视频内容和/或显示在移动设备的集成显示器118上的视频内容相关的任何其他类型的数据或信息。集成显示器118还具有视口122或显示器的视口区域，视口122或显示器的视口区域也可用于显示任何类型的媒体内容，例如视频内容以及与视频内容相关的信息或数据(例如，情境信息116)。
基于移动设备和电视设备都被连接在家庭网络106(例如，Wi-Fi网络)中用于有线和/或无线通信，移动设备102可以确定其在电视显示设备104的位置附近。然后诸如基于当两个设备都连接到本地网络时确定移动设备在电视显示设备的位置附近，移动设备102和电视显示设备104可以经由无线通信126(例如，经由路由器设备108)自动关联124。替代地或另外地，电视显示设备104和移动设备102可以通过任何类型的有线或无线通信技术相关或相互关联来通信，通信技术例如是通过对等(P2P)，
Figure BDA0002011602150000101
Figure BDA0002011602150000102
Wi-Fi Direct(Wi-Fi P2P)等。
电视显示设备104可以与移动设备102相关联进行内容和数据通信，使得当设备关联以实现数据和/或内容同步时，移动设备可以从电视显示设备接收关于已经在电视显示设备104上显示的视频内容的视频内容标识。各个设备中的每个设备可以包括控制逻辑的实例化，或控制应用(例如，移动电话应用和/或投射设备)，控制逻辑的实例化或控制应用将移动设备102与电视显示设备104相关联，以在网络106中进行有线或无线数据通信。设备关联将设备配对以进行通信，并且提供电视显示设备104可以将诸如视频内容标识的信息和数据以及任何类型的媒体内容作为反向投射传送回移动设备102。设备的控制逻辑或控制应用可以实施为基于设备与家庭网络106的相互连接来确定各个设备位于附近。替代地或另外地，移动设备102的控制逻辑或控制应用可以实施为，诸如基于从投射设备发出的信号和/或基于各个设备控制应用的同步设置，发现电视显示设备104附近的投射设备。
如在图3中所示的示例系统在系统描述中进一步详细描述的那样，移动设备102实施内容显示应用(例如，作为模块，组件，软件应用等)，该内容显示应用实施如本文所述的反向投射技术。类似地，诸如在智能电视或配置为计算设备的其他显示设备中，电视显示设备104可以实施内容显示应用的实例。如上所述，各个设备中的每个设备可以包括控制逻辑的实例化，或控制应用(例如，移动电话应用和/或投射设备)，控制逻辑的实例化或控制应用将移动设备与电视显示设备相关联以用于有线或无线数据通信。诸如以通过电视显示设备104上的HDMI端口连接的加密狗的形式或者集成在电视显示设备本身中的投射设备，与安装在移动设备上的移动应用通信，其中投射设备和移动设备两者都通过Wi-Fi网络或其他直接通信系统连接。在所描述的技术中，移动设备102上的内容显示应用可以确定移动设备在电视显示设备104的位置附近(例如，基于设备的各自网络连接，或者基于来自设备的发出信号)。然后，内容显示应用或其他设备应用可以发起移动设备102和电视显示设备104的关联124。
作为自动同步的替代方案，同步用户可选控件128可以在移动设备102上的用户界面130中显示为用户可选控件。当用户用同步用户可选控件128的用户输入发起将移动设备102与电视显示设备104相关或相互关联时，移动设备102和电视显示设备104通过无线通信126被关联124，该用户输入诸如是移动设备的集成显示器118上的用户界面130中的触摸输入。当设备通过在各个设备的每个设备中实施的控制逻辑或控制应用关联时，移动设备102和电视显示设备104可以通过网络106中的有线和/或无线通信来交换数据和内容。
诸如基于确定移动设备在电视显示设备的位置附近或者当用户发起时，当移动设备102和电视显示设备104关联124，移动电话102然后可以用作电视显示设备的遥控器。如上所述，当设备相关或相互关联以实现数据同步时，移动设备102和电视显示设备104可以通过网络106中的有线和/或无线通信交换数据和内容。另外，移动设备可以开始接收情境信息116，该情境信息116与在电视显示设备上显示的视频内容132相对应。移动设备102还可以接收在电视显示设备104上显示的视频内容132的内容标识134。可以经由无线通信136(例如，通过路由器设备108)从电视显示设备104接收内容标识134，然后移动设备102可以基于视频内容132的内容标识134，向视频内容服务器112发起对在电视显示设备104上显示的视频内容132相对应的情境信息116的请求。
对应于特定视频内容114或与特定视频内容114相关的情境信息116可以是任何类型的媒体内容，任何类型的媒体内容诸如是视频，音频和/或图像内容，以及可购买媒体内容，该可购买媒体内容包括用户可以从移动设备发起购买的其他视频内容，音乐内容和图像内容。在该示例中，可以从视频内容服务器112接收情境信息116，并将情境信息116作为情境信息138显示在移动设备102的集成显示器118上的视口122中。通常，情境信息138可由移动设备102的用户显示或选择，以便诸如发起将任何情境信息116显示为与在电视显示设备104上显示的视频内容132相关的媒体内容。所选择的情境信息138还可以显示在移动设备的集成显示器118上的内容显示区域120中。
例如，用户可能在电视显示设备104上观看作为所显示的视频内容132的新闻节目，并且在报道关于特定事件的故事。移动设备102接收情境信息116，并在移动设备102上将情境信息116显示为对任何类型的相关媒体内容的用户选择的情境信息138，相关媒体内容例如为另一新闻机构对新闻事件的报道，由目击者记录的新闻事件的视频剪辑，目击者对新闻事件的叙述的视频剪辑，新闻事件的一张或多张静止图像，新闻事件的录音等。在移动设备102上接收和显示的情境信息116可以是任何类型的媒体内容，媒体内容诸如是视频，音频和/或图像内容，以及可购买媒体内容，该可购买媒体内容包括用户可以从移动设备发起购买的视频内容，音乐内容和图像内容。
在电视显示设备104上显示的视频内容132可以是实时电视节目，并且在移动设备102处实时接收对应于该实时电视节目的情境信息116。在实施方式中，当视频内容114被分发到电视显示设备时，在视频内容服务通过视频内容114的自动分析来确定情境信息116。在该示例中，视频内容114从视频内容服务器112分发到电视显示设备104，并且在电视显示设备上显示为视频内容132。如在图3中所示的示例系统系统描述中进一步详细描述的那样，视频内容服务实施视频分析应用(例如，作为模块，组件，软件应用等)，该视频分析应用实施本文描述的特征的技术。在所描述的技术中，在视频内容服务的视频分析应用可以确定对应于特定视频内容114或与特定视频内容114相关的情境信息116。
例如，当在视频内容服务的视频分析应用分析实时电视节目(例如，视频内容114)，确定与实时电视节目相关的情境信息116，并将情境信息分发给移动设备时，移动设备102同样从视频内容服务器112接收情境信息116。值得注意的是，在电视显示设备104上显示的视频内容132包括音频数据140和视频数据142，并且相关的情境信息116可以对应于音频数据和/或视频数据。例如，在电视显示设备104上显示的视频内容132可以包括作为视频内容的音频数据140的音乐曲目，并且在移动设备102上作为情境信息138显示的情境信息116包括在电视显示设备上的视频内容中播放的音乐曲目的音乐视频剪辑。
除了上面提到的示例之外，对应于特定视频内容114或与特定视频内容114相关的情境信息116可以包括视频剪辑，其他视频，新闻文章，新闻稿，地图，剪报，在线文章或在线互联网内容的链接，新闻馈送以及可能与当前在电视显示设备104上显示的视频内容132相关的任何其他情境信息。例如，观看者可能在观看体育赛事，该体育赛事作为当前在电视显示设备104上显示的视频内容132，并且当体育赛事中的参与者在事件期间进行诸如偷球或得分点的特定动作时，参与者的过去的亮点，参与者的实时动态更新的统计数据，以及与参与者相关的任何其他信息可以在移动设备102上显示为情境信息138。类似地，如果观看者在观看电视显示设备104并且诸如比萨餐馆的商业广告的电视广告开始播放，则在移动电话102上接收并显示的情境信息138可以包括到比萨餐厅的地图(允许导航)，用于发起对餐厅的呼叫的电话链接，到比萨餐厅的在线网站的可选链接，和/或用于下载比萨餐厅的移动电话应用的链接，以便用户可以订餐。
图2进一步示出了可以在如参考图1所示和所述的从第一屏幕设备到第二屏幕设备的反向投射的视频内容观看系统100中实施的设备的示例200。在第一示例202中，情境信息在移动设备102的集成显示器118上的视口122中显示为在可滚动列表206中排列的媒体内容或媒体内容选项204，可滚动列表206中包括被显示的和/或用户可以选择查看的情境信息的任意数量的附加媒体内容选项。例如，移动设备102接收视口122中的导航输入208，导航输入208是将媒体内容选项204向上滚动出视口的视线之外，并将另外的媒体内容选项移动到视口122中的视图中的用户操纵。移动设备可以接收视口122中的用户操纵，以向上或向下滚动在移动设备的集成显示器118上的视口122中显示的媒体内容选项。
在第二示例210中，情境信息在移动设备102的集成显示器118上的视口122中显示为媒体内容或如面板214所示布置的媒体内容选项212，该布置允许在视口122中的作为上，下，左，右，对角线或任何其他方向的导航输入216的用户操纵，以在视口中显示其他媒体内容或媒体内容选项。通常，导航输入可以发起为向上或向下的滚动，向上或向下，或向左或向右的横向滑动动作，手势或揺(例如，向上，向下，向左，向右)或任何其他类型的导航输入。
图3示出了可以实施从第一屏幕设备到第二屏幕设备的反向投射的各方面的设备的示例系统300。示例系统300包括计算设备302，诸如参考图1和2所示和所述的移动电话102和电视显示设备104。计算设备302可以实施为任何类型的移动电话，平板设备，媒体回放，计算，通信，游戏，娱乐，便携式电子媒体设备，或计算机设备。计算设备302可以用诸如处理器304(或处理系统)和内存306的各种组件来实施，以及用如参考图6所示的示例设备进一步描述的任何数量的不同组件和不同组件的组合来实施。
虽然未示出，但是计算设备302可以包括诸如电池的电源，以为各种设备组件供电。此外，计算设备302可以包括诸如Wi-Fi，蓝牙TM，移动宽带，LTE或任何其他无线通信系统或格式的不同的无线电系统。通常，计算设备302实施包括无线电设备，天线和芯片组的通信系统308，通信系统308被实施为与其他设备，网络和服务进行无线通信。
计算设备302包括生成视频内容界面312的一个或多个计算机应用310，视频内容界面312包括内容显示区域120和诸如在移动设备102的集成显示器118中显示情境信息138的视口122。计算机应用310还包括实施如本文所述的反向投射技术的内容显示应用314。
内容显示应用314可以实施为诸如可用处理器304(或用处理系统)执行以实施所描述的技术的计算机可执行软件指令的软件应用或模块。内容显示应用314可以存储在诸如在计算设备中实施的任何合适的内存设备或电子数据存储器的计算机可读存储内存(例如，设备内存306)。尽管在内存306中示出为单独的模块或组件，但是内容显示应用314可以作为模块或组件与任何计算机应用310集成。
如上所述，诸如基于移动设备和电视显示设备都被连接在本地网络106中以进行有线和/或无线通信，实施为视频内容观看系统100中的第二屏幕设备的移动设备102可以确定其位于实施为视频内容观看系统中的第一屏幕设备的电视显示设备104的位置附近。然后，移动设备102和电视显示设备104可以基于确定移动设备在电视显示设备的位置附近而自动关联。例如，在各个设备中的每个设备上实施的诸如软件应用，投射设备(例如，插入式加密狗或集成组件)或其他实施方式的控制逻辑316，可以使移动设备102和电视显示设备104同步，以在网络106中进行有线或无线数据通信。尽管示出为单独的模块或组件，但是控制逻辑816可以集成为计算机应用310的软件或模块(例如，作为设备的操作系统的一部分)，或者可以实施为用于同步和促进各个设备之间的数据通信的组件或通信系统308的组件。
电视显示设备104可以在设备被关联之前显示视频内容132，并且在电视显示设备已经显示视频内容132之后发生移动设备102与电视显示设备104的关联。在设备被关联之前，例如，如果用电视的遥控器选择了电视显示设备上的电视频道，或者如果直接从电视显示设备本身选择电视频道，那么移动设备102不知道在电视显示设备上显示的视频内容是什么。设备关联提供了，电视显示设备104可以将信息、数据和任何类型的媒体内容作为反向投射传送回移动设备102，例如在电视显示设备104上显示的并且移动设备102先前不知道的视频内容的内容标识。在实施方式中，电视显示设备104还可以从视频内容服务318接收情境信息116，然后经由网络106将情境信息作为反向投射传送到移动设备。
在所描述的技术中，计算设备302(例如，实施为移动设备102)上的内容显示应用314可以接收与在电视显示设备104上显示的视频内容132相对应的情境信息138。内容显示应用314还可以接收在电视显示设备上显示的视频内容132的内容标识134，然后内容显示应用314可以基于视频内容的内容标识134，发起对与在电视显示设备上显示的视频内容相对应的情境信息138的请求。
示例系统300包括视频内容服务318(例如，基于云的内容服务)，视频内容服务318可由计算设备302访问以请求视频内容114以及与视频内容114相对应的或与视频内容114相关的情境信息116。视频内容服务318包括数据存储器320，数据存储器320可以实施为用于基于网络的数据存储器的任何合适的内存，内存设备或电子数据存储器。数据存储器320可以保留视频内容114和情境信息116。视频内容服务318还可以用代表视频内容服务的一个或多个硬件服务器设备的服务器设备(例如，视频内容服务器112)来实施。此外，视频内容服务318可以用诸如处理系统和内存，以及如参考图6所示的示例设备进一步描述的任何数量的组件和不同组件的组合的各种组件来实施。
视频内容服务318还包括视频分析应用322，视频分析应用322可以实施为诸如可用处理器(或用处理系统)执行以实施所描述的技术的计算机可执行软件指令的软件应用或模块。视频分析应用322可以存储在计算机可读存储内存(例如，数据存储器320)中，计算机可读存储内存诸如是在视频内容服务实施的任何合适的内存设备或电子数据存储器。
在实施方式中，在视频内容114被分发到电视显示设备104时，视频分析应用322在视频内容服务318进行视频内容114的自动分析。视频分析应用322可以实施为利用各种技术分析视频内容114，以确定对应的或相关的情境信息116。例如，视频分析应用322可以使用来自视频的内容信号，内容信号诸如为，隐藏式字幕，音频数据和音轨的音频分析，以及识别人，物体，事件和视频内容的任何其他方面的视频数据的图像识别技术。值得注意的是，各种分析技术可以实时地诸如在视频内容114上进行，该视频内容114是被分发到设备用于显示的实时电视内容。
示例方法
根据从第一屏幕设备到第二屏幕设备的反向投射的一个或多个方面，参考图4和图5来描述示例方法400和500。通常，本文描述的任何组件，模块，方法和操作可以使用软件，固件，硬件(例如，固定逻辑电路)，手动处理或其任何组合来实施。示例方法的一些操作可以由存储在计算机可读存储内存上的可执行指令的一般情境描述，该计算机可读存储内存是在计算机处理系统的本地和/或远程，并且实施方式可以包括软件应用，程序，功能等。替代地或另外地，本文描述的任何功能可以至少部分地由一个或多个硬件逻辑组件进行，例如但不限于，现场可编程门阵列(FPGA)，专用集成电路(ASIC)，专用标准产品(ASSP)，片上系统(SoC)，复杂可编程逻辑器件(CPLD)等。
图4示出了从第一屏幕设备到第二屏幕设备的反向投射的示例方法400，并且该方法通常参照作为视频内容观看系统中的第二屏幕设备的移动电话或移动设备来描述。描述该方法的顺序不旨在被解释为限制，并且任何数量的方法操作或方法操作的组合可以以任何顺序被组合以实施方法或替代方法。
在402，基于第一屏幕设备连接到本地网络并且第二屏幕设备进入靠近第一屏幕设备的位置并连接到该本地网络，确定第二屏幕设备进入靠近第一屏幕设备的位置。例如，移动设备102是视频内容观看系统100中的第二屏幕设备，并且基于移动设备和电视显示设备都被连接在家庭网络106(例如，Wi-Fi网络)中，移动设备102确定它在电视显示设备104的位置附近，其中电视显示设备104是视频内容观看系统100中的第一屏幕设备。移动设备102进入连接到家庭网络106的电视显示设备104附近的位置，然后移动设备连接到家庭网络106。各个设备中的每个设备可以包括控制逻辑的实例化，或控制应用(例如，移动电话应用和/或投射设备)，控制逻辑的实例化或控制应用将移动设备102与电视显示设备104相关联以在网络106中进行有线或无线数据通信。设备关联将设备配对以进行通信，并且提供电视显示设备104可以将信息和数据以及任何类型的媒体内容作为反向投射传送回移动设备102。设备的控制逻辑316或控制应用可以实施为基于设备与家庭网络106的相互连接来确定各个设备位于附近。替代地或另外地，移动设备102的控制逻辑316或控制应用可以实施为，诸如基于从投射设备发出的信号和/或基于各个设备控制应用的同步设置，发现电视显示设备104附近的投射设备。
在404，基于确定第二屏幕设备进入接近第一屏幕设备的位置，第二屏幕设备与第一屏幕设备相关联。例如，诸如基于确定移动设备进入靠近电视显示设备的位置并且两个设备都连接到本地网络106，移动设备102和电视显示设备104经由无线通信126自动关联124。各个设备中的每个设备中实例化的控制逻辑316将移动设备102和电视显示设备104关联以在网络106中进行有线或无线数据通信。同步提供了，电视显示设备104可以将信息、数据和任何类型的媒体内容作为反向投射传送回移动设备102，信息、数据和任何类型的媒体内容例如是在电视显示设备上显示的视频内容132的内容标识134。另外，当设备配对以进行通信(例如，关联)时，作为示例中的第二屏幕设备的移动设备102可以用作诸如用投射技术实施的示例中的第一屏幕设备的电视显示设备104的遥控器。
在406，在第二屏幕设备接收情境信息，其中情境信息对应于在第一屏幕设备上显示的视频内容。例如，移动设备102接收与在电视显示设备104上显示的视频内容132相对应的情境信息116。在电视显示设备104上显示的视频内容132可以是实时电视节目，并且在移动设备102处实时接收对应于该实时电视节目的情境信息116。对应于特定视频内容114或与特定视频内容114相关的情境信息116可以是任何类型的媒体内容，媒体内容诸如是视频，音频和/或图像内容，以及可购买媒体内容，该可购买媒体内容包括用户可以从移动设备发起购买的其他视频内容，音乐内容和图像内容。在该示例中，可以从视频内容服务器112接收情境信息116，并将情境信息116作为情境信息138显示在移动设备102的集成显示器118上的视口122中。通常，情境信息138可由移动设备102的用户显示或选择，从而诸如发起显示任何情境信息116，该情境信息116作为与在电视显示设备104上显示的视频内容132相关的媒体内容。在实施方式中，当视频内容被分发到电视显示设备104时，通过在视频内容服务318对视频内容的自动分析来确定情境信息116，以及移动设备102从视频内容服务接收情境信息116。
在408，将情境信息作为媒体内容选项显示在第二屏幕设备上，以显示与在第一屏幕设备上显示的视频内容相关的媒体内容。例如，移动设备102从视频内容服务器112接收情境信息116，并且在移动设备102的集成显示器118上的视口122中将情境信息显示为情境信息138。在电视显示设备104上显示的视频内容132可以包括音频数据140和视频数据142，并且情境信息138对应于视频内容的音频数据或视频数据。例如，视频内容132可以包括音乐曲目，并且情境信息138包括在电视显示设备104上的视频内容132中播放的音乐曲目的音乐视频剪辑。此外，情境信息138可以在移动设备102上显示为与在电视显示设备上显示的视频内容132相关的视频剪辑的多个视频选项。此外，情境信息138可以作为可购买的媒体内容显示在移动设备102上，可购买的媒体内容包括视频内容，音乐内容和图像内容。
图5示出了从第一屏幕设备到第二屏幕设备的反向投射的示例方法500，该方法通常参照作为视频内容观看系统中的第二屏幕设备的移动电话或移动设备来描述。描述该方法的顺序不旨在被解释为限制，并且任何数量的方法操作或方法操作的组合可以以任何顺序被组合以实施方法或替代方法。
在502，在第二屏幕设备上的用户界面中显示同步用户可选控件，并且在504，接收发起将第二屏幕设备与第一屏幕设备进行关联的同步用户可选控件的用户输入。例如，同步用户可选控件128可以在移动设备102上的用户界面130中显示为用户可选控件。如果第一和第二屏幕设备没有自动关联，则移动设备102的用户可以利用同步用户可选控件128的用户输入来发起移动设备102与电视显示设备104的设备关联，同步用户可选控件128的用户输入例如为在移动设备的集成显示器118上的用户界面130中的触摸输入。
在506，响应于同步用户可选控件的用户输入，第二屏幕设备与第一屏幕设备相关联，以使数据和内容在第一和第二屏幕设备之间同步。例如，移动设备102和电视显示设备104被关联124用于有线和/或无线通信126，以在用户诸如使用在移动设备的集成显示器118上的用户界面130中显示的同步用户可选控件128的用户输入而发起关联设备时，能够同步数据和内容。各个设备中的每个设备中实例化的控制逻辑316将移动设备102和电视显示设备104关联以在网络106中进行有线或无线数据通信，以及电视显示设备104可以将信息、数据和任何类型的媒体内容作为反向投射传送回移动设备102，例如在电视显示设备上显示的视频内容132的内容标识134。
在508，在第二屏幕设备接收视频内容的内容标识，其中内容标识是在第一屏幕设备上显示的视频内容的内容标识。例如，移动设备102是视频内容观看系统100中的第二屏幕设备，并且移动设备102接收在电视显示设备104上显示的视频内容132的内容标识134，电视显示设备104是视频内容观看系统中的第一屏幕设备。移动设备102经由无线通信136从电视显示设备104接收内容标识134，并且在视频内容132开始在电视显示设备104上显示之后，接收内容标识134。
在510，针对与在第一屏幕设备上显示的视频内容对应的情境信息发起请求，该请求基于视频内容的内容标识。例如，由移动设备102实施的内容显示应用314基于视频内容132的内容标识134，向视频内容服务器112发起对与在电视显示设备104上显示的视频内容132相对应的情境信息116的请求。
在512，在第二屏幕设备接收情境信息，在块514，在第二屏幕设备上显示情境信息。例如，移动设备102接收与在电视显示设备104上显示的视频内容132相对应的情境信息116。移动设备102还在移动设备102上的集成显示器118上的视口122中将情境信息显示为情境信息138。
示例设备
图6示出了包括示例设备602的示例系统600，示例设备602可以实施从第一屏幕设备到第二屏幕设备的反向投射的各方面。示例设备602可以被实施为参考先前附图1-5描述的任何计算设备和/或服务(例如，服务器设备)，例如任何类型的计算设备，客户端设备，移动电话，平板电脑，通信，娱乐，游戏，媒体回放和/或其他类型的设备。例如，移动设备102，电视显示设备104，计算设备302和/或视频内容服务318(例如，基于云的服务)的服务器设备可以被实施为示例设备602。
设备602包括通信设备604，通信设备604能够实现设备数据606的有线和/或无线通信，设备数据606诸如为视频内容标识符，视频内容的优先级排序，与特定视频内容对应的或与特定视频内容相关的情境信息，以及从一个计算设备传送到另一个计算设备的、和/或在多个计算设备之间同步的其他数据和内容。设备数据可以包括由在设备上执行的应用生成的任何类型的音频，视频，图像和/或图形数据。通信设备604还可以包括用于蜂窝电话通信和/或用于网络数据通信的收发器。
设备602还包括诸如数据网络接口的输入/输出(I/O)接口608，该接口608提供在设备，数据网络和其他设备之间的连接和/或通信链路。I/O接口可用于将设备耦合到任何类型的组件，外围设备和/或附件设备，诸如，可与设备602集成的数字相机设备。I/O接口还包括数据输入端口，通过该输入端口，可以接收任何类型的数据，媒体内容和/或输入，例如，用户对设备的输入，以及从任何内容和/或数据源接收的任何类型的音频，视频和/或图像数据。
设备602包括处理系统610，处理系统610可以至少部分地在硬件中，用诸如处理可执行指令的任何类型的微处理器，控制器等实现。处理系统可以包括集成电路的组件，可编程逻辑器件，使用一个或多个半导体形成的逻辑器件，以及在硅和/或硬件中的其他实施方式，诸如实施为片上系统(SOC)的处理器和内存系统。替代地或另外地，该设备可以用软件，硬件，固件或用处理和控制电路实施的固定逻辑电路中的任何一个或它们的组合来实现。设备602还可以包括耦合设备内的各种组件的任何类型的系统总线或其他数据和命令传送系统。系统总线可以包括任何一种不同的总线结构和架构以及控制和数据线或它们的组合。
设备602还包括计算机可读存储内存612，例如，数据存储设备，该数据存储设备可以由计算设备访问，并且提供数据和可执行指令(例如，软件应用，模块，程序，功能等)的持久存储。这里描述的计算机可读存储内存排除传播信号。计算机可读存储内存的示例包括易失性内存和非易失性内存，固定和可移动介质设备，以及保留计算设备访问的数据的任何合适的内存设备或电子数据存储器。计算机可读存储内存可以包括随机存取存储器(RAM)，只读存储器(ROM)，闪存和各种内存设备配置中的其他类型的存储内存的各种实施方式。-
计算机可读存储内存612提供设备数据606和诸如操作系统的各种设备应用614的存储，该操作系统用计算机可读存储内存被保留为软件应用，并由处理系统610执行。在该示例中，设备应用还包括各种计算机应用和内容显示应用616，诸如当示例设备602被实施为移动设备102，电视显示设备104和/或计算设备302时，内容显示应用616实施从第一屏幕设备到第二屏幕设备的反向投射的各方面。内容显示应用616的示例是如参考图3所示和所述的由计算设备302实施的内容显示应用314。设备应用614还包括视频分析应用618，在本文描述的技术的方面中，诸如当示例设备602被实施为视频内容服务318时，视频分析应用618被实施为分析诸如任何类型的录制视频内容和实时电视内容的视频内容。视频分析应用618的示例是如参考图3所示和所述的在视频内容服务318实施的视频分析应用322。另外，设备602包括诸如参考计算设备302中的控制逻辑316所描述的控制逻辑620，并且控制逻辑620被实施为同步移动设备102和电视显示设备104进行有线或无线数据通信。
设备602还包括音频和/或视频系统622，音频和/或视频系统622为音频设备624生成音频数据和/或为显示设备626生成显示数据。音频设备和/或显示设备包括，处理，显示和/或以其他方式渲染音频，视频，显示和/或诸如数字照片的图像内容的图像数据的任何设备。在实施方式中，音频设备和/或显示设备是示例设备602的集成组件。或者，音频设备和/或显示设备是示例设备的外部的，外围的组件。在实施例中，所描述的用于从第一屏幕设备反向投射到第二屏幕设备的技术的至少一部分可以在诸如在平台630中的“云”628上的分布式系统中实施。云628包括和/或代表服务632和/或资源634的平台630。例如，服务632可以包括参考图3描述的视频内容服务。
平台630提取出诸如服务器设备(例如，包括在服务632中)和/或软件资源(例如，作为资源634包括在内)的硬件的底层功能，并且将示例设备602与其他设备，服务器等连接。资源634还可以包括在远离示例设备602的服务器上执行计算机处理时可以使用的应用和/或数据。另外，诸如通过因特网，蜂窝网络或Wi-Fi网络，服务632和/或资源634可以促进订户网络服务。例如在具有分布在整个系统600中的功能的互连设备实施例中，平台630还可以适用于提取和扩充资源以服务于对经由平台实施的资源634的需求。例如，功能可以部分地在示例设备602实施，以及部分地经由提取云628的功能的平台630实施。
尽管已经用特定于特征和/或方法的语言描述了从第一屏幕设备到第二屏幕设备的反向投射的各方面，但是所附权利要求不必限于所描述的特定的特征或方法。更确切地，特定的特征和方法被公开为从第一屏幕设备到第二屏幕设备的反向投射的示例实施方式，并且其他等同特征和方法旨在落入所附权利要求的范围内。此外，描述了各种不同的实施例，并且应当理解，每个描述的实施例可以独立地实施或者与一个或多个其他描述的实施例结合实施。

Claims (21)

1.一种用于从第一屏幕设备反向投射到第二屏幕设备的方法，其特征在于，所述方法包括：
基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的位置并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置；
基于确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置，将所述第二屏幕设备与所述第一屏幕设备进行关联，所述第一屏幕设备在所述关联之前显示视频内容，并且所述关联使得数据能够在所述第一屏幕设备和所述第二屏幕设备之间同步；以及
在所述第二屏幕设备，接收与在所述第一屏幕设备上显示的所述视频内容相对应的情境信息。
2.如权利要求1所述的方法，其特征在于，在所述关联之前在所述第一屏幕设备上显示的所述视频内容是从所述第一屏幕设备的遥控器发起的，所述遥控器是与所述第二屏幕设备不同的设备。
3.如权利要求1或2所述的方法，其特征在于，所述关联使所述第二屏幕设备有效地充当所述第一屏幕设备的遥控器。
4.如权利要求1至3中任一项所述的方法，其特征在于，还包括：
将所述情境信息作为媒体内容选项显示在所述第二屏幕设备上，所述媒体内容选项用于显示与在所述第一屏幕设备上显示的所述视频内容相关的媒体内容。
5.如权利要求1至4中任一项所述的方法，其特征在于，
在所述第一屏幕设备上显示的所述视频内容是实时媒体节目；以及
在所述第二屏幕设备实时接收与所述实时媒体节目对应的所述情境信息。
6.如权利要求1至5中任一项所述的方法，其特征在于，
当所述视频内容被分发到所述第一屏幕设备时，通过在视频内容服务对所述视频内容的自动分析来确定所述情境信息；以及
所述第二屏幕设备从所述视频内容服务接收所述情境信息。
7.如权利要求1至6中任一项所述的方法，其特征在于，
所述视频内容是音频数据和视频数据；以及
所述情境信息对应于在所述第一屏幕设备上显示的所述视频内容的所述音频数据或所述视频数据中的至少一个。
8.如权利要求1至7中任一项所述的方法，其特征在于，
在所述第一屏幕设备上显示的所述视频内容包括音乐曲目；以及
所述第二屏幕设备上的所述情境信息包括，在所述第一屏幕设备上的所述视频内容中播放的所述音乐曲目的音乐视频剪辑。
9.如权利要求1至8中任一项所述的方法，其特征在于，还包括：
将所述情境信息作为多个视频选项显示在所述第二屏幕设备上，所述多个视频选项用于与在所述第一屏幕设备上显示的所述视频内容相关的视频剪辑。
10.一种用于从第一屏幕设备反向投射到第二屏幕设备的方法，其特征在于，所述方法包括：
在所述第二屏幕设备上的用户界面中显示同步用户可选控件；
基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的位置并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置；
响应于所述同步用户可选控件的用户输入，将所述第二屏幕设备与所述第一屏幕设备进行关联，使得数据能够在所述第一屏幕设备和所述第二屏幕设备之间同步，所述第一屏幕设备在所述关联之前显示视频内容；以及
在所述第二屏幕设备，接收在所述第一屏幕设备上显示的所述视频内容的内容标识，从所述第一屏幕设备接收所述内容标识。
11.如权利要求10所述的方法，其特征在于，还包括：
发起对与所述第一屏幕设备上显示的所述视频内容相对应的情境信息的请求，所述请求基于所述视频内容的所述内容标识；
在所述第二屏幕设备接收所述情境信息；以及
在所述第二屏幕设备上显示所述情境信息。
12.如权利要求11所述的方法，其特征在于，
当所述视频内容被分发到所述第一屏幕设备时，通过在视频内容服务对所述视频内容的自动分析来确定所述情境信息；以及
所述第二屏幕设备从所述视频内容服务接收所述情境信息。
13.如权利要求11或12所述的方法，其特征在于，
所述视频内容包括音频数据和视频数据；以及
所述情境信息对应于在所述第一屏幕设备上显示的所述视频内容的所述音频数据或所述视频数据中的至少一个。
14.如权利要求11至13中任一项所述的方法，其特征在于，
在所述第一屏幕设备上显示的所述视频内容是实时媒体节目；以及
在所述第二屏幕设备实时接收与所述实时媒体节目对应的所述情境信息。
15.如权利要求11至13中任一项所述的方法，其特征在于，
在所述第一屏幕设备上显示的所述视频内容包括音乐曲目；以及
在所述第二屏幕设备上显示的所述情境信息包括所述音乐曲目的音乐视频剪辑。
16.如权利要求11至15中任一项所述的方法，其特征在于，将所述情境信息作为多个视频选项显示在所述第二屏幕设备上，所述多个视频选项用于与在所述第一屏幕设备上显示的所述视频内容相关的视频剪辑。
17.如权利要求11至16中任一项所述的方法，其特征在于，将所述情境信息作为可购买媒体内容显示在所述第二屏幕设备上，所述可购买媒体内容包括媒体内容，音乐内容和图像内容中的至少一个。
18.一种移动设备，被实施为第二屏幕设备，用于从第一屏幕设备到所述第二屏幕设备的反向投射，所述移动设备包括：
集成显示器，用于显示与所述第一屏幕设备上显示的视频内容相对应的情境信息；
存储器和处理器系统，所述处理器系统用于执行作为计算机应用的内容显示应用，所述内容显示应用实施为：
基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的位置并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置；
基于所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置，将所述第二屏幕设备与所述第一屏幕设备进行关联，所述第一屏幕设备在所述第二屏幕设备与所述第一屏幕设备关联之前显示所述视频内容，并且关联的所述第一屏幕设备和所述第二屏幕设备使得数据能够在所述第一屏幕设备和所述第二屏幕设备之间同步；以及
从视频内容服务接收所述情境信息，所述视频内容服务向所述第一屏幕设备分发在所述第一屏幕设备上显示的所述视频内容。
19.如权利要求18所述的移动设备，其特征在于，所述情境信息对应于在所述第一屏幕设备上显示的所述视频内容的音频数据或视频数据中的至少一个。
20.如权利要求18或19所述的移动设备，其特征在于，所述集成显示器用于将所述情境信息显示为媒体内容选项，所述媒体内容选项用于显示与在所述第一屏幕设备上显示的所述视频内容相关的媒体内容。
21.一种移动设备，被实施为第二屏幕设备，用于从第一屏幕设备到所述第二屏幕设备的反向投射，所述移动设备包括：
集成显示器，用于基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入位置并连接到所述本地网络，显示与在所述第一屏幕设备上显示的视频内容相对应的情境信息；
存储器和处理器系统，所述处理器系统用于执行作为计算机应用的内容显示应用，所述内容显示应用实施为：
基于所述第一屏幕设备连接到本地网络并且所述第二屏幕设备进入靠近所述第一屏幕设备的位置并连接到所述本地网络，确定所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置；
基于所述第二屏幕设备进入靠近所述第一屏幕设备的所述位置，将所述第二屏幕设备与所述第一屏幕设备进行关联，其中所述第一屏幕设备在所述第二屏幕设备与所述第一屏幕设备关联之前显示所述视频内容，并且关联的所述第一屏幕设备和所述第二屏幕设备，使得数据能够在所述第一屏幕设备和所述第二屏幕设备之间同步；以及
从视频内容服务接收所述情境信息，所述视频内容服务向所述第一屏幕设备分发在所述第一屏幕设备上显示的所述视频内容。
CN201780060572.0A 2017-03-09 2017-10-31 从第一屏幕设备到第二屏幕设备的反向投射 Pending CN111357297A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/455,005 US20180262793A1 (en) 2017-03-09 2017-03-09 Reverse Casting from a First Screen Device to a Second Screen Device
US15/455,005 2017-03-09
PCT/US2017/059356 WO2018164736A1 (en) 2017-03-09 2017-10-31 Reverse casting from a first screen device to a second screen device

Publications (1)

Publication Number Publication Date
CN111357297A true CN111357297A (zh) 2020-06-30

Family

ID=60321018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780060572.0A Pending CN111357297A (zh) 2017-03-09 2017-10-31 从第一屏幕设备到第二屏幕设备的反向投射

Country Status (7)

Country Link
US (1) US20180262793A1 (zh)
EP (1) EP3501174A1 (zh)
JP (1) JP2019530356A (zh)
KR (1) KR20190062414A (zh)
CN (1) CN111357297A (zh)
DE (1) DE202017106129U1 (zh)
WO (1) WO2018164736A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11184364B2 (en) * 2018-01-09 2021-11-23 Cisco Technology, Inc. Localized, proximity-based media streaming
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) * 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11550527B2 (en) * 2019-03-28 2023-01-10 Hisense Visual Technology Co., Ltd. Media file processing method for display device and display device
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
CN112351412A (zh) * 2019-08-06 2021-02-09 华为技术有限公司 一种内容接续方法、系统及电子设备
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR20210055387A (ko) 2019-11-07 2021-05-17 삼성전자주식회사 컨텍스트에 기반하여 애플리케이션을 제공하는 서버 및 그 제어 방법
CN111049979B (zh) * 2019-12-02 2021-04-27 维沃移动通信有限公司 一种应用分享方法、电子设备及计算机可读存储介质
KR20210069441A (ko) * 2019-12-03 2021-06-11 엘지전자 주식회사 디스플레이 장치
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US12058194B2 (en) * 2020-04-21 2024-08-06 Sling TV L.L.C. Multimodal transfer between audio and video streams
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US12061834B2 (en) * 2022-05-16 2024-08-13 Google Llc Methods and systems for facilitating user participation in content engagement activities

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618956A (zh) * 2013-11-13 2014-03-05 深圳市同洲电子股份有限公司 一种获取视频关联信息的方法及移动终端
US20140152899A1 (en) * 2012-12-05 2014-06-05 Echostar Technologies L.L.C. User proximity recognition and hands-free control
CN104657099A (zh) * 2015-01-15 2015-05-27 小米科技有限责任公司 屏幕投射方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011074149A1 (ja) * 2009-12-14 2013-04-25 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム及び記録媒体
US20110179445A1 (en) * 2010-01-21 2011-07-21 William Brown Targeted advertising by context of media content
JP5284494B2 (ja) * 2012-01-06 2013-09-11 株式会社東芝 携帯端末とテレビジョン装置による通信システム、携帯端末、テレビジョン装置、携帯端末の通信方法、携帯端末の動作プログラム
JP2013183327A (ja) * 2012-03-02 2013-09-12 Yamaha Corp コンテンツ提供システム、コンテンツ提供方法、および、コンテンツ編集装置
US20130285937A1 (en) * 2012-04-27 2013-10-31 Mobitv, Inc Connected multi-screen video management
JP5977661B2 (ja) * 2012-12-12 2016-08-24 日立マクセル株式会社 端末装置及びネットワーク端末プログラム
US9301019B1 (en) * 2013-03-15 2016-03-29 Google Inc. Media correlation by feature matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152899A1 (en) * 2012-12-05 2014-06-05 Echostar Technologies L.L.C. User proximity recognition and hands-free control
CN103618956A (zh) * 2013-11-13 2014-03-05 深圳市同洲电子股份有限公司 一种获取视频关联信息的方法及移动终端
CN104657099A (zh) * 2015-01-15 2015-05-27 小米科技有限责任公司 屏幕投射方法、装置及系统

Also Published As

Publication number Publication date
KR20190062414A (ko) 2019-06-05
US20180262793A1 (en) 2018-09-13
WO2018164736A1 (en) 2018-09-13
DE202017106129U1 (de) 2018-06-12
EP3501174A1 (en) 2019-06-26
JP2019530356A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
CN111357297A (zh) 从第一屏幕设备到第二屏幕设备的反向投射
US20240146985A1 (en) Methods, systems, and media for presenting notifications indicating recommended content
US11824928B2 (en) Synchronizing an application on a companion device
CN103997688B (zh) 智能交互系统、装置和方法
US9953612B2 (en) Systems and methods for facilitating communication between mobile devices and display devices
US8996651B2 (en) System and method for delivering media assets in a cloud environment
US9661390B2 (en) Method, server, and user terminal for sharing video information
KR20210135683A (ko) 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램
KR101996468B1 (ko) 라이브 방송 중 음성 피드백을 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US20240311069A1 (en) Screen projecting method and apparatus, electronic device and storage medium
CN104010222A (zh) 评论信息展示方法、装置及系统
CN103997676A (zh) 信息显示方法、装置和系统
US10984568B2 (en) Methods, devices, and computer-readable media for sharing image effects
EP3349472A1 (en) Cooperative provision of personalized user functions using shared and personal devices
CN115474085B (zh) 媒体内容播放方法、装置、设备和存储介质
JP2023528958A (ja) ビデオ複合撮影方法、装置、電子機器及びコンピュータ可読媒体
US20130283329A1 (en) System for applying metadata for object recognition and event representation
WO2023109665A1 (zh) 内容展示方法、装置、设备及存储介质
CN104903844A (zh) 用于呈现网络和相关联的移动设备中的数据的方法
KR102408778B1 (ko) 인터넷 전화 기반 통화 중에 컨텐츠를 공유하는 방법, 시스템, 및 컴퓨터 프로그램
CN111698574A (zh) 一种视频水印处理方法、装置、电子设备和存储介质
US10306323B2 (en) Fast television channel change initiated from a second screen device
CN110913276B (zh) 数据处理的方法、装置、服务器、终端及存储介质
US20170171596A1 (en) Electronic device and method for video program interaction
US20170026688A1 (en) Terminal device, video display method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200630

WD01 Invention patent application deemed withdrawn after publication