CN104105000B - 对于音频视频显示装置的伴随装置、服务器和方法 - Google Patents

对于音频视频显示装置的伴随装置、服务器和方法 Download PDF

Info

Publication number
CN104105000B
CN104105000B CN201410145224.1A CN201410145224A CN104105000B CN 104105000 B CN104105000 B CN 104105000B CN 201410145224 A CN201410145224 A CN 201410145224A CN 104105000 B CN104105000 B CN 104105000B
Authority
CN
China
Prior art keywords
rui
companion devices
avdd
presented
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410145224.1A
Other languages
English (en)
Other versions
CN104105000A (zh
Inventor
G·克利夫特
吴珍珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104105000A publication Critical patent/CN104105000A/zh
Application granted granted Critical
Publication of CN104105000B publication Critical patent/CN104105000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本公开内容涉及伴随装置上的服务器‑客户端远程用户界面（RUI）会话的自动发现和镜像、以及在伴随装置上使用RUI同步地控制两个会话。一种服务器将远程用户界面（RUI）发送到诸如TV的视频装置，该RUI展现在TV上，并且可操纵为将控制命令送回到服务器。诸如平板计算机的伴随装置发现RUI会话，并且服务器向该伴随装置提供它自己的RUI，该RUI镜像TV上的RUI，被修改为适合于该伴随装置的屏幕。服务器使这两个RUI保持同步，以使得伴随装置上的RUI镜像TV上的RUI。

Description

对于音频视频显示装置的伴随装置、服务器和方法
技术领域
本申请大体上涉及约束实时和非实时（NRT）内容对于与RT内容相关的广播TV信号的地理位置的可获得性。
背景技术
远程用户界面（RUI）本质上是从将受控制的装置发送到意图进行控制的装置的、用于作为图形用户界面展现在该意图控制装置上的用户界面。RUI有利地动态地便利于用户界面的实现，而不必预先用应用程序图形和输入响应对意图进行控制的装置进行编程。
如本文中所理解的，可以从服务器向较大型呈现装置（诸如TV）提供RUI，以使得TV的用户可以使用TV的遥控器在RUI“会话”期间导航和操作RUI来控制服务器。仅作为一个例子，服务器可以实现机顶盒的功能，相应地，RUI可以是允许在会话期间建立示出在TV上的频道的电子节目指南（EPG）。
如本文中进一步理解的，用户在服务器-TV RUI会话期间看电视时可能碰巧持有伴随装置（companion device），诸如平板计算机、智能电话等，并且在RUI会话在其他两个组件（即，TV与服务器）之间实施时，使用通常具有比TV RC多的功能的伴随装置来控制服务器可能是希望的。然而，如本文中进一步理解的，仅在多个装置上展现多个RUI而不链接它们以使它们保持彼此协调则不太希望。
发明内容
一种服务器在远程用户界面（RUI）会话期间将RUI和视频提供给主屏幕，还包括RUI的状态。主屏幕和对于主屏幕的会话可以由与 主屏幕和/或服务器配对的伴随装置发现。一旦在服务器处使屏幕配对，服务器就既在主屏幕上、又在服务器在伴随装置上创建的新的会话上镜像会话的RUI的图形部分，伴随装置可以仅具有标准的HTML5浏览器。在这种情况下，还将用于从服务器发送到主屏幕的RUI的图形展现命令转换为与在HTML5浏览器上运行的应用程序兼容的协议。该应用程序能够在伴随装置上生成相同的图形输出，并且可以在伴随装置上开始镜像会话之前从服务器下载，或者可以在开始镜像会话之前在伴随装置本地上展现。伴随屏幕可以具有触摸屏。当伴随屏幕具有触摸屏时，它可以通过直接在RUI图形上提供触摸命令来取代主屏幕上对于遥控器的需要。伴随装置将关于触摸或多触摸的数据送回到服务器，服务器知道什么RUI元件位于伴随装置上的什么地方，从而相应地对命令进行处理，就如同它们来自主屏幕一样。
RUI可以，但不限于，基于RVU协议、或X11协议、或支持服务器侧屏幕图形的任何自定义协议，以使得服务器保持对于图形的组装件的呈现控制。
相应地，对于音频视频显示装置（AVDD）的伴随装置包括处理器、显示器和计算机可读存储介质，显示器在处理器的控制下展现需要的图像，计算机可读存储介质承载可被处理器执行以从服务器接收与呈现远程用户界面（RUI）有关的信息的指令。在AVDD上展现RUI的一版本。RUI上的显示位置可以由用户选择，以将可以与控制命令相关联的信息送回到服务器。伴随装置处理器从服务器接收对RUI的更新，以使得展现在伴随装置上的RUI与展现在AVDD上的版本同步。
在示例实施例中，用HTML5对与呈现RUI有关的信息进行格式化以用于呈现RUI。一般来讲，HTML5是除了位图图形命令之外还支持使用矢量图形的图形呈现命令的示例超文本标记语言。然而，展现在AVDD上的RUI的版本不需要通过HTML5客户端。此外，可以从展现在AVDD上的版本将展现在伴随装置的显示器上的RUI修改为适合于伴随装置的显示器。
如果需要，伴随装置处理器可执行的指令可以使处理器建立与服务器的通信。伴随装置可以建立仅与AVDD而不与服务器的通信，其中伴随装置通过AVDD接收与呈现RUI有关的服务器信息。
在示例实施例中，处理器可执行的指令使处理器在HTML5基础上执行协议应用程序，该协议应用程序将与呈现RUI有关的信息转码为HTML5图形。伴随装置接收的与呈现RUI有关的信息可以包括可扩展标记语言（XML）命令和/或JavaScript对象表示（JSON）格式化命令。
在另一方面，一种服务器包括处理器和可供该处理器访问的承载指令的计算机可读存储介质，所述指令在被处理器执行时使处理器将在音频视频显示装置（AVDD）的显示器上呈现包含一个或多个RUI元件的远程用户界面（RUI）的图形呈现命令发送到AVDD。与将图形呈现命令发送到AVDD同步地，服务器将使伴随装置在伴随装置的显示器上呈现RUI或其基本类似版本的相应的图形呈现命令发送到伴随装置。“基本类似版本”意指展现在AVDD上的RUI的针对伴随装置的展现能力而修改的版本。服务器处理器从伴随装置接收与RUI有关的用户选择信号，将该用户选择信号与控制命令相关联，并执行该控制命令。
在另一方面，一种方法包括在音频视频显示装置（AVDD）和与该AVDD配对的伴随装置处接收在每个装置上呈现各自的远程用户界面（RUI）的图形呈现命令。该方法还包括在AVDD和伴随装置两者处接收各自的RUI修改命令以彼此同步地改变各自的RUI。
可以参照附图来最好地理解本发明的关于其结构和操作两者的细节。
附图说明
在附图中，相似的标号指示相似的部分，其中：
图1是根据本原理的非限制性示例系统的框图；
图2是示例总体逻辑的流程图；
图3是示例替代总体逻辑的流程图；
图4是第一示例实现的框图；
图5是第二示例实现的框图；以及
图6-9是例示本原理的结果的抓屏。
具体实施方式
一开始参照图1中所示的非限制性示例实施例，系统10包括诸如音频视频显示装置（AVDD）的客户端12。AVDD可以用包括TV调谐器16的TV实现，TV调谐器16与处理器18进行通信，处理器18访问有形计算机可读存储介质20，诸如基于盘的或固态储存器。作为非限制性的例子，AVDD还可以用大型平板计算机、个人计算机、互联网协议（IP）TV（诸如图1中所示的TV）等实现。
AVDD12可以在一个或多个扬声器22上输出音频。在例子中，AVDD12可以使用与处理器12通信的内置有线或无线调制解调器24从互联网接收流传输视频，处理器12可以执行软件实现的浏览器26。在显示器28上在处理器18的控制下展现视频，显示器28诸如，但不限于，高清晰TV（HDTV）平板显示器，并且可以是触摸屏显示器。显示器28可以是40"或更大型显示器。可以使用例如rf或红外线来从遥控器（RC）30无线地接收对于处理器18的用户命令。可以使用除了TV之外的音频-视频显示装置，例如，智能电话、游戏机、个人数字组织器、笔记本计算机和其他类型的计算机、具有连接到TV或监视器的HDMI输出的联网的蓝光或DVD播放器、具有连接到TV或监视器的HDMI输出的游戏机、连接到TV或监视器的具有联网和处理能力的HDMI棒、通过HDMI连接到TV或监视器的IP客户端STB等。
可以在显示器28和扬声器22上展现与AVDD12通信的地面广播天线34接收的来自一个或多个地面TV广播源32的TV节目。地面广播节目可以遵循数字ATSC标准，并且可以在它内携带地面广播EPG，但是可以从替代源接收地面广播EPG，所述替代源例如经由以 太网的互联网、或电缆通信链路、或卫星通信链路。
还可以在TV处接收来自有线电视头端36的TV节目以用于在显示器28和扬声器22上展现TV信号。当仅需要基本电缆（basic cable）时，来自墙壁的电缆通常传载QAM或NTSC格式的TV信号，并且在美国被直接插入到TV底盘上的“F型连接器”38中，但是在其他国家用于这个目的的连接器可以不同。相反，当例如用户具有延长电缆（extended cable）订阅时，通常通过STB40发送来自头端36的信号，STB40可以与TV底盘分离或者集成在TV底盘内，但是在任何情况下，都将HDMI基带信号发送到TV。可以使用其他类型的连接，例如，MOCA、USB、1394协议、DLNA。
在示例实现中，STB40可以起到下述服务器的作用。可以起到服务器作用的其他示例组件包括网关装置、媒体服务器、如所示的通过互联网与AVDD12通信并且执行例如STB40的功能的基于云的服务器41、以及PC。
类似地，可以将由与家用卫星碟相关的集成接收器/解码器（IRD）44接收的TV广播信号的卫星源42所发送的HDMI基带信号输入到AVDD12以用于展现在显示器28和扬声器22上。此外，可以从互联网46接收流传输视频以用于展现在显示器28和扬声器22上。可以在计算机调制解调器24处接收流传输视频，或者可以在AVDD12外部的家里的调制解调器48处接收流传输视频，并通过有线或无线以太网链路将该视频传递到AVDD12，并且在TV底盘上的RJ45或802.11x天线处接收该视频。注意，如以下进一步描述的，可以通过以上任何一个通道将按预定计划的两者的广播TV节目与增加内容（实时的或非实时的（NRT）内容）一起发送。
此外，在一些实施例中，摄像机50可以连接到处理器16以将观看显示器28的观看者的视频图像提供给处理器16，如果需要，摄像机50可以集成在底盘中，或者单独安装并且电连接到底盘。摄像机50可以设有广角镜头。摄像机50可以具有它自己的与TV处理器18通信的照相机处理器，或者它可以是由处理器18控制的简单的成像装 置，诸如CCD或其他成像器。此外，麦克风52可以设置在底盘上或者与底盘分离，并且可以电连接到处理器16以将观看者产生的语音命令提供给处理器16。
还可以提供伴随装置54。伴随装置的示例实施例包括，但不限于，平板计算机、或智能电话、PC、或其他移动无线计算装置。伴随装置可以包括由访问一个或多个计算机可读存储介质60以执行本逻辑的伴随处理器58控制的视觉显示器56，诸如触摸屏显示器。附加的输入装置62可以包括，诸如，但不限于，语音识别装置、键盘、指点和点击装置等。伴随装置54可以使用伴随装置网络接口66与AVDD12的无线网络接口64和服务器（例如，STB40）的无线网络接口65通信。接口64、65、66可以是，但不限于，WiFi接口、蓝牙接口、或其他适当的无线通信接口（包括无线电话接口）。
现在参照图2，伴随装置54与AVDD12（仅为了例示说明，在流程图中被称为“TV”）和/或服务器连接（“配对”），所述服务器例如云服务器41、STB40或执行本文中描述的服务器功能的其他设备。在优选实施例中，伴随装置54连接到服务器。但是如以下参照图3所描述的，伴随装置可以仅连接到TV。
伴随装置54与服务器的连接（该连接可以是无线通信连接）优选地是自动的，并且由伴随装置进行。伴随装置可以发现从服务器发送到AVDD12的RUI、和/或服务器与AVDD之间的RUI会话，或者可以自己发起AVDD与服务器之间的第一RUI会话、以及伴随装置与服务器之间的第二RUI会话，第二RUI会话镜像（mirror）AVDD与服务器之间的第一RUI会话。
在可以实现这个的非限制方式之中，伴随装置可以使用在Netflix支持下开发的发现和启动（DIAL）协议来发起通信。例如，伴随装置54可以使用DIAL协议来在AVDD上启动RUI客户端应用程序，AVDD作为响应建立与服务器的通信连接。伴随装置54使用DIAL将额外的识别参数发送到AVDD上的RUI客户端，其继而将该识别参数发送到服务器。服务器将该额外的识别参数解释为意指具有由该 识别参数定义的身份的客户端连接到服务器。该额外的识别参数可以指示伴随装置的模型，服务器可以将该模型与能力相关联，以便针对伴随装置的显示器适当地修改RUI，或者该额外的识别参数可以直接指示能力。
然后，伴随装置54使用相同的识别参数来建立与服务器的通信，该识别参数被服务器识别为指示伴随装置连接到与AVDD12配对的服务器，并且识别为要求镜像由服务器提供给AVDD12的RUI的单独的RUI。
另一种方法是服务器使用通用即插即用（UPnP）、由Apple,Inc.提供的“Bonjour”发现特征、由Microsoft Corp提供的“ZeroConf”特征来在网络以及任何活动会话上公布它的RUI。伴随装置54然后连接到AVDD上的活动RUI会话的实例化，因此镜像它。
又一种方法是将单独的“配对注册画面”作为RUI的一部分提供。一旦伴随装置54的用户选择要配对到的装置，伴随装置就如此通知服务器，服务器作为响应将镜像从服务器发送到AVDD的RUI的RUI发送到伴随装置。
移至方框72，服务器将其RUI发送到AVDD。在一个非限制性例子中，可以使用经由传输控制协议/互联网协议（TCP/IP）套接字的低级图形卡协议来发送被发送到AVDD的RUI。这是因为发送到AVDD的RUI信息（以及发送到伴随装置54的镜像RUI信息）基本上简单地定义如何在呈现装置上呈现RUI元件，呈现装置是AVDD12或伴随装置54。AVDD12上的RUI客户端或伴随装置54上的RUI客户端不需要知道RUI元件在被选择时的基本功能，而是仅服务器需要知道该基本功能。用户选择RUI元件导致呈现装置仅将指示该选择发生的画面位置的信号送回到服务器，服务器然后将该信号与所选RUI元件下面的适当功能相关联。另一种方法是，识别RUI元件的选择的一些功能在AVDD12上的RUI客户端或伴随装置54上的RUI客户端上是可用的，并且在RUI客户端上进行一些处理以指示该选择并且将指示该选择发生的画面位置的信号送回到服务器，服务器然后 将该信号与所选RUI元件下面的适当功能相关联。
进入方框74，服务器将镜像发送到AVDD12的第一RUI的第二RUI发送到伴随装置54，如果需要，将第二RUI修改为适合于伴随装置54的显示器。换句话讲，不是在伴随装置54上具有与AVDD12上完全相同的图形，服务器可以将伴随优化版本发送到伴随装置54，该版本例如略去展现在AVDD12上的视频图片窗口，或者具有更少的文本信息，或者具有额外的文本信息，例如，到关于节目、频道或女演员的相关信息的统一资源定位符（URL）超链接。然而，因为伴随装置54上的RUI的总体外观和功能镜像AVDD12上的RUI的总体外观和功能，并且服务器使得它们保持同步，所以伴随装置54上的用户体验仍感觉像同步的体验。
因此，“镜像”意指服务器发送到伴随装置54的RUI响应于用户输入与由服务器发送到AVDD12的RUI如何响应于相同输入改变相对应地改变，反之亦然。伴随装置RUI上的用户输入因此被服务器相应地传播到AVDD上的RUI。如果需要，“镜像”还可以意指这两个RUI在被用户操作时具有相同的功能。
在示例实施例中，伴随装置54可以仅使用相对简单的超文本标记语言（HTML）-5浏览器。服务器承担确保发送到AVDD12的RUI图形和发送到执行HTML5浏览器的伴随装置54的RUI图形彼此同步地镜像的负担。注意，如果需要，伴随装置54可以在计算上是轻量级的、便宜的，并且不需要支持视频回放，即，伴随装置54无需执行视频编解码器或加密能力。
出于这种考虑，在示例实现中，服务器对于伴随装置54产生HTML5兼容的图形呈现命令，这些图形呈现命令镜像被发送到AVDD12的可以是HTML5或者可以不是HTML5的图形呈现命令。在从服务器发送到AVDD12的RUI用低级图形协议（诸如TCP/IP套接字）的实施例中，HTML5特征（诸如Canvas和WebSocket）提供将TCP/IP低级协议转码（transcode）为HTML5，注意，Canvas提供全像素级操纵低级图形，WebSocket复制TCP/IP的行为。进一 步注意，Websocket提供通过HTTP连接的全双工通信，而Canvas提供对于位图图形和矢量图形呈现的支持。
进一步注意，HTML5是应用程序在其顶部执行的框架。在伴随装置54上，应用程序可以被称为被配置为建立WebSocket链路并且接收压缩可扩展标记语言（XML）或JavaScript对象表示（JSON）格式化命令的协议应用程序，该协议应用程序提取这些格式化命令来呈现HTML5图形。例如，提取的命令可以是图形矢量命令，诸如“在画面位置x,y处勾画大小为h,w、颜色为c,alpha的盒子”。换句话讲，在伴随装置54上执行的协议应用程序（在示例实现中，该协议应用程序可以用JavaScript、HTML和层叠样式表单（CSS）编写）确定如何将来自服务器的RUI命令变为合适的HTML5图形。
可以将协议应用程序从服务器下载到伴随装置54，记住服务器拥有该协议的另一半（即，分发压缩的XML或JSON格式化命令）。然而，可以在销售时或者在使用伴随装置54控制服务器之前的任何时间，预先将协议应用程序加载到伴随装置54的HTML5浏览器中。
方框76指示AVDD12和伴随装置54根据服务器发送到每个组件的各自的RUI图形命令来彼此同步地呈现它们各自的RUI。因此，当在方框78，用户通过例如伴随装置54上的触摸屏输入对RUI上的元件的选择时，在方框80，伴随装置将该选择发送到服务器（通常通过发送用户的触摸的画面位置）。在方框82，服务器将该画面位置与UI元件及其功能相关联来执行功能，例如改变频道、改变音量、执行特技播放功能、记录等。如果适当，服务器还使两个RUI彼此同步地更新，以使这两个RUI彼此保持镜像。相应地将更新的RUI呈现命令从服务器发送到AVDD12和伴随装置54两者。
注意，更新AVDD RUI无需对于用户在伴随装置上的每一个RUI输入发生。例如，假设RUI是具有许多行频道选择器元件的电子节目指南（EPG），并且在AVDD上一次展现六行，而在伴随装置上一次仅展现三行。如果用户在伴随装置上向上滚动一行，使前顶行消失，但是伴随装置上的RUI的新的底行和前顶行出现在正展现在AVDD 上的RUI的六行内，则对于这种特殊情况，服务器不需要命令AVDD滚动AVDD上的EPG。服务器维护与两个装置的会话，然而，更新两个会话意味着更新两个RUI的状态，使得用户在伴随装置的RUI上的进一步滚动（其导致假想EPG的当前没有示出在AVDD上的新的行示出在伴随装置上）将使服务器更新AVDD上的EPG，以相应地与伴随装置上的滚动位置相应地滚动。这同样地在反方向上起作用，其中，对于AVDD上的RUI的用户输入被发送到服务器，服务器相应地改变伴随装置上的RUI以保持与AVDD上的RUI同步。一般来讲，在AVDD上所示的RUI中展现伴随装置（其通常具有比AVDD小的显示器）上所展现的每一个RUI元件，如果用户将光标焦点放置在这些装置中的一个装置（AVDD或伴随）的RUI中，则服务器立即更新另一装置的RUI以展现相同的焦点。
现在可以意识到，两个RUI（在AVDD12和伴随装置54上）彼此同步地链接，以使得用户在伴随装置显示器56上看到的内容镜像在AVDD显示器28上看到的内容。注意，因为服务器承担确保发送到AVDD12的RUI图形和发送到伴随装置54的浏览器的RUI图形彼此同步地镜像的负担，所以伴随装置54摆脱了产生RUI并且将该RUI发送到AVDD12的负担。
进一步注意，用户可以将伴随装置54作为他在AVDD上所看到的内容的触摸屏控制进行操作，这大大地改进了导航（触摸，而不是指针），但仍使得房间里的每一个人可以共享选择处理，正如他们共享常规的遥控器一样。当服务器一直负责在两个客户端上呈现图形的每个部分、而不发生任何客户端侧创作（composition）时，该方法是非常适用的。因此，服务器可以非常容易地使多个客户端上的呈现保持同步。
图3例示服务器不将RUI图形转码为HTML5以用于发送到伴随装置54，而是改为由AVDD12执行转码任务的替代实施例。在该实现中，服务器将根本不需要知道存在伴随装置，所以不需要服务器修改。
因此，在方框84，伴随装置54建立与AVDD12的通信。在方框86，服务器将RUI发送到AVDD12，AVDD12继而在方框88针对HTML5对RUI进行转码，并将用于呈现RUI的指令发送到伴随装置54。AVDD12还在它自己的显示器上展现RUI，但是还没有将指示实际上已经显示RUI或RUI元件的消息送回到服务器。因此，在方框90，两个装置都呈现RUI或RUI元件，伴随装置略晚于AVDD。当伴随装置已经完成呈现RUI或RUI元件时，它向AVDD报告它的完成，AVDD然后回头向服务器报告AVDD上的RUI呈现完成。因此，当AVDD上的RUI或RUI元件的呈现完成时，AVDD不立即向服务器报告RUI或RUI元件已经被呈现，而是等待，直到伴随装置向AVDD报告已经在伴随装置上呈现RUI或RUI元件为止，此时，AVDD向服务器报告RUI呈现。
在方框92，伴随装置接收用户选择。在方框94，伴随装置将该选择的画面位置发送到AVDD，AVDD将该选择中继到服务器。在方框96，服务器更新AVDD RUI，将它发送到AVDD，AVDD对更新的RUI进行转码，并将它发送到伴随装置54。
图4和图5示出服务器、伴随装置和音频视频显示装置（AVDD，为了示例描述，在图4和图5中被标记为“TV”）的示例框图。图4和图5中所示的服务器、AVDD和伴随装置可以用上述相应电器中的任何一个实现。
在图4中，服务器100通过TCP/IP连接102将RUI图形呈现命令与将展现在AVDD104上的视频一起发送到AVDD104。并行地，服务器100通过Websockets通信链路108仅将RUI图形呈现命令发送到有HTML5能力的伴随装置106，而不发送视频。如上所述，通过由伴随装置106执行协议应用程序来将可以是压缩的XML或JSON格式化命令的图形呈现命令转码为HTML5，以呈现镜像展现在AVDD104上的RUI的HTML5图形。服务器100通过链路110从伴随装置106接收UI命令，服务器然后将新的RUI呈现命令传播到AVDD104和伴随装置106两者以同步地反映UI命令，以使RUI保 持以镜像的方式链接。
图5示出与图4中所示的系统基本上相同的系统，除了以下之外：除了将RUI图形呈现命令发送到伴随装置106之外，服务器100还将视频发送到伴随装置106以用于在伴随装置的显示器上展现该视频。
作为以上原理的例子，假定调用图2的逻辑（服务器使两个RUI同步），并且现在参照图6-9。在图6和图7中所示的例子中，AVDD显示器28和伴随装置显示器56都展现相同的RUI，在这种情况下，EPG。注意，在所示的假设中，由于伴随装置显示器56较小，所以它仅展现EPG的两行，而较大的AVDD显示器28展现三行。
现在假定，如图7中的边界加亮部分200所指示的，用户触摸了伴随装置显示器56的与节目E相应的区域。根据以上原理，伴随装置54将触摸的画面位置发送到服务器，服务器将该触摸与用户命令相关联以展现关于节目E的信息。如图8和图9中所示，服务器通过使两个装置上的RUI保持同步（在这种情况下，通过在AVDD显示器28和伴随装置显示器56上都展现节目E信息）来执行该命令。因为AVDD显示器28大于伴随装置显示器56，所以它展现与伴随装置56相同的信息，在这种情况下，更多的是，节目E的明星的姓名。除此之外，保持RUI展现相同的外观。两个RUI都包括“现在选择”元件，如果使用例如RC30从AVDD RUI选择该元件或者使用显示器56上的触摸从伴随装置选择该元件，则该元件使服务器在AVDD上展现节目E，并且当有视频能力并且启用视频时，在伴随装置上也展现节目E。
注意，以上原理可以应用于同步的网页，其中，第一装置和第二装置与使两个装置上的相同网页的展现同步的服务器通信。这些装置中的第一装置的网页上的用户活动被发送到服务器，服务器自动地改变另一（第二）装置上的网页以镜像由第一装置的用户操作的网页。
在当伴随装置不能接收视频时的情况下，它可以接收空白视频空间中的替代内容。这可以是视频中的仅作为位图图像展现的偶尔的iframe。它还可以是与用户和正被观看的内容有关的广告。它还可以 是交互式内容，比如，投票、实时社交网络、隐藏字幕、或可访问用户将需要而房间里的其他用户将不需要的其他可访问特征。
尽管本文中详细地示出并描述了具体的“伴随装置上的服务器-客户端远程用户界面（RUI）会话的自动发现和镜像、以及在伴随装置上使用RUI同步地控制两个会话”，但是要理解本发明所包含的主题仅由权利要求书限制。

Claims (19)

1.一种对于音频视频显示装置(AVDD)的伴随装置，包括：
处理器；
显示器，所述显示器在所述处理器的控制下展现需要的图像；
计算机可读存储介质，所述计算机可读存储介质承载能够被所述处理器执行以执行以下步骤的指令：
从服务器接收与呈现远程用户界面(RUI)有关的信息，RUI的一版本被展现在所述AVDD上，呈现在所述伴随装置上的RUI上的显示位置能够被用户选择以发送能够与用于所述AVDD的控制命令相关联的信息从而使所述AVDD执行相应功能，使用所述伴随装置上的RUI产生的控制命令使得执行以下操作中的至少一个：改变所述AVDD上的视频展现的视频源、改变所述AVDD输出的音量、在所述AVDD上执行特技播放功能、记录所述AVDD上展现的视频；和
从服务器接收对RUI的更新，以使得展现在所述伴随装置上的RUI与展现在所述AVDD上的所述版本同步，其中：
所述指令能够被执行来用经由传输控制协议/互联网协议(TCP/IP)套接字的低级图形卡协议从所述服务器接收与呈现RUI有关的信息，与呈现RUI有关的信息限定如何呈现RUI的RUI元件、但不限定RUI元件的功能，使得对RUI元件的选择导致将指示该选择发生的画面位置的信号送回到所述服务器，所述服务器然后将该信号与所选择的RUI元件下面的适当功能相关联。
2.根据权利要求1所述的伴随装置，其中，用超文本标记语言对与呈现RUI有关的信息进行格式化以用于呈现RUI，所述超文本标记语言除了位图图形命令之外还支持使用矢量图形的图形呈现命令。
3.根据权利要求1所述的伴随装置，其中，所述AVDD上的RUI不用HTML5。
4.根据权利要求1所述的伴随装置，其中，从展现在所述AVDD上的所述版本将展现在所述伴随装置的显示器上的RUI修改为适合于所述伴随装置的显示器。
5.根据权利要求1所述的伴随装置，其中，能够被所述处理器执行的指令使所述处理器建立与所述服务器的通信。
6.根据权利要求1所述的伴随装置，其中，能够被所述处理器执行的指令使所述处理器建立仅与AVDD而不与服务器的通信，与呈现RUI有关的服务器信息由所述伴随装置通过所述AVDD接收。
7.根据权利要求1所述的伴随装置，其中，能够被所述处理器执行的指令使所述处理器在用超文本标记语言建立的基础上执行将与呈现RUI有关的信息转码为所述基础上的图形的协议应用程序，所述超文本标记语言除了位图图形命令之外还支持使用矢量图形的图形呈现命令。
8.根据权利要求1所述的伴随装置，其中，所述伴随装置接收的与呈现RUI有关的信息包括可扩展标记语言(XML)命令和/或JavaScript对象表示(JSON)格式化命令。
9.一种服务器，包括：
至少一个处理器；和
至少一个计算机可读存储介质，所述至少一个计算机可读存储介质能够供所述处理器访问，并且承载当被所述处理器执行时使所述处理器执行以下步骤的指令：
将用于在音频视频显示装置(AVDD)的显示器上呈现包含至少一个远程用户界面(RUI)元件的RUI的至少一个图形呈现命令发送到所述AVDD，用于呈现RUI的图形呈现命令是用经由传输控制协议/互联网协议(TCP/IP)套接字的低级图形卡协议发送的，使得用于呈现RUI的图形呈现命令限定如何呈现RUI的RUI元件、但不限定RUI元件的基本功能，使得对RUI元件的选择导致将指示该选择发生的画面位置的信号送回到所述服务器，所述服务器然后将该信号与所选择的RUI元件下面的适当功能相关联；
与将所述图形呈现命令发送到所述AVDD同步地，将使伴随装置在所述伴随装置的显示器上呈现RUI或其基本类似版本的至少一个相应的图形呈现命令发送到所述伴随装置，展现在所述伴随装置上的所述基本类似版本是展现在所述AVDD上的RUI的针对所述伴随装置的展现能力而修改的版本；
从所述伴随装置接收与RUI有关的至少一个用户选择信号；
将所述用户选择信号与控制命令相关联；
执行所述控制命令；和
至少有时，响应于来自所述伴随装置的用户选择信号，自动地将使所述AVDD修改展现在其上的RUI以使得所述AVDD上的RUI与所述伴随装置上的RUI同步的图形呈现命令发送到所述AVDD。
10.根据权利要求9所述的服务器，其中，所述指令在被所述处理器执行时使所述处理器将至少一个修改的RUI呈现命令发送到所述AVDD并且将相应的至少一个修改的RUI呈现命令发送到所述伴随装置，以使得展现在所述伴随装置上的RUI镜像展现在所述AVDD上的RUI。
11.根据权利要求9所述的服务器，其中，所述指令在被所述处理器执行时使所述处理器以适合于在HTML5环境下呈现RUI的格式将至少一个图形呈现命令发送到所述伴随装置。
12.根据权利要求9所述的服务器，其中，所述指令在被所述处理器执行时使所述处理器以可扩展标记语言(XML)格式或JavaScript对象表示(JSON)格式将至少一个图形呈现命令发送到所述伴随装置。
13.一种在内容展现中使用的方法，包括：
在音频视频显示装置(AVDD)和与所述AVDD配对的伴随装置处接收用于在每个装置上呈现各自的远程用户界面(RUI)的图形呈现命令，用于呈现RUI的图形呈现命令是用经由传输控制协议/互联网协议(TCP/IP)套接字的低级图形卡协议发送的，使得用于呈现RUI的图形呈现命令限定如何呈现RUI的RUI元件、但不限定RUI元件的基本功能，使得对RUI元件的选择导致将指示该选择发生的画面位置的信号送回到服务器，所述服务器然后将该信号与所选择的RUI元件下面的适当功能相关联；和
在所述AVDD和所述伴随装置两者处接收各自的RUI修改命令以彼此同步地改变各自的RUI，这两个RUI用于产生控制命令以控制所述AVDD上的展现。
14.根据权利要求13所述的方法，其中，所述各自的RUI修改命令是由服务器响应于所述伴随装置上的用户输入而产生的。
15.根据权利要求13所述的方法，其中，所述各自的RUI修改命令被彼此不同地格式化。
16.根据权利要求13所述的方法，其中，发送到所述伴随装置的RUI修改命令为适合于在HTML5环境下呈现RUI的格式。
17.根据权利要求13所述的方法，其中，发送到所述伴随装置的RUI修改命令为可扩展标记语言(XML)格式或JavaScript对象表示(JSON)格式。
18.根据权利要求13所述的方法，其中，发送到所述AVDD的RUI修改命令是用经由传输控制协议/互联网协议(TCP/IP)套接字的低级图形卡协议的。
19.根据权利要求13所述的方法，其中，因为服务器承担确保发送到所述AVDD的RUI图形和发送到所述伴随装置的RUI图形彼此同步地镜像的负担，所以所述伴随装置不必产生RUI并将RUI发送到所述AVDD。
CN201410145224.1A 2013-04-12 2014-04-10 对于音频视频显示装置的伴随装置、服务器和方法 Active CN104105000B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/861,610 US9173000B2 (en) 2013-04-12 2013-04-12 Automatic discovery and mirroring of server-client remote user interface (RUI) session on a companion device and synchronously controlling both sessions using RUI on companion device
US13/861,610 2013-04-12

Publications (2)

Publication Number Publication Date
CN104105000A CN104105000A (zh) 2014-10-15
CN104105000B true CN104105000B (zh) 2017-06-16

Family

ID=51672752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410145224.1A Active CN104105000B (zh) 2013-04-12 2014-04-10 对于音频视频显示装置的伴随装置、服务器和方法

Country Status (2)

Country Link
US (1) US9173000B2 (zh)
CN (1) CN104105000B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942735B2 (en) * 2012-12-04 2021-03-09 Abalta Technologies, Inc. Distributed cross-platform user interface and application projection
US10110932B2 (en) * 2013-11-18 2018-10-23 Cable Television Laboratories, Inc. Session administration
US10764627B2 (en) * 2013-11-20 2020-09-01 Atul Madhavrao Naik System for deployment of value-added services over digital broadcast cable
US20150253860A1 (en) * 2014-03-07 2015-09-10 Fresenius Medical Care Holdings, Inc. E-field sensing of non-contact gesture input for controlling a medical device
US20150295973A1 (en) * 2014-04-10 2015-10-15 Screenovate Technologies Ltd. Method for real-time multimedia interface management
CN105100950A (zh) * 2014-04-30 2015-11-25 阿里巴巴集团控股有限公司 智能电视移动端切换、电视端信息获取方法和装置、系统
KR20170003612A (ko) * 2014-07-30 2017-01-09 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
WO2016068342A1 (en) * 2014-10-30 2016-05-06 Sharp Kabushiki Kaisha Media playback communication
TWI539291B (zh) 2015-03-23 2016-06-21 奇揚網科股份有限公司 鏡像傳輸方法
KR102335007B1 (ko) 2015-04-01 2021-12-06 삼성전자주식회사 방송 시스템에서 디바이스들 간에 정보를 송수신하는 방법 및 장치
US9591350B2 (en) 2015-04-10 2017-03-07 Sony Corporation Sharing web application program guide content items over home networks
US9972064B1 (en) 2015-06-29 2018-05-15 Amazon Technologies, Inc. Non-intrusive and low-power recording
WO2017014553A1 (ko) * 2015-07-21 2017-01-26 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US11238220B1 (en) * 2015-11-13 2022-02-01 Wells Fargo Bank, N.A. Dynamic user interface framework
US10542327B2 (en) * 2015-12-21 2020-01-21 Opentv, Inc. Interactive application server on a second screen device
CN107203541B (zh) * 2016-03-17 2020-04-14 台达电子企业管理（上海）有限公司 页面加载方法及其页面加载装置
US10999331B1 (en) * 2016-07-06 2021-05-04 Google Llc Reverse discovery and pairing of client devices to a media device
US10353577B2 (en) * 2016-10-04 2019-07-16 Centurylink Intellectual Property Llc Method and system for implementing content navigation or selection using touch-based input
US10079871B2 (en) 2016-10-10 2018-09-18 Google Llc Customizing media items for playback on alternative playback devices paired with a user device
US10516914B2 (en) 2016-10-19 2019-12-24 Centurylink Intellectual Property Llc Method and system for implementing automatic audio optimization for streaming services
CN108010109A (zh) * 2017-12-22 2018-05-08 广州酷狗计算机科技有限公司 一种导出canvas动画文件的方法和装置
CN108990172B (zh) * 2018-07-06 2021-07-13 四川九洲电器集团有限责任公司 一种同时管理多个wifi音响播控的方法
KR102509071B1 (ko) * 2018-08-29 2023-03-10 삼성전자주식회사 전자 장치 및 이의 외부 장치를 제어하는 방법
US11068643B2 (en) * 2019-02-08 2021-07-20 Oracle International Corporation Client-side customization and rendering of web content
WO2021134069A1 (en) 2019-12-27 2021-07-01 Abalta Technologies, Inc. Projection, control, and management of user device applications using a connected resource
CN114793291B (zh) * 2022-01-25 2023-11-07 深圳软牛科技有限公司 Ios多设备实时投屏方法、系统、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517975A (zh) * 2006-09-22 2009-08-26 三星电子株式会社 通过将互联网协议电视和家庭网络互相连接来发送/接收内容的方法和设备
CN102065335A (zh) * 2009-11-13 2011-05-18 三星电子株式会社 显示装置、客户终端及其控制方法
CN103024492A (zh) * 2011-09-21 2013-04-03 索尼公司 音视频显示设备呈现的控制hdmi内容源的屏上遥控器

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
AR019932A1 (es) 1998-07-17 2002-03-27 United Video Properties Inc Una disposicion de guias de programacion televisiva interactivas que tiene multiples dispositivos dentro de una residencia de un grupo familiar y un método que la emplea
TW463503B (en) 1998-08-26 2001-11-11 United Video Properties Inc Television chat system
TW447221B (en) 1998-08-26 2001-07-21 United Video Properties Inc Television message system
US6466779B1 (en) 2000-03-07 2002-10-15 Samsung Electronics Co., Ltd. System and method for secure provisioning of a mobile station from a provisioning server using IWF-based firewall
US7689510B2 (en) 2000-09-07 2010-03-30 Sonic Solutions Methods and system for use in network management of content
US20020162120A1 (en) 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device
TW540235B (en) 2001-05-10 2003-07-01 Ibm System and method for enhancing broadcast programs with information on the world wide web
AU2003220618A1 (en) 2002-04-05 2003-10-27 Matsushita Electric Industrial Co., Ltd. Asynchronous integration of portable handheld device
JP3925297B2 (ja) * 2002-05-13 2007-06-06 ソニー株式会社 映像表示システム及び映像表示制御装置
KR20040111658A (ko) * 2002-05-20 2004-12-31 소니 가부시끼 가이샤 정보 처리 시스템, 정보 처리 장치 및 정보 처리 방법
US20040047599A1 (en) 2002-09-05 2004-03-11 General Instrument Corporation Methods and systems for remotely accessing a digital television terminal via a global communication network
US8010987B2 (en) 2003-06-05 2011-08-30 Nds Limited System for transmitting information from a streamed program to external devices and media
JP2005122474A (ja) 2003-10-16 2005-05-12 Fujitsu Ltd 情報漏洩防止プログラムおよびその記録媒体並びに情報漏洩防止装置
US7327385B2 (en) 2003-11-20 2008-02-05 Texas Instruments Incorporated Home picture/video display system with ultra wide-band technology
US7555543B2 (en) 2003-12-19 2009-06-30 Microsoft Corporation Server architecture for network resource information routing
US20060031779A1 (en) * 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
US20050251823A1 (en) 2004-05-05 2005-11-10 Nokia Corporation Coordinated cross media service
US20060041916A1 (en) 2004-08-17 2006-02-23 Mcquaide Arnold Jr Personal multi-modal control and communications system
US20060041923A1 (en) 2004-08-17 2006-02-23 Mcquaide Arnold Jr Hand-held remote personal communicator & controller
US20060140170A1 (en) * 2004-12-28 2006-06-29 Elmar Dorner Wireless lan remote control
US7627341B2 (en) 2005-01-31 2009-12-01 Microsoft Corporation User authentication via a mobile telephone
WO2006124938A2 (en) 2005-05-17 2006-11-23 Rajant Corporation System and method for communication in a wireless mobile ad-hoc network
US20060270452A1 (en) 2005-05-27 2006-11-30 Levy Gerzberg Remote storage of pictures and other data through a mobile telephone network
US7908555B2 (en) 2005-05-31 2011-03-15 At&T Intellectual Property I, L.P. Remote control having multiple displays for presenting multiple streams of content
US20070157281A1 (en) 2005-12-23 2007-07-05 United Video Properties, Inc. Interactive media guidance system having multiple devices
US7634263B2 (en) 2006-01-30 2009-12-15 Apple Inc. Remote control of electronic devices
US9495072B2 (en) * 2006-02-02 2016-11-15 At&T Intellectual Property I, L.P. System and method for sharing content with a remote device
US8255553B2 (en) * 2006-11-16 2012-08-28 Vixs Systems Inc. Multimedia client/server system with remote control signalling and methods for use therewith
US8479230B2 (en) 2006-12-19 2013-07-02 At&T Intellectual Property I, Lp System and apparatus for managing media content
US8601515B2 (en) 2006-12-28 2013-12-03 Motorola Mobility Llc On screen alert to indicate status of remote recording
EP1998446A1 (en) * 2007-05-31 2008-12-03 Alcatel Lucent Remote control for devices with connectivity to a service delivery platform
US20090019492A1 (en) 2007-07-11 2009-01-15 United Video Properties, Inc. Systems and methods for mirroring and transcoding media content
US8484626B2 (en) * 2007-09-28 2013-07-09 Verizon Patent And Licensing Inc. Generic XML screen scraping
US9600221B2 (en) * 2007-11-01 2017-03-21 Adobe Systems Incorporated Multi-pane display capture, aggregation, and sharing
US20090119604A1 (en) * 2007-11-06 2009-05-07 Microsoft Corporation Virtual office devices
US8732246B2 (en) 2008-03-14 2014-05-20 Madhavi Jayanthi Mobile social network for facilitating GPS based services
US8307395B2 (en) 2008-04-22 2012-11-06 Porto Technology, Llc Publishing key frames of a video content item being viewed by a first user to one or more second users
US9716774B2 (en) * 2008-07-10 2017-07-25 Apple Inc. System and method for syncing a user interface on a server device to a user interface on a client device
JP2011530137A (ja) 2008-08-04 2011-12-15 オパンガ ネットワークス インコーポレイテッド ローカルエリアネットワークにおける装置に依存する配信
US8266666B2 (en) 2008-09-12 2012-09-11 At&T Intellectual Property I, Lp System for controlling media presentations
CA2777269A1 (en) * 2009-10-16 2011-04-21 Delta Vidyo, Inc. Smartphone to control internet tv system
US20110202854A1 (en) * 2010-02-17 2011-08-18 International Business Machines Corporation Metadata Capture for Screen Sharing
US20110314173A1 (en) * 2010-06-16 2011-12-22 Raycomm Technologies, Inc. System and method for mirroring a portable device over remote display
US8453186B2 (en) * 2010-09-15 2013-05-28 At&T Intellectual Property I, L.P. Method and system for remote control
US8782150B2 (en) 2010-11-09 2014-07-15 Sony Corporation Method and apparatus for enabling device communication and control using XMPP
US8863196B2 (en) 2010-11-30 2014-10-14 Sony Corporation Enhanced information on mobile device for viewed program and control of internet TV device using mobile device
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US9948988B2 (en) * 2011-10-04 2018-04-17 Ricoh Company, Ltd. Meeting system that interconnects group and personal devices across a network
KR101888681B1 (ko) * 2011-10-06 2018-08-17 삼성전자 주식회사 모바일기기 및 그 제어방법
JP5389195B2 (ja) * 2012-01-06 2014-01-15 株式会社東芝 情報処理システム、携帯端末及び情報処理方法
TWI702843B (zh) * 2012-02-15 2020-08-21 立視科技股份有限公司 遠端觸控操作的電視系統
CN104737197B (zh) * 2012-06-29 2019-12-06 高通股份有限公司 经由共享空间共享用户接口对象
US20140189602A1 (en) * 2012-12-28 2014-07-03 Mediatek Inc. Method and associated system for displaying graphic content on extension screen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517975A (zh) * 2006-09-22 2009-08-26 三星电子株式会社 通过将互联网协议电视和家庭网络互相连接来发送/接收内容的方法和设备
CN102065335A (zh) * 2009-11-13 2011-05-18 三星电子株式会社 显示装置、客户终端及其控制方法
CN103024492A (zh) * 2011-09-21 2013-04-03 索尼公司 音视频显示设备呈现的控制hdmi内容源的屏上遥控器

Also Published As

Publication number Publication date
US20140310599A1 (en) 2014-10-16
US9173000B2 (en) 2015-10-27
CN104105000A (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
CN104105000B (zh) 对于音频视频显示装置的伴随装置、服务器和方法
US8914832B2 (en) Information processing apparatus, information processing method, and program
KR102151680B1 (ko) 미디어 컨텐츠를 제시하기 위한 시스템들, 방법들 및 컴퓨터 판독 가능 매체들
CN104202677A (zh) 支持多窗口应用的多屏显示和控制的方法与装置
CN111263233A (zh) 电视多窗口处理方法、装置、计算机设备和存储介质
CN104053062A (zh) 具有配对画布的电子显示器
CN111601149B (zh) 一种操作指南显示方法及显示设备
CN109857972B (zh) 一种页面更新方法及显示设备
CN111639281A (zh) 一种页面资源显示方法及显示设备
CN111654729B (zh) 一种账号登录状态的更新方法及显示设备
CN113473194B (zh) 一种智能设备及响应方法
CN113115088B (zh) 显示设备用户界面的控制方法及显示设备
CN111447488B (zh) 一种memc控制方法及显示设备
CN111277911B (zh) 一种全景视频的图像处理方法、显示设备及服务器
CN112153459A (zh) 用于投屏显示的方法和装置
CN110958476A (zh) 一种广告投放方法、显示设备及遥控器
US9197844B2 (en) User interface
Kim et al. GUI screen-sharing smart remote control for smart TV user interface
CN104980784B (zh) 多媒体装置及其光标控制方法
CN111885415B (zh) 一种音频数据快速输出方法及显示设备
CN113010074A (zh) 一种网页视频Video控制栏显示方法及显示设备
KR20130025994A (ko) 슬레이브 디스플레이 장치, 셋톱박스 및 이를 포함하는 디지털 콘텐츠 제어 시스템
CN111601147A (zh) 一种内容显示方法及显示设备
CN104053037A (zh) 管理呈现高清视觉内容的超高清显示器上的额外空间
KR20130015749A (ko) 슬레이브 디스플레이 장치, 셋톱박스 및 이를 포함하는 디지털 콘텐츠 제어 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant