CN107402771B - 远程用户接口合作应用 - Google Patents

远程用户接口合作应用 Download PDF

Info

Publication number
CN107402771B
CN107402771B CN201710751119.6A CN201710751119A CN107402771B CN 107402771 B CN107402771 B CN 107402771B CN 201710751119 A CN201710751119 A CN 201710751119A CN 107402771 B CN107402771 B CN 107402771B
Authority
CN
China
Prior art keywords
client
server
connection
option
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710751119.6A
Other languages
English (en)
Other versions
CN107402771A (zh
Inventor
R.A.博科夫
A.梅瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107402771A publication Critical patent/CN107402771A/zh
Application granted granted Critical
Publication of CN107402771B publication Critical patent/CN107402771B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)

Abstract

在本发明的第一实施例中，提供了一种用于操作远程用户接口(UI)客户端的方法，所述方法包括：建立与UI服务器的第一连接；在第一连接上接收文件；关断第一连接；运行文件，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；以及基于第二指令，建立与UI服务器的第二连接。

Description

远程用户接口合作应用
本申请是申请日为2011年6月3日、申请号为201180027320.0、发明名称为“远程用户接口合作应用”的发明专利申请的分案申请。
技术领域
本发明大体上涉及远程用户接口。更具体地，描述了用于远程用户接口的合作应用。
背景技术
在各种的消费电子(CE)装置中，远程用户接口(UI)正变得越来越重要，因为其允许远程装置可以针对不作为主机提供的应用显示用户接口。例如，在家庭设置中，位于一个房间内的主机(例如，机顶盒)可以被安排用来将内容在家庭网络上递送到多个装置处，包括位于住宅内的其他房间内的装置。在该种设置中，需要用户能够通过在远程装置上显示的用户接口来与主机装置进行交互。
迄今为止，存在许多对于开发远程用户接口的标准进行定义的各种努力。目前，还没有用于所有情形的一个远程UI标准存在。所有的流位图远程UI(英特尔的XRT、VNC、JPEG2000等)都要求特定的客户端以对流进行解码。超文本标记语言(HTML)UI用于能够用HTML来描述的UI，但是其难于处理不容易使用HTML来描述的UI。基于视频的UI需要服务器侧的昂贵的视频编码器，以便从一开始就生成UI。
消费电子协会(CEA)具有旨在用于限定基于网络的协议和便于远程用户接口的框架的初步标准CEA2014-A。CEA2014-A标准限定所需的机制，以允许用户接口被远程地显示在除了作为基础逻辑的主机之外的装置或控制点上，以及被所述装置或控制点控制。基本装置发现(basic device discovery)基于用于在家庭中的通用即插即用(UPnP)网络和UPnP装置的UPnP装置构架。该标准还允许在家庭中的UPnP上的、通过第三方互联网服务所提供的用户接口的远程显示，并且其还覆盖用于TV、移动电话、和便携式装置的大范围的UI能力。
典型地，基于浏览器的远程用户接口系统(诸如CEA 2014)以与在PC屏幕上生成网页的相同方式，使用HTML来在远程装置上创建用户接口。在该模型中，UI服务器(例如，机顶盒)和UI客户端(例如，电视机)都是在网络上的客户端(其通过有线/无线以太网、家庭电线网(home-plug)、或者其他相似的网络技术来连接)。然而，网络技术典型地不会在装置之间保持连续的连接，使得基于网络的技术通常向UI客户端发送指令包，并且然后UI客户端很大程度地自主操作。
然而，在引入远程用户接口之前的用户机顶盒模型是用于维持显示装置的连续控制的机顶盒的。这种连续控制在现有的远程用户接口系统中是不可能的。
发明内容
技术问题
本发明的一方面提供了一种在远程UI系统中的远程UI客户端和UI服务器中间的远程UI合作的方法和装置。
问题的解决方案
在本发明的第一实施例中，提供了一种用于操作远程用户接口(UI)客户端的方法，所述方法包括：建立与UI服务器的第一连接；在第一连接上接收文件；关断第一连接；运行文件，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；以及基于第二指令，建立与UI服务器的第二连接。
在本发明的第二实施例中，提供了一种用于操作远程用户接口(UI)服务器的方法，所述方法包括：建立与UI客户端的第一连接；在第一连接上发送文件给UI客户端，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；关断第一连接；从UI客户端接收用于持久连接的请求；以及与UI客户端建立第二连接，其中，所述第二连接是持久连接。
在本发明的第三实施例中，提供一种装置，包括：处理器；接口；以及UI客户端，其中，UI客户端被配置为：经由接口来建立与UI服务器的第一连接；通过接口来在第一连接上接收文件；关断第一连接；通过使用处理器执行来自文件的指令来运行文件，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；以及基于第二指令，经由接口来建立与UI服务器的第二连接。
在本发明的第四实施例中，提供一种装置，包括：处理器；接口；以及UI服务器，其中，UI服务器被配置为：经由接口来建立与UI客户端的第一连接；通过接口来在第一连接上向UI客户端发送文件，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；关断第一连接；经由接口，从UI客户端接收用于持久连接的请求；经由接口，与UI客户端建立第二连接，其中，所述第二连接是持久连接；以及通过使用处理器，直接在UI客户端上编辑文件，以生成在接口上发送的指令。
在本发明的第五实施例中，提供一种通过机器可读的程序存储装置，其实际体现通过机器可以执行的指令的程序，以执行用于操作远程用户接口(UI)客户端的方法，所述方法包括：建立与UI服务器的第一连接；在第一连接上接收文件；关断第一连接；运行文件，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；以及基于第二指令，建立与UI服务器的第二连接。
在本发明的第六实施例中，提供一种通过机器可读的程序存储装置，其实际体现通过机器可以执行的指令的程序，以执行用于操作远程用户接口(UI)服务器的方法，所述方法包括：建立与UI客户端的第一连接；在第一连接上发送文件给UI客户端，其中，所述文件包含关于如何操作用户接口的第一指令和关于建立与UI服务器的持久连接的第二指令；关断第一连接；从UI客户端接收用于持久连接的请求；以及与UI客户端建立第二连接，其中，所述第二连接是持久连接。
附图说明
图1是示出了根据本发明实施例的，用于远程UI合作的系统的框图。
图2是示出了根据本发明实施例的，当采用后续步骤时的图1的系统的框图。
图3是示出了根据本发明的一个实施例的，当采用后续步骤时的图2的系统的框图。
图4是示出了根据本发明的可选实施例的，当采用后续步骤时的图2的系统的框图。
图5a至图5d是示出了根据本发明实施例的，用于合作UI的修改的方法的流程图。
图6是示出了根据本发明实施例的，用于操作远程用户接口客户端的方法的流程图。
图7是示出了根据本发明实施例的，用于操作远程用户接口服务器的方法的流程图。
具体实施方式
现在将详细参考本发明的特定实施例，所述实施例包括发明人用于执行本发明而实现的最佳模式。这些特定实施例的示例在所附附图中示出。虽然本发明结合这些特定的实施例来描述，但是应该理解的是，本发明不应该受限于所描述的实施例。另一方面，本发明旨在覆盖如可在所附权利要求所限定的本发明的精神和范围内所包括的替代、修改和等价物。在以下的描述中，对特定的细节进行阐述以提供对本发明的完整的理解。本发明可以在不具有这些特定细节中的一些或者完全不具有这些特定细节的情况下来实现。此外，可以不对公知的特征进行详细描述，以避免对本发明的不必要的混淆。
根据本发明，可以使用各种的操作系统、编程语言、计算平台、计算机程序、和/或通用机来实现组件、处理步骤、和/或数据结构。此外，本领域的技术人员应该认识到，在不脱离在此公开的本发明概念的范围和精神的情况下，也可以使用诸如硬线装置、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等的非通用目的的装置。本发明也可以被实际体现诸如存储器装置的在计算机可读介质上存储的计算机指令的集合。
在本发明的一个实施例中，向基于网络的UI模型提供了扩展，以适应从UI服务器到UI客户端的软件栈的迁移。
在当前的UI模型中，远程UI客户端负责执行如下的文件，其包括服务器应用逻辑和需要的客户端侧终端用户UI行为这两者。在该种模型中，远程UI服务器经常被归类为简单地向远程UI客户端提供信息的后端数据库的角色。
在本发明的实施例中，提供了合作模型。在合作模型中，即使在UI客户端加载文件之后，UI服务器仍连续地与UI客户端交互。加载到UI客户端中的初始文件可以包含使得UI客户端请求与UI服务器的持久连接的代码。在UI客户端和UI服务器之间的命令和响应然后可以被在该连接上进行发送。
在本发明的一个实施例中，服务器可以诸如，通过修改在该文件中包含的可扩展超文本标记语言(XHTML)/可缩放矢量图形(SVG)标记元素，而直接地提交、删除、和/或修改文件。换言之，UI服务器可以直接编辑文件的元素。这允许可以比典型的远程UI系统更多地利用UI服务器来进行控制，虽然该特定实施例可能需要UI服务器能够以元素的底层语言(underlying language)来编辑元素(例如，必须包含足够的关于XHTML/SVG的知识以编辑XHTML/SVG元素)。
在可选的实施例中，服务器可以提交、删除、和/或修改绘图图元(drawingprimitives)，其可以被客户端转换为声明式(declarative)元素，诸如XHTML/SVG标记元素。在该实施例中，客户端可以维持在提交的绘图图元和生成的XHTML/SVG元素之间的映射。换言之，UI服务器可以直接编辑文件的元素。该特定的实施例放弃了前述实施例的某些直接控制，但是其不需要UI服务器能够以元素的底层语言来对元素进行编辑。
UI服务器还可以提交脚本(scripting)对象(例如，EXMAScript对象)以允许客户端控制和/或修改所提交的绘图图元和声明式元素的属性，以及允许其处理用户输入事件。
在本发明的可选实施例中，在标记语言的背景下，通过使用文件对象模型(DOM)核心接口，服务器可以直接访问和/或修改在客户端上运行的DOM树。DOM树是文件的元素的分层表示。直接修改DOM树的能力向UI服务器提供了空前水平的控制。
图1是示出了根据本发明的实施例的，用于远程UI合作的系统的框图。在此，远程UI客户端装置(诸如，数字电视100)包含网络浏览器应用102以及UI客户端104。应该注意，虽然在图1中描述的是数字电视100，但是本领域的技术人员应该认识到，UI客户端可以位于任何种类的装置上，并且除非特别说明，否则权利要求不应该受限于数字电视。此外，网络浏览器应用102仅仅是能够利用经由UI客户端下载的文件的应用的一个示例。本领域的普通技术人员应该认识到，也可以使用其他应用来运行文件，并且除非特别说明，否则权利要求不应该受限于网络浏览器。出于本公开的目的，术语“客户端用户代理”应该被理解为各种种类的客户端UI应用中的任何一种。
家庭网络106可以将UI客户端104连接到在远程UI服务装置(诸如机顶盒110)上运行的UI服务器108。机顶盒110可以额外地包括机顶盒应用112，其提供由机顶盒作为主机供给的服务。虽然未指出，但远程UI客户端装置100和远程UI服务装置110两者都可以包含处理器和接口。处理器可以被用于执行与在本公开中所描述的处理相关的各种指令，而接口被用于在远程UI客户端装置100和远程UI服务器装置110之间进行通信。与网络浏览器相似，机顶盒应用仅仅是能够生成和/或修改文件的应用的一个示例。本领域的普通技术人员应该认识到其他的应用也可以用于这些目的，并且除非特别说明，否则权利要求不应该受限于机顶盒应用。出于本公开的目的，术语“主机软件(host software)”应该被理解为这些多种种类的服务器UI应用中的任何一种。
同样在图1中所示的是，网络浏览器应用102请求文件。该请求被传递到UI客户端104。UI客户端104然后建立与UI服务器108的连接。该连接的建立可以根据工业标准来执行。应该注意的是，连接的建立通常涉及在UI客户端和UI服务器上都发生的动作，因此应该看做是UI客户端、或者UI服务器、或者其两者执行了建立连接的动作。当描述UI客户端建立连接时，假设的是，其涉及在需要建立连接的UI客户端侧上执行的动作。同样，当描述UI服务器建立连接时，假设的是，其涉及在需要建立连接的UI服务器侧上执行的动作。
UI客户端104在第一连接上从UI服务器108请求文件(例如，CE-HTML页)。UI服务器108向主机软件(机顶盒应用112)通知试图到应用的连接。UI服务器108通过生成响应文件和将该文件传递到UI客户端104来对UI客户端请求进行响应，其中，UI客户端104将文件递送到网络浏览器应用102。然后，UI客户端104可以关断到UI服务器108的连接。
在此，网络浏览器应用102已经接收了文件，并且在UI客户端和UI服务器之间的连接已经被关断。图2是示出了根据本发明的实施例的，当采用后续的步骤时的图1的系统的框图。如可以从该图中查看到地，文件200包含特定代码202，其被设计成用于使网络浏览器应用102使UI客户端104建立与UI服务器108的新连接。
如在该专利文件中使用的术语“持久连接”应该被理解为意指在初始数据传送之后仍保持开启的任何连接。虽然这可以包括在UI客户端和UI服务器之间存在连续数据传送的连接，但是不需要为了使得连接看起来是透明的，而使得连接保持持续地繁忙。仅仅需要连接对于后续的数据传送保持开启就已经是足够的(例如，当发生数据传送时，不需要再次执行链路协商)。
UI服务器108还可以请求UI客户端104提供诸如屏幕分辨率的装置能力，以使得机顶盒应用112可以更好地在后续的步骤中构思对文件的任何修改。
此时，第二连接，即，持久连接已经在UI客户端104和UI服务器108之间建立。图3是示出了根据本发明的一个实施例的，当采用后续步骤时的图2的系统的框图。在该实施例中，机顶盒应用112希望修改在数字电视100上的UI。首先，机顶盒应用112生成新的绘图图元/绘图组命令，并且将其传递给UI服务器108。UI服务器108将这些命令转换为由文件支持的格式，诸如XHTML/SVG标记命令。UI服务器108然后将这些转换的命令传递给UI客户端104，其然后直接地更新文件，或者通过修改与文件相关的DOM树300来更新文件。
图4是示出了根据本发明的可选实施例的，当采用后续步骤时的图2的系统的框图。在该实施例中，机顶盒应用112再次希望修改在数字电视100上的UI，但是在此，替代在UI服务器108处执行绘图图元/绘图组命令的转换，在UI客户端104处发生转换，其调用远程应用代理400来执行转换，并且将新的标记插入到DOM树中。远程应用还可以保持绘图图元/绘图组命令和其相应的XHTML/SVG标记命令的映射402，以辅助转换处理。
在本发明的另一个实施例中，绘图图元/组可以与脚本处理器(handler)相关联，诸如与在提交给客户端的ECMAScript分组(package)中包含的ECMAScript事件处理器相关联。通过直接修改绘图组或者XHTML/SVG标记，客户端ECMAScript可以处理事件。客户端可以向服务器发送消息，服务器可以生成、修改、和/或选择提交的绘图图元/组或者XHTML/SVG标记。
图5a至图5d是示出了根据本发明实施例的，用于合作UI修改的方法的流程图。参考图5a，在500处，客户端用户代理可以从UI客户端请求文件。客户端用户代理可以例如是与网络浏览器相似的网络应用，但是在实施例中客户端用户代理是其他种类的应用也是可能的。在502处，UI客户端建立与UI服务器的第一连接。在504处，UI客户端从UI服务器请求文件。在506处，UI服务器接收请求，并且向主机软件通知连接尝试。这可以是由服务器作为主机提供的任何应用，诸如，机顶盒应用。
在508处，UI服务器从主机软件接收文件。在510处，UI服务器然后可以将文件递送到UI客户端。在512处，UI客户端将文件发送到客户端用户代理。在514处，UI客户端关断到UI服务器的第一连接。
在516处，客户端用户代理加载文件。文件可以包含当执行时使得UI客户端请求与UI服务器的持久连接的元素。这可以包括，例如，具有类型＝“应用/远程_应用”的<对象>元素。<对象>元素还可以包含用于服务器的细节，以使用<param(参数)>子元素来识别连接请求。<对象>元素可以使得建立在UI客户端中的脚本对象可以被调用。在518处，脚本对象可以建立与UI服务器的第二连接，诸如传输控制协议(TCP)连接，并且识别和验证到UI服务器的连接请求。在本发明的一个实施例中，从UI服务器到UI客户端的请求和响应可以在UI客户端和UI服务器之间建立的连接上，通过使用简单对象访问协议(SOAP)协议来执行。
在520处，UI服务器可以发送询问到UI客户端，以获取UI客户端的能力。在522处，UI客户端可以发送回关于UI客户端的能力的信息。该信息允许文件应用足够了解装置以及在UI客户端上运行UI的应用，以对于如何修改UI进行智能的决定。在524处，UI客户端可以继续处理文件的其他部分。
此时，在526处，UI服务器(和UI客户端)具有如何更新UI的许多选项，其可以在作为持久连接的第二连接上在任何时候执行。在图5b-图5d中示出了一些可选的示例。参考图5b，可选示例的第一组与更新客户端UI状态的服务器相关。在528处，UI服务器可以提交绘图图元，其在UI客户端处被转换为文件协议。在530处，UI服务器可以通过直接在文件或者在与文件相关的DOM树中使属性变化，来修改之前提交的绘图图元/组的属性，诸如颜色和可见度。在532处，UI服务器可以提交或者更换文件标记元素自身。在534处，UI服务器可以添加或者移除之前提交的标记元素的属性。在536处，UI服务器可以变化之前提交的标记元素的特征值。
参考图5c，可选示例的第二组与将脚本分组提交给客户端的服务器相关。在538处，UI服务器可以直接调用ECMAScript方法以运行在UI客户端。在540处，UI服务器可以捕获ECMAScript方法来处理与提交的绘图图元/组或者提交的XHTML/SVG标记相关的客户端事件。这可以包括提交用于客户端运行的ECMAScript例行程序(routine)，其将引导客户端向ECMAScript例程(route)发送所选的事件。然后，ECMAScript例行程序事件处理器可以处理本地获取的事件，或者通知UI服务器。在UI客户端上运行的ECMAScript方法可以将消息发送到服务器。
可选示例的第三组与更新其自身的UI状态的客户端有关。在542处，之前提交的绘图图元/组的诸如颜色和可见度的属性可以通过UI客户端来修改。在544处，用于之前的提交的标记的特征值可以通过UI客户端来变化。在546处，XHTML/SVG标记可以通过UI客户端来提交或者变化。
参考图5d，可选示例的第四组与事件处理相关。在548处，在UI客户端上发生的事件通过在被分配给事件的UI客户端上的ECMAScript处理器来处理。在550处，UI客户端可以相对于步骤542-546而如上所述地在本地处理事件和修改客户端UI。可选地，在552处，UI客户端可以将消息发送到使用ECMAScript方法的服务器，并且服务器可以相对于步骤528-536而如上所述地修改文件。
如上所述，绘图图元/组命令可以被从UI服务器发送到UI客户端，并且通过客户端用户代理而被转换为与在UI客户端的文件格式兼容的标记命令。在该模型中，图形绘制应用程序接口(API)可以被提供给UI服务器。因为通过服务器发出命令，所以其被转换为与UI客户端相兼容的命令。然后，UI客户端可以将该图形绘图命令转换为相应的标记命令。远程应用代理可以保持在图形绘图命令和所产生的标记命令之间的映射，以允许服务器随后修改被绘制的图形对象的属性。虽然这对UI客户端提出了更多地要求，但是其导致服务器侧的API会更接近于典型的机顶盒应用被期待编码为的样子。
UI服务器可以使用绘图图元(诸如，圆、直线、三角形、曲线、和路线，以及敲击和填充属性)，以在客户UI装置上绘图。在客户端UI装置上运行的代理将这些图元转换为可接受的标记语言，并且将标记插入到客户端装置DOM树中。还可以使用用于图元的绘图组。绘图组限定了被当做单个单元来对待的图形命令的集合。可以向这些组的每个分配“z顺序(z-order)”，其指示分层中的等级。每个组可以被做成可视的或者不可视的，并且可以被翻译/旋转/缩放/渐显/渐隐。
图6是示出了根据本发明实施例的，用于操作远程用户接口客户端的方法的流程图。所述方法可以在家庭网络中的、诸如显示装置的客户端装置上执行。在600处，利用UI服务器来建立第一连接。在602处，在第一连接上接收文件。在604处，关断第一连接。在606处，运行文件。文件可以包括关于如何操作用户接口的第一指令，以及关于建立与UI服务器的持久连接的第二指令。第一指令可以包括当运行时，可以使UI客户端中的脚本对象被调用的对象。在608处，基于第二指令来建立与UI服务器的第二连接。其可以包括向UI服务器发送UI客户端能力。
图7是示出了根据本发明实施例的，用于操作远程服务器的方法的流程图。该方法可以在家庭网络中，在诸如机顶盒的服务器装置上执行。在700处，建立与UI客户端的第一连接。在702处，在第一连接上将文件发送给UI客户端，其中，文件包括关于如何操作用户接口的第一指令，以及关于建立与UI服务器的持久连接的第二指令。在704处，关断第一连接。在706处，从UI客户端接收用于持久连接的请求。在708处，建立与UI客户端的第二连接，其中，第二连接是持久连接。
描述的实施例的各种方面、实施例、执行方式、或者特征可以被单独地使用或者以其的任意组合来使用。所描述的实施例的各种方面可以通过软件、硬件、或者软件和硬件的组合来实现。所描述的实施例还可以被实现为在计算机可读介质上的计算机可读代码。计算机可读介质被定义为可以存储其后可以通过计算机系统来读取的数据的任何数据存储装置。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、以及光学数据存储装置。计算机可读介质还可以分布在网络耦接的计算机系统上，使得计算机可读代码可以以分布的形式来存储和执行。
虽然仅仅详细描述了本发明的几个实施例，但是应该理解，在不脱离本发明的精神或者范围的情况下，可以以许多其他形式来执行本发明。因此，本发明应该被认为是示例性的而不是限制性的，并且本发明不限于在此给出的细节，而是可以在所附权利要求的范围和等价物内进行修改。

Claims (16)

1.一种用于操作远程用户接口(UI)客户端的方法，所述方法包括：
建立与UI服务器的第一连接；
通过第一连接接收文件，其中所述文件包含关于与所述UI服务器建立持久连接的指令；
关断第一连接；
基于所述指令建立与所述UI服务器的第二连接，所述第二连接是持久连接；
通过第二连接发送UI客户端能力；以及
如果选择多个选项当中的一个选项，则基于所选择的选项执行操作，每个选项与所述UI的更新关联，以及所述多个选项包括至少一个基于UI服务器的选项以及至少一个基于UI客户端的选项，在基于UI服务器的选项中UI服务器更新所述UI，在基于UI客户端的选项中UI客户端更新所述UI，
其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述基于所选择的选项执行操作包括；
从所述UI服务器接收与对UI的修改关联的命令，所述修改基于所述UI客户端能力；以及
基于所述命令执行操作。
2.如权利要求1所述的方法，
其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述命令是绘图图元；以及
所述基于所述命令执行操作包括：
将所述绘图图元变换为与文件兼容的语言；以及
将转换的绘图图元应用到文件中。
3.如权利要求2所述的方法，其中，所述基于所述命令执行操作还包括：
保持绘图图元与转换的绘图图元之间的映射。
4.如权利要求1所述的方法，其中，如果选择所述至少一个基于UI客户端的选项当中的一个选项，则所述基于所选择的选项执行操作还包括：
修改由所述UI服务器先前提交的绘图图元的属性。
5.如权利要求1所述的方法，其中，如果选择所述至少一个基于UI客户端的选项当中的一个选项，则所述基于所选择的选项执行操作还包括：
改变用于文件的特征值。
6.如权利要求1所述的方法，其中，如果选择所述至少一个基于UI客户端的选项当中的一个选项，则所述基于所选择的选项执行操作还包括：
检测事件；
响应于事件调用事件处理器，其中，所述事件处理器直接导致对于文件的更新。
7.如权利要求1所述的方法，其中，如果选择所述至少一个基于UI客户端的选项当中的一个选项，则所述基于所选择的选项执行操作还包括：
检测事件；
响应于事件调用事件处理器，其中，所述事件处理器发送消息到所述UI服务器，使得所述UI服务器直接导致对于文件的更新。
8.一种用于操作远程用户接口(UI)服务器的方法，所述方法包括：
建立与UI客户端的第一连接；
通过第一连接发送文件到UI客户端，其中所述文件包含关于与所述UI服务器建立持久连接的指令；
关断第一连接；
从UI客户端接收对于持久连接的请求；
与所述UI客户端建立第二连接，其中第二连接是持久连接，
通过第二连接接收UI客户端能力；以及
如果选择多个选项当中的一个选项，则基于所选择的选项执行操作，每个选项与所述UI的更新关联，以及所述多个选项包括至少一个基于UI服务器的选项以及至少一个基于UI客户端的选项，在基于UI服务器的选项中UI服务器更新所述UI，在基于UI客户端的选项中UI客户端更新所述UI；以及
其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述基于所选择选项执行操作包括：
执行与对UI的修改关联的操作，所述修改基于所述UI客户端能力；以及
发送与和所述修改关联的操作关联的命令到所述UI。
9.如权利要求8所述的方法，其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述执行与修改关联的操作操作还包括：
通过第二连接直接编辑位于所述UI客户端的DOM树。
10.如权利要求8所述的方法，其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述执行与修改关联的操作操作还包括：
通过第二连接直接修改网页的标记元素特征。
11.如权利要求8所述的方法，其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述基于所选择的选项执行操作还包括：
发送脚本分组到所述UI客户端；以及
通过第二连接直接调用所述脚本分组。
12.如权利要求8所述的方法，其中，如果选择所述至少一个基于UI客户端的选项当中的一个选项，则所述基于所选择的选项执行操作还包括：
在UI客户端上从事件处理器接收消息，以向UI服务器通知事件的发生；以及响应于所述消息的接收，通过第二连接在所述UI客户端上直接编辑所述文件。
13.一种远程用户接口(UI)客户端装置，包括：
处理器；
接口；以及
UI客户端，其中所述UI客户端被配置为：
经由所述接口建立与UI服务器的第一连接；
通过所述接口通过第一连接接收文件，其中所述文件包含关于与所述UI服务器建立持久连接的指令；
关断第一连接；
基于所述指令建立与所述UI服务器的第二连接，所述第二连接是持久连接；
通过第二连接发送UI客户端能力；以及
如果选择多个选项当中的一个选项，则基于所选择的选项执行操作，每个选项与所述UI的更新关联，以及所述多个选项包括至少一个基于UI服务器的选项以及至少一个基于UI客户端的选项，在基于UI服务器的选项中UI服务器更新所述UI，在基于UI客户端的选项中UI客户端更新所述UI，
其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述UI客户端被配置为；
从所述UI服务器接收与对UI的修改关联的命令，所述修改基于所述UI客户端能力；以及
基于所述命令执行操作。
14.如权利要求13所述的远程UI客户端装置，其中，所述远程UI客户端装置是显示设备。
15.一种远程用户接口(UI)服务器装置，包括：
处理器；
接口；以及
UI服务器，其中所述UI服务器被配置为：
建立与UI客户端的第一连接；
通过第一连接发送文件到所述UI客户端，其中所述文件包含关于与所述UI服务器建立持久连接的指令；
关断第一连接；
从UI客户端接收对于持久连接的请求；
与所述UI客户端建立第二连接，其中第二连接是持久连接，
通过第二连接接收UI客户端能力；以及
如果选择多个选项当中的一个选项，则基于所选择的选项执行操作，每个选项与所述UI的更新关联，以及所述多个选项包括至少一个基于UI服务器的选项以及至少一个基于UI客户端的选项，在基于UI服务器的选项中UI服务器更新所述UI，在基于UI客户端的选项中UI客户端更新所述UI，
其中，如果选择所述至少一个基于UI服务器的选项当中的一个选项，则所述UI服务器被配置为：
执行与对UI的修改关联的操作，所述修改基于所述UI客户端能力；以及
发送与和所述修改关联的操作关联的命令到所述UI。
16.如权利要求15所述的远程UI服务器装置，其中，所述远程用户UI服务器装置是机顶盒。
CN201710751119.6A 2010-06-04 2011-06-03 远程用户接口合作应用 Expired - Fee Related CN107402771B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/794,641 2010-06-04
US12/794,641 US8856651B2 (en) 2010-06-04 2010-06-04 Remote user interface cooperative application
CN2011800273200A CN102918799A (zh) 2010-06-04 2011-06-03 远程用户接口合作应用

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2011800273200A Division CN102918799A (zh) 2010-06-04 2011-06-03 远程用户接口合作应用

Publications (2)

Publication Number Publication Date
CN107402771A CN107402771A (zh) 2017-11-28
CN107402771B true CN107402771B (zh) 2020-10-27

Family

ID=45065446

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2011800273200A Pending CN102918799A (zh) 2010-06-04 2011-06-03 远程用户接口合作应用
CN201710751119.6A Expired - Fee Related CN107402771B (zh) 2010-06-04 2011-06-03 远程用户接口合作应用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2011800273200A Pending CN102918799A (zh) 2010-06-04 2011-06-03 远程用户接口合作应用

Country Status (6)

Country Link
US (1) US8856651B2 (zh)
EP (1) EP2577905A4 (zh)
JP (1) JP5914467B2 (zh)
KR (1) KR101807314B1 (zh)
CN (2) CN102918799A (zh)
WO (1) WO2011152684A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120317504A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Automated user interface object transformation and code generation
US8510461B2 (en) * 2011-09-12 2013-08-13 Microsoft Corporation Network selection for streaming media among multiple devices
CN103826156B (zh) * 2014-03-17 2017-09-19 华为技术有限公司 终端遥控方法、机顶盒、移动终端及网页服务器
CN106301865B (zh) * 2015-06-11 2020-08-04 阿里巴巴集团控股有限公司 应用于服务提供设备的数据处理方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007149052A (ja) * 2005-10-24 2007-06-14 Dainippon Printing Co Ltd 情報提示装置、情報提示方法、及び情報提示処理プログラム
JP2007267102A (ja) * 2006-03-29 2007-10-11 Pioneer Electronic Corp 入力信号表示装置、信号出力装置、入力信号表示システム、及び、遠隔操作方法
CN101120334A (zh) * 2005-01-05 2008-02-06 Divx公司 交互式多信道数据分发系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191463A (ja) 1996-12-24 1998-07-21 Victor Co Of Japan Ltd 電子機器及びその制御方法
JP2002540529A (ja) 1999-03-29 2002-11-26 クォーク・メディア・ハウス・ソシエテ・ア・レスポンサビリテ・リミテ 分散コンピュータ環境のための動的アプリケーションシステム
US7216172B2 (en) * 2001-09-25 2007-05-08 Webex Communications, Inc. Systems and methods for establishing quasi-persistent HTTP connections
US7552136B2 (en) * 2001-10-31 2009-06-23 International Business Machines Corporation Context management super tools and filter/sort model for aggregated display webpages
KR100438724B1 (ko) 2002-06-24 2004-07-05 삼성전자주식회사 원격 사용자 인터페이스를 구동하는 홈 네트워크 시스템및 그 운용 방법
US20050086344A1 (en) 2003-10-15 2005-04-21 Eaxis, Inc. Method and system for unrestricted, symmetric remote scripting
JP2005141360A (ja) 2003-11-05 2005-06-02 Matsushita Electric Ind Co Ltd 遠隔制御システム及び遠隔制御方法
EP1685679B1 (en) 2003-11-13 2013-05-08 Koninklijke Philips Electronics N.V. Consistent user interface front end for remote user interfaces
EP1839177A4 (en) * 2005-01-05 2010-07-07 Divx Inc SYSTEM AND METHOD RELATING TO OFF-SITE USER INTERFACE
JP2006323597A (ja) 2005-05-18 2006-11-30 Toshiba Corp ネットワーク家電制御システム
US20080155663A1 (en) * 2006-12-21 2008-06-26 Knowlson Kenneth L System and method to implement an access control on a home network
KR101446939B1 (ko) 2007-03-30 2014-10-06 삼성전자주식회사 원격 제어 장치 및 그 제어 방법
JP2008282297A (ja) * 2007-05-14 2008-11-20 Ize:Kk クライアント・サーバシステム、ウェブｏｓのプログラム、ウェブｏｓの実行方法
KR101395058B1 (ko) 2008-01-17 2014-05-13 삼성전자주식회사 ＵＰｎＰ 원격 프로토콜을 지원하는 홈 네트워크에서 제3의장치의 이벤트를 처리하는 방법 및 장치
KR101531165B1 (ko) 2008-04-17 2015-06-25 삼성전자주식회사 클라이언트의 특성을 고려한 사용자 인터페이스를 제공, 수신하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120334A (zh) * 2005-01-05 2008-02-06 Divx公司 交互式多信道数据分发系统
JP2007149052A (ja) * 2005-10-24 2007-06-14 Dainippon Printing Co Ltd 情報提示装置、情報提示方法、及び情報提示処理プログラム
JP2007267102A (ja) * 2006-03-29 2007-10-11 Pioneer Electronic Corp 入力信号表示装置、信号出力装置、入力信号表示システム、及び、遠隔操作方法

Also Published As

Publication number Publication date
CN102918799A (zh) 2013-02-06
US8856651B2 (en) 2014-10-07
WO2011152684A2 (en) 2011-12-08
KR20110133453A (ko) 2011-12-12
WO2011152684A3 (en) 2012-02-23
KR101807314B1 (ko) 2017-12-08
JP2013532327A (ja) 2013-08-15
JP5914467B2 (ja) 2016-05-11
EP2577905A2 (en) 2013-04-10
US20110302492A1 (en) 2011-12-08
EP2577905A4 (en) 2014-04-16
CN107402771A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
JP5080554B2 (ja) 代替的グラフィック・セットの効率的な符号化
US7254786B2 (en) System for transmitting and displaying icon resources group associated with remote application to a local computing system to facilitate virtualization of the remote application
US20100077058A1 (en) Sending a remote user interface
EP1922634B1 (en) High level graphics stream
US20050204393A1 (en) Home network server
EP3131303B1 (en) Method and device for transmitting data in intelligent terminal to television terminal
CN105637886A (zh) 用于向客户端提供图形用户界面的服务器，以及客户端
WO2013052207A1 (en) System for sending a file for viewing on a mobile device
CN107402771B (zh) 远程用户接口合作应用
CN107247544A (zh) 使用交互图像优化软件应用用户界面性能
US11809771B2 (en) Orchestrated control for displaying media
CN107124450A (zh) 一种基于html5的远程桌面访问系统及远程桌面访问方法
RU2813837C2 (ru) Система управления графическими объектами
AU2003202442B2 (en) A Client Server Approach for Interactive Updates of Graphical User Interfaces on Intranets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201027