CN104081333A - 包括均描绘图形用户界面的区域的输入镜头的远程显示区 - Google Patents

包括均描绘图形用户界面的区域的输入镜头的远程显示区 Download PDF

Info

Publication number
CN104081333A
CN104081333A CN201280068639.2A CN201280068639A CN104081333A CN 104081333 A CN104081333 A CN 104081333A CN 201280068639 A CN201280068639 A CN 201280068639A CN 104081333 A CN104081333 A CN 104081333A
Authority
CN
China
Prior art keywords
camera lens
computing device
input
input camera
gui
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280068639.2A
Other languages
English (en)
Inventor
基思·A·菲什
拜伦·A·奥尔康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN104081333A publication Critical patent/CN104081333A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0383Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文所公开的示例涉及包括输入镜头的远程显示区,每个输入镜头描述图形用户界面的区域。示例包括响应于利用远程计算装置在具有输入焦点的输入镜头内检测到图形用户界面(GUI)输入事件,在本地计算装置的GUI的位置处在GUI的被描绘在具有输入焦点的输入镜头中的区域内调用GUI输入事件。

Description

包括均描绘图形用户界面的区域的输入镜头的远程显示区
背景技术
诸如台式计算机、笔记本计算机或平板计算机之类的计算装置可提供图形用户界面(GUI),用于使用户与计算装置的内容进行交互。此类计算装置能使用户通过使用至少一种输入装置(如鼠标、键盘或类似的输入装置)与图形用户界面所显示的对象交互。在一些示例中,可以利用另一装置远程访问计算装置,以浏览并与该计算装置的图形用户界面进行交互。
附图说明
下面的详细描述将参考附图来进行,其中:
图1是用于向远程计算装置提供综合显示信息的示例性本地计算装置的框图;
图2A是用于在远程计算装备显示远程显示区的示例性计算系统的示意图;
图2B是图2A的示例性计算系统的示意图,显示了在远程显示区的输入镜头之一的视图操作动作之后的远程显示区;
图2C是图2B的示例性计算系统的示意图,其中输入事件被接收在远程显示区中具有输入焦点的输入镜头内;
图2D是图2C的示例性计算系统的示意图,其中另一输入事件被接收在远程显示区中具有输入焦点的另一输入镜头内;
图2E是图2D的示例性计算系统的示意图,其中输入事件被接收在当输入镜头具有输入焦点时显示的输入镜头内;
图2F是图2D的示例性计算系统的示意图,其中远程显示区的输入镜头在具有输入焦点时具有较大的尺寸;
图2G是图2D的示例性计算系统的示意图,其中多个镜头配置文件之一的选择由远程计算装置接收;
图2H是图2G的示例性计算系统的示意图,其中输入事件被接收在所选择的镜头配置文件的输入镜头内;
图3是包括用于从远程计算装置接收镜头配置文件的选择的本地计算装置的配置模块的示例性计算系统的框图;
图4是用于基于从本地计算装置接收的综合显示信息在远程计算装置显示远程显示区的示例性方法的流程图;以及
图5是利用远程计算装置检测焦点选择动作的示例性方法的流程图。
具体实施方式
正如上面提到的,可以利用另一装置远程访问计算装置,以浏览并与该计算装置的图形用户界面(GUI)进行交互。例如,可以利用远程计算装置通过计算机网络访问本地计算装置的应用程序,以浏览并与本地计算装置的GUI进行交互。在一些示例中,本地计算装置可以是具有大型的高分辨率显示器并包括视觉上复杂的应用程序的专业工作站,其中应用程序利用高分辨率显示器通过显示多个控制特征(如除待操作的内容之外的图标、菜单、对话框等等),来实现更好的用户工作效率。
然而,许多远程计算装置的显示器与这种工作站显示器相比要么分辨率较低,要么外形更小,或两者兼具。例如,平板计算机的显示器与专业的工作站计算装置的显示器相比外形小,分辨率也更低。在一些示例中,外形较小、分辨率较低的远程计算装置显示器不能输出本地计算装置的、大小和清晰度足以使用户能够有效地利用本地计算装置的视觉上复杂的应用程序的GUI。在远程计算装置上未显示本地计算装置的整个GUI,而是远程计算装置可以显示GUI的选择部分。这种示例中,该选择部分可以被操作(例如,平移、缩放),以便每次浏览GUI的一块不同区域。然而,针对上述视觉上复杂的应用程序而使用这样的部分界面,可导致用户在往返于待操作的应用程序内容与诸如图标、菜单等应用程序控制之间进行过多的平移和缩放操作。
为解决这些问题,本文描述的示例提供一种远程访问系统,该远程访问系统提供远程计算装置可用的综合显示信息,以显示包括多个输入镜头的远程显示区,多个输入镜头各自描绘本地计算装置的GUI的相应区域。在这样的示例中,每个输入镜头可以被操作为独立于其他输入镜头而改变在该输入镜头中描绘的GUI区域。同时,在本文描述的示例中,在任意输入镜头内接收到的输入事件可以在本地计算装置处在GUI的被描绘在该输入镜头中的区域中被调用。在这样示例中,应用程序内容可以以相对较高分辨率被显示在一个输入镜头中,而选择的应用程序控制区(例如,工具栏等)同时也可以以相对较高的分辨率被显示在不同的输入镜头中。
这样的示例中,应用程序内容和应用程序控制区的部分可同时以相对较高的分辨率可视。同时,在一些示例中,输入镜头可以独立操作,所以例如平移一个镜头不改变在其他任何镜头中描绘的GUI区域。在这样的示例中,用户交互可以在应用程序内容和应用程序控制之间交替,而没有过多的视域变化(例如,平移、缩放等)。以这种方式,本文描述的示例可以提供一种系统,在此系统中,可以利用远程计算装置的低分辨率显示器,来访问本地计算装置的视觉上复杂的应用程序,而无需为了提供为低分辨率显示器(如,平板显示器)定制的低分辨率用户界面而重写该应用程序。
现参照附图,图1是用于向远程计算装置提供综合显示信息的示例性本地计算装置100的框图。如本文所用,“计算装置”可以是台式机或笔记本计算机、工作站、服务器、平板计算机、移动电话、智能装置或任何其他处理装置或设备。在图1的示例中,本地计算装置100包括处理器101,网络接口108,以及用指令122、124和126编码的机器可读存储介质120。在一些示例中,存储介质120可以包括额外的指令。在其他示例中,本文中关于存储介质120描述的指令122、124、126及任何其他指令都可以从本地计算装置100被远程存储。
如本文所用,“处理器”可以是以下至少一种:中央处理器(CPU),基于半导体的微处理器,图形处理器(GPU),被配置为用于检索并执行指令的场可编程门阵列(FPGA),适用于检索并执行存储在机器可读存储介质上的指令的其他电子电路或者它们的组合。处理器101可以读取、解码并执行存储于存储介质120上的指令,以实现以下描述的功能。在其他示例中,存储介质120的任何指令的功能可以以电子电路的形式实现,可以以编码在机器可读存储介质上的可执行指令的形式实现,或它们的组合。
如本文所用,“机器可读存储介质”可以是用于容纳或存储如可执行指令、数据等之类的信息的任何电子装置、磁性装置、光学装置或其他物理存储装置。例如,本文描述的任何机器可读存储介质可以是以下中的任何一种:随机存取存储器(RAM),闪存,存储驱动器(例如,硬盘),光盘只读存储器(CD-ROM)等或它们的组合。而且,本文所描述的任何机器可读存储介质可以是非暂时性的。
在图1的示例中,本地计算装置100可以包括可以在本地计算装置100上实现GUI的图形用户界面(GUI)模块142。GUI模块142可以生成本地显示信息,并且把本地显示信息存储在本地计算装置100的存储器中。GUI模块142还可在本地计算装置100的整体显示器上或者在连接至本地计算装置100的本地外围接口(例如,本地端口或总线)的显示器上输出该本地显示信息,以显示本地计算装置100的GUI。在一些示例中,本地计算装置100的操作系统(OS)可以包括GUI模块142。在一些示例中,GUI模块142的功能可以以编码在机器可读存储介质上的可执行指令的形式实现,或者以电子电路的形式实现,或它们的组合。
在图1的示例中,指令122可以利用网络接口108将综合显示信息182提供给远程计算机装置。远程计算装置可以利用综合显示信息182,来显示包括多个输入镜头的远程显示区域,多个输入镜头各自描绘本地计算装置100的图形用户界面(GUI)的相应区域。如本文所用,“远程显示区”是由远程计算装置显示的其中描绘本地计算装置的部分GUI的图形区域。例如,远程显示区可以是在远程计算装置显示的其中显示本地计算装置100的部分GUI的窗口。如本文所用,“输入镜头”是远程计算装置的远程显示区中的、与本地计算装置的GUI的区域相关联并且其中描绘GUI的相关区域的图形区。
在一些示例中,综合显示信息182可以作为远程桌面协议的一部分被提供给远程计算装置,其中远程桌面协议用于提供对本地计算装置100的访问。在这样的示例中,远程计算装置可用来查看本地计算装置100的GUI(如桌面)和与GUI进行交互。在本文所描述的示例中,远程计算装置可以是这里描述的任何类型的计算装置。在某些示例中,指令122可持续地根据由GUI模块142生成的本地显示信息得到综合显示信息182,使得远程计算装置能够使用综合显示信息182来持续显示本地计算装置100的GUI的至少一部分。例如,指令122可在本地计算装置100和远程计算装置之间给定的远程桌面会话期间持续提供综合显示信息182。在某些示例中,远程显示区可以是通过远程计算装置的远程桌面协议应用程序显示的、其中通过远程计算装置显示本地计算装置100的GUI的区域的窗口。在某些示例中,综合显示信息182可以是为在远程计算装置中显示而准备的图像数据或其他数据。在其它示例中,远程计算装置能基于综合显示信息182进行至少一些处理,从而生成显示为远程计算装置的远程显示区的信息。
如上所述,指令122通过网络接口108为远程计算装置提供综合显示信息182。如本文所用,“网络接口”是可由计算装置使用来经由包括至少一个计算机网络、至少一个电话网络或它们的组合的通信网络与至少一个其他计算装置之间进行通信的至少一个硬件组件。在某些示例中,合适的计算机网络例如包括局域网(LAN)、无线局域网(WLAN)、虚拟专用网(VPN)、互联网等。
在一些示例中,远程计算装置可通过如鼠标、键盘、远程计算装置的硬件控制(如按钮等)、触控式显示器等的至少一种输入装置接收输入(如用户输入)。在这些示例中,远程计算装置可以检测通过至少一个输入装置中的任何一个输入到远程计算装置的预定义控制动作。预定义控制动作可包括预定义视图操作动作,焦点选择动作,本地选择动作,镜头隐藏动作等。在某些示例中,每一个控制动作可以是任何合适的可从输入装置或输入装置的组合接收的预定义输入或输入序列。例如,如果远程计算装置包括触控式显示器,则至少一些控制动作,如视图操作动作,可以是利用触摸式显示器可检测的相应预定义触摸手势(如,滑动手势、捏的手势等)。在某些示例中,至少一些控制动作可以通过由例如键盘或其它输入装置输入的预定义输入序列调用的菜单输入。
在图1的示例中,响应于在远程计算装置检测到视图操作动作,在与检测到的视图操作动作相关的输入镜头中的任何一个特定输入镜头中,指令124可以改变被描绘的GUI的区域。在这样的示例中,指令124可以改变被描绘在特定输入镜头中的区域,而不改变被描绘在任何其他输入镜头中的GUI的区域。以这种方式,这里所述的示例能够使用户通过视图操作动作改变在任何输入镜头中描绘的GUI的视图,而不改变在任何其他输入镜头中描绘的视图。在本文所描述的示例中,每个视图操作动作是由远程计算装置可检测的相应预定义控制动作。
在一些示例中,响应于检测到视图操作动作,远程计算装置可以向本地计算装置100提供视图输入184,视图输入184指定各自与检测到的视图操作动作相关的视图操作和位置信息。在一些示例中,视图输入184可以是视图操作命令。指令124可以通过网络接口108接收视图输入184并确定被显示的输入镜头中的哪一个与被检测的视图操作动作相关。例如,指令124可以确定与所检测到的视图操作动作相关的特定输入镜头是在视图操作动作的同时具有输入焦点的输入镜头。如本文所用,在给定的时间具有“输入焦点”的输入镜头是被指定在该给定的时间接收输入的镜头。在其他的示例中,指令124可基于位置信息确定与动作相关的特定输入镜头。例如,指令124可以确定,执行动作的输入镜头是与视图操作动作相关的特定输入镜头。
在识别与检测的视图操作动作相关的特定输入镜头后,指令124应用在视图输入184中规定的视图操作,以改变特定输入镜头描绘的GUI的区域。在一些示例中,每个输入镜头与镜头区相关。如本文所用,“镜头区”是用于定义在远程计算装置处相关输入镜头内待描绘的本地计算装置的GUI的区域的信息。在一些示例中,指令124可以通过改变与特定输入镜头相关联的镜头区来应用视图操作(即,改变由镜头区定义的GUI的区域)。
例如,为了运用操作来平移特定的输入镜头,指令124可以改变相关镜头区相对于GUI的位置坐标,同时保持镜头区的尺寸,以有效地移动相关镜头区。作为另一示例,为了运用操作来缩放特定的输入镜头,指令124可以增大(例如,针对缩小操作)或减小(例如,针对放大操作)相关镜头区的尺寸。以这种方式,指令124可以改变被描绘在特定输入镜头中的GUI的区域,而不改变被描绘在任何其他输入镜头中的GUI的区域,这是因为改变与特定输入镜头相关联的镜头区是不会改变任何其他镜头区的。在这样的示例中,在每个输入镜头中描绘的相应视图可以彼此独立地通过视图操作动作在远程计算装置被改变。
如上所述,在一些示例中,远程计算装置可以检测经由至少一个输入装置中的任意一个输入到远程计算装置的预定义控制动作。在这样的示例中,远程计算装置还可以检测输入到远程计算装置的GUI输入事件。如本文所用,“GUI输入事件”是在远程计算装置通过至少一个输入装置接收的输入,其不是远程计算装置可检测的任何预定义控制动作的一部分。示例性GUI输入事件可包括从如鼠标或其他定点装置的输入装置接收的点击事件,从键盘接收的按键,通过触控显示器接收的触摸事件,等等。
例如,鼠标单击可以分别被远程计算装置检测为“向下点击”事件和“向上点击”事件,“向下点击”事件和“向上点击”事件中的每一个如果不是预定义控制动作的一部分,则可以被检测为GUI输入事件。作为另一示例,在远程计算装置的触控显示器上进行的轻击事件(例如,利用手指、触笔等等)可以被远程计算装置分别检测为“向下触摸”事件和“向上触摸”事件,“向下触摸”事件和“向上触摸”事件中的每一个如果不是预定义控制动作的一部分,则可以被检测为GUI输入事件。这里描述的示例中,被远程计算装置检测到的GUI输入事件的类型可根据远程计算装置的类型、与远程计算装置一起使用的输入装置的类型及该远程计算装置的操作系统等中的至少一种改变。
在图1的示例中,响应于当任意给定的输入镜头具有输入焦点时,利用远程计算装置在所显示的输入镜头的该给定的输入镜头内检测到GUI输入事件,指令126可以在本地计算装置100处在GUI的被描绘在给定输入镜头中的区域内调用GUI输入事件。以这种方式,这里描述的示例能够通过在远程计算装置上显示的多个输入镜头中的任何一个,使用户提供GUI输入事件给本地计算装置的GUI。在这样的示例中,当给定的输入镜头具有输入焦点时,输入可以通过该输入镜头被提供给本地计算装置的GUI。
例如,响应于检测到GUI输入事件,远程计算装置可以向本地计算装置100提供至少指定检测到的GUI输入事件的类型和位置的事件信息186。在这样的示例中,指令126可以通过网络接口108接收事件信息186,并且确定位置信息是否指示检测到的GUI输入事件被接收在远程显示区的用于显示具有输入焦点的输入镜头的部分。如果是这样,那么,指令126可以在本地计算装置100处在GUI的被描绘在具有输入焦点的输入镜头中的区域内调用GUI输入事件。
在一些示例中,指令126可以GUI的被描绘在远程显示区(GUI输入事件被接收在此处)中的位置处,调用检测到的GUI输入事件。例如,基于事件信息186中指定的位置(可能是相对于远程显示区的坐标),远程显示区内具有输入焦点的输入镜头的位置以及GUI的位于与具有输入焦点的输入镜头相对应的镜头区内的区域,指令126可以确定调用GUI输入事件的GUI位置。在一些示例中,在确定调用GUI输入事件的GUI位置后,指令126可以通过由操作系统识别的应用程序编程接口(API)消息,在本地计算装置100调用检测到的GUI输入事件。在这样的示例中,该API消息可以指定调用的输入事件的类型(例如,检测的GUI输入事件的类型)和所确定的调用GUI输入事件的GUI位置。
例如,响应于在显示于远程计算装置的远程显示区内检测到点击事件,该远程计算装置可以提供指定点击事件和点击事件的位置的事件信息186给本地计算装置100。如果指令126确定在点击事件的同时在被显示的具有输入焦点的输入镜头内发生点击事件,则指令126可以确定与输入镜头的接收点击事件的位置相对应的GUI位置,并且可以通过API消息调用被确定的GUI位置处的点击事件。
在其他示例中,响应于利用远程计算装置的触控显示器检测到触摸事件,远程计算装置可以提供用于指定触摸事件的位置和类型的事件信息186。在一些示例中,指令126能将触摸事件映射到其他类型的输入,如可从鼠标或其他定点装置接收的输入事件。例如,指令126可以将轻敲事件映射到点击鼠标左键,将保持轻敲事件映射到点击鼠标右键,及将触摸手势(例如,垂直夹挤或展开等)映射到鼠标滚动轮移动,等等。在这样的示例中,响应于指示触摸事件的信息186,指令126可以在本地计算装置100调用与触摸事件映射的事件类型。例如,响应于指示触摸事件的信息186,指令126可以在本地计算装置100的GUI及在上述确定的GUI位置调用鼠标左键点击。在这样的示例中,可以通过API消息调用事件。在一些示例中,本文关于图1描述的功能可以结合本文关于图2A-5中的任何一个描述的功能一起提供。
图2A是用于在远程计算装置250显示远程显示区270的示例性计算系统295的例图。在图2A的示例中,计算系统295包括本地计算装置100,如上述关于图2A所描述的。计算系统295还包括具有接收模块260的远程计算装置250。在一些示例中,接收模块260的功能可以以编码在机器可读存储介质上的可执行指令的形式实现,以电子电路的形式实现,或它们的组合。
如上面关于图1所描述的,本地计算装置100的GUI模块142可生成本地显示信息,以输出在本地计算装置100的本地显示器上。在这样的示例中,本地显示信息可用来在本地显示器显示GUI 170。在图2A的示例中,GUI 170正在显示应用程序102的窗口105。虽然应用程序102可以是任何类型的应用程序,但在图2A的示例中,应用程序102是电路设计应用程序。窗口105包含应用程序内容区和多个控制区。在图2A的示例中,应用程序内容区显示应用程序102可编辑的电路设计。控制区包括含有菜单MU1-MU5的菜单工具栏,包含图标IC1-IC7的另一个工具栏,及用于对象选取的分层目录区。目录区显示可选择的对象OBJ1,对象OBJ1是对象类C2的一部分,对象类C2反过来是对象类C1的一部分。
在图2A的示例中,应用程序102的窗口105的大小被设计为满足为在本地显示器进行显示而生成的GUI 170的框架。在其他的示例中,应用程序102的窗口的尺寸可以更小,使得其他元件的至少部分(例如,桌面,其他窗口,图标,工具栏等)与应用程序102的窗口一起被GUI 170显示。如上面关于图1所描述的,本地计算装置100的指令122可以提供综合显示信息182给远程计算装置250,综合显示信息182可被该远程计算装置250使用,来显示包括多个输入镜头的远程显示区270,其中多个输入镜头各自描绘本地计算装置100的GUI 170的相应区域。远程计算装置250的接收模块260可接收综合显示信息182,并基于信息182生成远程显示区270。在这样的示例中,模块260可以在远程计算装置250的显示器上或者连接到远程计算装置250的显示器上显示远程显示区270。模块260可以显示远程显示区270,使得其成为远程计算装置250的显示器的延伸,或者使得区270相比所有的显示占据较小空间(如图3所示,以下将描述)。
指令122可基于多个镜头区生成综合显示信息182。在一些示例中,指令122可基于一组预定义的镜头区(例如在镜头配置文件中指定的一组镜头区)生成综合显示信息182。在这样的示例中,预定义的这组镜头区可以指示镜头配置文件的每个镜头区的相应尺寸和位置。在图2A的示例中,指令122可基于镜头区111-114生成综合显示信息182,镜头区111-114中的每个镜头区定义GUI 170的不同区域。如图2A所示,窗口105的应用程序内容部分被显示在GUI 170的由镜头区111定义的区域中,窗口105的目录区的一部分被显示在由镜头区112定义的区域中,并且窗口105的工具栏的不同部分被分别显示在由镜头区113和114定义的区域中。
在这种示例中,指令122可生成远程计算装置250可使用以显示包含输入镜头211-213的远程显示区270的综合显示信息182,输入镜头211-213描绘GUI 170的在镜头区111-113中显示的区域。这种示例中,输入镜头211可以描绘在镜头区111中显示的区域,输入镜头212可以描绘在镜头区112中显示的区域,输入镜头213可以描绘在镜头区113中显示的区域。在图2A的示例中,输入镜头211是扩及远程显示区270并且描绘GUI 170的用于显示窗口105应用程序内容部分的区域的内容输入镜头,并且输入镜头212和213中的每个是比内容输入镜头211小并描绘GUI 170的用于显示窗口105的控制部分的相应区域的控制输入镜头。在一些示例中,远程显示区270还包括镜头图标274,镜头图标274代表与镜头区114相关的输入镜头。在图2A的示例中,与镜头区114相关的输入镜头并不显示在远程显示区270中,但是当向其提供输入焦点时其可以显示在远程显示区270中。
通过生成可用来显示远程显示区270的综合显示信息182,这里描述的示例可以使具有显示器(该显示器具有比本地计算装置100的显示器低的分辨率和/或小的尺寸)的远程计算装置250能够以相对于该远程计算装置250的显示器的尺寸和分辨率适合的尺寸显示GUI的选择部分。在一些示例中,指令122可生成综合显示信息182,使得当远程显示区270被显示时,远程显示区270的输入镜头中的至少两个在远程显示区270内重叠。以这种方式,这里描述的示例可以合并GUI 170的若干区域在远程计算装置250的显示。
例如,如图2A所示,指令122可以生成信息182,使得输入镜头211和212在远程显示区270中重叠,并且输入镜头211和213在远程显示区270中重叠。此外,指令122可以生成信息182,使得输入镜头有一个分层顺序。在这样的示例中,指令122可以生成信息182,使得当至少两个输入镜头重叠时,被分层在其他镜头之上的任何一个输入镜头在不具有输入焦点时至少是部分透明的。在一些示例中,位于顶部的输入镜头的部分透明度可以使得能够通过顶部的输入镜头查看下面输入镜头的一部分。
在图2A的示例中,输入镜头211与212重叠,并且输入镜头212被分层在输入镜头211顶部。在这样的示例中,输入镜头212在没有输入焦点时是部分透明的,使得部分输入镜头211通过输入镜头212是可见的,如图2A所示。在一些示例中,被层压在另一个输入镜头之上的输入镜头在具有输入焦点时比没有输入焦点时更不透明。例如,输入镜头213在具有输入焦点时是不透明的,如图2A所示。在这样的示例,被分层在输入镜头211之上的输入镜头213在没有输入焦点时可能是部分透明的。在其他的示例中,当输入镜头213具有输入焦点时,其可能比没有输入焦点时更不透明,但不是完全不透明的。在图2A-3所示的示例中,相比于没有输入焦点的输入镜头,以较粗的线图示具有输入焦点的输入镜头。
在一些示例中,远程计算装置250的接收模块260可检测通过至少一个输入装置输入的预定义的焦点选择动作。在一些示例中,每一个预定义的焦点选择动作可以是可从输入装置或输入装置的组合接收的任何合适的预定义输入或输入序列。例如,如果远程计算装置250包括触控显示器,那么焦点选择动作中的至少一些可以是利用触控显示器可检测的相应预定义触摸手势。在一些示例中,每一个预定义的焦点选择动作可与包括在远程显示区270中的输入镜头的相应一个相关。在这样的示例中,响应于检测到焦点选择动作,模块260可以向本地计算装置100提供输入焦点命令285,该输入焦点命令285用于识别与被检测的焦点选择动作相关的输入镜头。响应于接收输入焦点命令285,指令122可提供输入焦点给在输入焦点命令285中识别的任何一个输入镜头。
在一些示例中,预定义的焦点选择动作可均包括三指轻敲动作,三指轻敲动作是通过在触控显示器(例如,多点触控显示器)上同时轻敲或有序轻击三个手指并随后通过与执行三指轻击的地方相邻的额外轻击来执行的。例如,如图2A所示,预定义的焦点选择动作255可以是通过从右向左的顺序轻击三个手指(例如,右手无名指、中指和食指),然后在轻击动作被执行的地点的左侧位置执行附加轻敲(例如,用食指)被执行的。在其他预定义的焦点选择动作中,附加的轻敲可以在其他地方被执行,诸如,在轻击区域的右边、顶部或者底部。其它预定义的触摸动作包括从左到右的轻击动作而非从右向左的轻击动作。在这样的示例中,包括左到右轻击的多个焦点选择动作可以根据附加轻敲相对于轻击位置的位置被区分开。同时,在一些示例中,包括三手指同步轻敲动作的多个焦点选择动作可以根据附加轻击相对于三手指轻敲的位置的位置被区分开。
在这样的示例中,每一个预定义的焦点选择动作可与输入镜头相关,并且接收模块260响应于检测到预定义的焦点选择动作,可以命令本地计算装置100将输入焦点提供给关联的输入镜头。例如,在图2A的示例中,焦点选择行动255可与输入镜头211相关。在这样的示例,响应于通过触控显示器检测焦点选择动作255,接收模块260可以为本地计算装置100提供用于识别输入镜头211的输入焦点命令285,本地计算装置100作为响应可以提供输入焦点给输入镜头211。
图2B是图2A的示例性计算系统295的例图,显示了在远程显示区270中的一个输入镜头的视图操作动作后显示该远程显示区270。在图2B的示例中,本地计算装置100的指令122响应于输入焦点命令285识别出输入镜头211,为输入镜头211提供输入焦点。在一些示例中,当指令122将输入焦点从一个输入镜头移动到另一个输入镜头时,指令122可以生成综合显示信息182,使得如果远程显示区270被显示,则之前具有输入焦点的输入镜头相对于该输入镜头具有输入焦点时,具有增强透明度、减小尺寸及降低规模中的至少一种。例如,在输入焦点从输入镜头213移动到输入镜头211后,指令122可生成综合显示信息182,使得输入镜头213相对于其具有输入焦点时具有增加的透明度,如图2A和2B所示。在这样的示例,当输入焦点已经移动到输入镜头211时,输入镜头213变得更加透明,并且输入镜头211的部分通过输入镜头213是可见的。
在图2B的示例中,在指令122给输入镜头211提供输入焦点后,接收模块260可以检测视图操作动作。例如,如果远程显示区270被显示在远程计算装置250的触控显示器上,则接收模块260能检测到二指伸展手势,模块260可以确定该手势与放大操作相关。作为响应,模块260可提供指定放大操作的视图操作命令287给本地计算装置100。响应于命令287,本地计算装置100的指令124可以确定输入镜头211是与该命令相关的(因为它有输入焦点),并运用放大操作来改变在输入镜头211中描绘的GUI 170的区域。在一些示例中,指令124可减小与输入镜头211相关的镜头区111的尺寸,来运用放大操作,如图2A和2B所示。在这样的示例中,指令122可以将GUI 170的位于改变的镜头区111内的较小区域缩放为适应大小不会改变的输入镜头211的尺寸。以这种方式,指令124可执行放大操作。放大的输入镜头211可能体现在指令122所生成的信息182中。
在一些示例中,在指令124执行放大操作后,接收模块260可检测另一个视图操作动作。例如,接收模块260可检测与向右平移相关的预定义动作(例如,滑动的动作等)。作为响应,模块260可向本地计算装置100提供指定向右平移操作的另一个视图操作命令287。作为响应,指令124可再次确定输入镜头211因为具有输入焦点而与命令287相关,并运用向右平移操作,来改变被描绘在输入镜头211中的GUI 170的区域。在图2B的示例中,指令124可以改变与输入镜头211相关的镜头区111的坐标,来应用向右平移操作。例如,指令124可相对于GUI 170向右移动镜头区111(如图2B和2C所示),从而改变显示在输入镜头211中的GUI 170区域。在这样的示例中,指令122生成信息182,使得在输入镜头211中描绘的区域就是GUI 170的显示在被改变的镜头区111中的区域。
图2C是图2B中的示例性计算系统295的示意图,其中输入事件被接收在远程显示区270中具有输入焦点的输入镜头内。在图2C的示例中,接收模块260可以检测输入至远程计算装置250的GUI输入事件254。例如,模块260可以通过触控显示器将远程显示区270内的轻敲事件检测为GUI输入事件254。在其他的示例中,GUI输入事件254可以是任何其它合适的输入(例如,鼠标单击等)。
在图2C的示例中,响应于检测到GUI输入事件254,模块260可以向本地计算装置100提供至少指定检测到的GUI输入事件254的类型和位置的事件信息186。在这样的示例中,指令126可以根据信息186确定检测到的GUI输入事件254被接收在具有输入焦点的输入镜头211内。作为响应,指令126可以在本地计算装置100处在GUI 170的被描绘在远程显示区270(GUI输入事件254被接收在此处)中的位置处调用检测到的GUI输入事件。
例如,基于包含在事件信息186中的位置,指令126可以在GUI 170处在位于镜头区111内的与输入镜头211内的位置(在该位置GUI输入事件254被接收)相对应的位置处调用GUI输入事件254。如图2C所示,GUI输入事件254被接收在显示于输入镜头211中的AND门处,并且指令126可以调用GUI 170的被显示在镜头区111中的AND门处的GUI输入事件254。在图2C的示例中,虽然GUI输入事件254被接收在远程显示区270的位置(在该位置输入镜头211和212重叠),但指令126在GUI 170的被描绘在输入镜头211中的区域内调用GUI输入事件254,这是因为该输入镜头在GUI输入事件254的同时具有输入焦点。
图2D是图2C中的示例性计算系统295的示意图,其中,另一个输入事件被接收在远程显示区270中具有输入焦点的另一个输入镜头中。在图2D的示例中,在模块260接收GUI输入事件254后,模块260可以接收与输入镜头212相关的焦点选择动作。响应于检测到焦点选择动作,接收模块260可提供用于识别输入镜头212的输入焦点命令285给本地计算装置100。如图2D所示,响应于用于识别输入镜头212的命令285,指令122可以提供输入焦点给输入镜头212。
在一些示例中,当指令122给输入镜头提供输入焦点时,指令122可生成综合显示信息182,使得如果远程显示区270被显示,则被提供输入焦点的输入镜头相对于该输入镜头没有输入焦点时,具有增加尺寸、增加规模、降低透明度中的至少一种。例如,在输入焦点从输入镜头211移动到输入镜头212后,指令122可生成综合显示信息182,使得输入镜头212相对于没有输入焦点时具有降低的透明度(例如,更模糊),如图2C和2D所示。在一些示例中,在向输入镜头212提供输入焦点之后,输入镜头211通过输入镜头212可能是不可见的。在这样的示例中,当输入焦点从输入镜头212移走时,输入镜头212可再次如其在接收输入焦点之前一样被显示(例如,具有更高的透明度等)。
在图2D的示例中,在指令122提供输入焦点给输入镜头212之后,接收模块260可以检测输入到远程计算装置250的GUI输入事件256,如上面关于图1和图2C所描述的。响应于检测到GUI输入事件256,模块260可以向本地计算装置100提供事件信息186,该事件信息186至少指定了检测到的GUI输入事件256的类型和位置。在这样的示例中,指令126可根据信息186确定检测到的GUI输入事件254被接收在具有输入焦点的输入镜头212内。
作为响应,指令126可以在本地计算装置100处在GUI 170的被描绘在远程显示区270中的位置(在该位置GUI输入事件256被接收)处调用检测到的GUI输入事件256。在图2D的示例中,基于包含在事件信息186中的位置,指令126可以在GUI 170处在镜头区112内的一位置处调用GUI输入事件256,镜头区112内的该位置与输入镜头122内的接收GUI输入事件256的位置相对应。例如,如图2D所示,GUI输入事件256被接收在显示于输入镜头212中的对象OBJ1处,并且指令126可以在GUI 170中的被显示在输入区112中的对象OBJ1处调用GUI输入事件256。尽管GUI输入事件256被接收在远程显示区270的输入镜头211和212重叠的位置,但指令126在GUI 170的被描绘于输入镜头212内的区域内调用GUI输入事件256,这是因为输入镜头212在GUI输入事件256的同时具有输入焦点。
在图2D的示例中,指令122可生成综合显示信息182,使得如果远程显示区270被显示,则代表镜头区之一的镜头图标将替代与该镜头区相关的输入镜头而被显示,当该输入镜头没有输入焦点时。如本文关于没有输入焦点的输入镜头的显示所描述的,镜头图标可以是部分透明的。例如,指令122可生成综合显示信息182,使得代表镜头区114的镜头图标274将替代与镜头区114相关的输入镜头214被显示出来,如果该输入镜头214不具有输入焦点。在这样的示例中,如果输入焦点被提供给输入镜头214,则输入镜头214可以被显示在远程显示区270中。在一些示例中,当相关的输入镜头没有输入焦点时,任何给定的镜头区可以通过远程显示区270中相应的镜头图标来表示,而不是当关联的输入镜头不具有输入焦点时显示该关联的输入镜头。
图2E是图2D中的示例性计算系统295的示意图,其中,输入事件被接收在当有输入焦点时被显示的输入镜头中。在图2E的示例中,在GUI 170处调用GUI输入事件256后,如上面关于图2D所描述的,模块260可以接收与输入镜头214相关的焦点选择动作。响应于检测到焦点选择动作,接收模块260可向本地计算装置100提供用于识别输入镜头214的输入焦点命令285。响应于命令285,指令122可向输入镜头214提供输入焦点,如图2E所示。在这种示例中,响应于向输入镜头214提供输入焦点,指令122可生成综合显示信息182,使得如果远程显示区270被显示,则与镜头区114相关的输入镜头214代替镜头图标274被显示在远程显示区中。在这样的示例中,输入镜头214可被显示为具有输入焦点的输入镜头(例如,其可能比不具有输入焦点的输入镜头更模糊)。如图2E所示,输入镜头214可以描绘GUI 170的被显示在镜头区114中的区域。
在图2E的示例中,模块260可接收预定义控制动作,诸如可被执行为隐藏远程显示区270的输入镜头的预定义镜头隐藏动作。作为响应,模块260可向本地计算装置100提供隐藏命令288。响应于隐藏命令288,指令122可生成综合显示信息182,使得如果远程显示区270被显示,则先前被显示的输入镜头不被显示在远程显示区270中。例如,响应于隐藏命令288,指令122可以隐藏最后的输入镜头,以在当前具有输入焦点的输入镜头之前具有输入焦点。在这样的示例中,响应于隐藏命令288,指令122可生成信息182,使得先前具有输入焦点的输入镜头212不被显示在远程显示区270中,如图2E所示。在其他示例中,响应于命令288,另一输入镜头可以被隐藏。在一些示例中,镜头隐藏动作可包括在触控显示器上连续快速执行两次的三指敲击动作。在其他的示例中,镜头隐藏动作可以是如上所述的任何合适的预定义控制动作。
在图2E的示例中,在指令122给输入镜头214提供输入焦点后,接收模块260可以检测输入到远程计算装置250的GUI输入事件258,如上面关于图1和图2C所描述的。作为响应,模块260可以向本地计算装置100提供事件信息186,该事件信息186至少指定被检测到的GUI输入事件258的类型和位置。在这样的示例中,指令126可能根据信息186确定检测到的GUI输入事件258被接收在具有输入焦点的输入镜头214内。作为响应,基于包含在事件信息186中的位置,指令126可以在GUI 170处在镜头区114内的一位置处调用GUI输入事件258,镜头区114内的该位置与镜头区214的接收GUI输入事件258的位置相对应。例如,如图2E所示,GUI输入事件258被接收在描绘于输入镜头214中的图标IC7,而且指令126可以在GUI 170的显示于镜头区114中的图标IC7处调用GUI输入事件258。
图2F是图2D的示例性计算系统295的示意图,其中远程显示区270的输入镜头213当具有输入焦点是具有更大的尺寸。在图2F的示例中,在GUI 170调用GUI输入事件256之后,如上面关于图2D所述的,模块260可以接收与输入镜头213相关的焦点选择动作。作为响应,接收模块260可提供用于识别输入镜头213的输入焦点命令285给本地计算装置100。响应于命令285,指令122可提供输入焦点给输入镜头213,如图2F所示。在一些示例中,当输入镜头213具有输入焦点时,指令122可生成综合显示信息182,使得如果远程显示区270被显示,则输入镜头213将比其没有输入焦点时大,并且输入镜头213的不同部分具有不同的透明度水平。
例如,响应于命令285,指令124可以增大镜头区113的尺寸,并且指令122可以生成信息182,使得输入镜头213较大并且描绘GUI 170的显示在改变的镜头区113中较大区域。在这样的示例中,扩大输入镜头213和相关的镜头区113的尺寸可允许响应于与菜单MU2的交互而被打开的级联菜单区203,完全显示在输入镜头213中。在一些示例中,如果输入镜头213和镜头区113的相应尺寸并没有增大,则菜单区203可能只是部分地被显示。在图2F的示例中,在输入镜头213具有输入焦点时显示的较大输入镜头213还可以包括第一部分213A和第二部分213B,其中第二部分213B比第一部分213A更加透明。在这样的示例中,可显示完整的级联菜单区203,而不会阻止查看与输入镜头213重叠的全部内容。在其他的示例中,在输入镜头的尺寸在其接收输入焦点时发生改变之后,整个输入镜头可以具有均匀的透明度水平。
图2G是图2D的示例性计算系统295的示意图,其中远程计算装置250接收关于多个镜头配置文件中的一个的选择。在图2G的示例中,输入镜头111可以用来打开本地计算装置100处的另一个应用程序104。在打开应用程序104后,GUI170可以显示应用程序104的窗口106,例如,应用程序104可以是图形编辑应用程序。在图2G的示例中,窗口106包括应用程序内容区和多个控制区。应用程序内容区显示利用应用程序104可编辑的照片。控制区包括含有菜单MU6-MU10的菜单工具栏、含有图标IC8-IC10的第一图标工具栏、含有图标IC11-IC13的第二图标工具栏以及含有图标IC14-IC18的第三图标工具栏。
在图2G的示例中,被显示在GUI 170处镜头区111内的一部分照片可以被描绘在远程显示区270的输入镜头211中。在图2G的示例中,输入镜头212和213及镜头图标274均可通过预定的镜头隐藏动作被隐藏,如上面关于图2E所描述的。在一些示例中,可以通过预定的镜头隐藏动作(例如,包括连续快速执行三次的三指敲击动作的动作)隐藏除一个之外的所有输入镜头(和代表输入镜头的图标)。当关联的输入镜头或镜头图标被隐藏时,镜头区112-114中的每一个仍定义在本地计算装置100。
在图2G的示例中,模块260可接收预定义的配置文件选择动作,配置文件选择动作可以是如上所述的任何合适的控制动作。响应于配置文件选择动作,模块260可在远程显示区270中显示配置文件菜单272。在其他的示例中,模块260可响应于远程计算装置250中GUI的控制功能(例如,菜单、图标等等)的操作,或者响应于远程计算装置250的任何其他合适的输入装置(例如,按钮或其他硬件控制)的操作或它们的组合,来显示配置文件菜单272。配置文件菜单272可以显示多个镜头配置文件PRO1-PRO5的表示,以供选择。这里所述的“镜头配置文件”是定义在至少一个镜头区的信息集合。虽然在图2G的菜单272中表示五个镜头配置文件,但是菜单272可显示任意数量的镜头配置文件的表示。在图2G的示例,在显示菜单272后,模块260可接收另一配置文件选择动作252,配置文件选择动作252可包括选择菜单272的镜头配置文件表示之一。例如,用户可以通过配置文件选择动作252选择镜头配置文件PRO5,配置文件选择动作252可包括点击或敲击菜单272中的镜头配置文件PRO5的表示。作为响应,模块260可向本地计算装置100提供用于识别镜头配置文件PRO5的配置文件选择命令289。
图2H是图2G的示例性计算系统295的示意图,其中,输入事件被接收在所选择的镜头配置文件的输入镜头中。在图2H的示例中,响应于用于识别镜头配置文件PRO5的配置文件选择命令289,指令122可基于由镜头配置文件PRO5定义的镜头区而不是在选择之前使用的镜头区(例如,镜头区111-114),来生成信息182。在一些示例中,指令122可以存储用于生成信息182的选择的镜头配置文件的指示。在图2H的示例中,镜头配置文件PRO5定义多个镜头区115-118,包括例如每个镜头区的尺寸和位置。
在图2H的示例中,指令122可基于选择的镜头配置文件PRO5的镜头区115-118生成信息182。在这样的示例中,信息182可以由远程计算装置250使用,来生成包括输入镜头215-218的远程显示区270,输入镜头215-218分别描绘GUI170的显示在镜头区115-118中的区域。在一些示例中,镜头配置文件可以指定如何在远程显示区270布置输入镜头,并且相对于GUI 170,区270中显示输入镜头的位置可与相关联的镜头区的位置不对应。例如,在图2H的示例中,镜头配置文件PRO5可以指定指令122生成信息182,使得镜头215和远程显示区270共同延伸,输入镜头216和218显示在区270上边缘附近,并且输入镜头217显示在区270的左侧。在一些示例中,当应用镜头配置文件时,镜头配置文件还可以指定第一输入镜头具有输入焦点。在根据选择的镜头配置文件(如,镜头配置文件PRO5)显示远程显示区270之后,可以响应于视图操作动作,通过例如改变关联的镜头区来改变GUI 170的在输入镜头内描绘的区域,如上所述。在一些示例中,模块260可检测预定义初始配置文件状态动作,预定义初始配置文件状态动作可以是上面关于图1描述的预定义控制动作中的一种。响应于检测到初始配置文件状态动作,模块260可以命令本地计算装置100将区270返回至由选择的配置文件指定的初始状态。例如,响应于该命令,指令122可将配置文件的每个镜头区返回至其在配置文件中指定的初始状态。
在一些示例中,如上所述,当输入镜头216具有输入焦点时,接收模块260可检测输入到远程计算装置250的GUI输入事件259。作为响应,模块260可提供事件信息186到本地计算装置100,并且指令126可根据信息186确定检测到的GUI输入事件259被接收在具有输入焦点的输入镜头216内。基于包含在事件信息186中的位置,指令126可以在GUI 170的镜头区116内的一位置处调用GUI输入事件259,镜头区116内的该位置与输入镜头216内接收GUI输入事件259的位置对应。例如,如图2H所示,GUI输入事件259被接收在描绘于输入镜头216中的图标IC17中,并且指令126可以在显示于镜头区116中的GUI 170中调用图标IC17处的GUI输入事件259。在一些示例中,关于图2A-2H所描述的功能可与关于图1、图3-5中任何一个所描述的功能一起被提供。
图3是包括本地计算装置200的配置模块的示例性计算系统395的框图,配置模块用于从远程计算装置250接收镜头配置文件的选择。在图3的示例中,计算系统395可包括具有处理器101、操作系统304、发送模块330、存储器340以及网络接口108的本地计算装置300。发送模块330可包括模块322,324,326,328,和329。在一些示例中,模块330可包括附加模块。发送模块330的功能(包括模块322、324、326、328、329以及模块330的任何其他模块的功能),可以以编码在机器可读存储介质上的可执行指令的形式、以电子电路的形式或它们的组合形式实现。在一些示例中,发送模块330的可执行指令可由处理器101执行。存储器340可以是机器可读存储介质。在一些示例中,操作系统304可以包括上面关于图1所描述的GUI模块142。
计算系统395还包括具有接收模块260的远程计算装置250,如上面关于图2A-2H所描述的。在图3的示例中,模块260包含模块362,364,366,和368。在一些示例中,模块260可包括附加模块。接收模块260的功能(包括模块362、364、366、368以及模块260的任何其他模块的功能)可以以编码在机器可读存储介质上的可执行指令的形式、以电子电路的形式或它们的组合形式实现。在这样的示例中,模块260的可执行指令可由远程计算装置250的处理器执行。
在图3的示例中,远程计算装置250包括触控式显示器355。如本文所用,“触控式显示器”可以是能够输出视频信号和接收用户触控形式的输入的硬件组件的任何组合。在一些示例中,触控式显示器可以是能够同时接收多个触摸输入的多点触控式显示器。例如,触控式显示器可以包括适于输出所接收的视频信号(例如,远程显示信息)的任何显示技术的组件,还可以包括用于检测触摸的组件,例如电阻式组件、电容式组件、表面声波式组件、红外线式组件、光学成像式组件、色散信号传感式组件、一体化(in-cell)系统式组件等。在本文所描述的示例中,触控式显示器可以输出用于识别接收到的用户输入的触控信息。
在图3的示例中,配置模块324可以从远程计算装置250接收多个镜头配置文件之一的选择。在一些示例中,该选择可以是配置文件选择命令。每个镜头配置文件可以指定多个镜头区,并且每个镜头区可以定义本地计算装置300的GUI的相应区域。在这样的示例,显示模块322基于所选择的镜头配置文件,可生成综合显示信息182,综合显示信息182可由远程计算装置250使用,来显示远程显示区270。例如,模块322可生成信息182,信息182可用于显示包括多个输入镜头的远程显示区270,每个输入镜头描绘由选择的镜头配置文件的相应镜头区限定的GUI的区域。在这样的示例中,模块322可通过网络接口108为远程计算装置250提供信息182。在图3的示例中,远程计算装置250的显示模块362可以基于从本地计算装置100收到的信息182在触控式显示器355上显示远程显示区270。模块362可以在显示器355的一部分上显示远程显示区270(如图3所示),或使得区270与显示器355共同延伸。
在图3的示例中,接收模块260可包括具有检测模块366和事件模块368的输入模块364。在一些示例中,检测模块366可以检测输入到远程计算装置250的控制动作,如上面关于图1所描述的。例如,模块366可以检测输入到远程计算装置250的配置文件选择动作(例如,通过显示器355),如上面关于图2G所描述的。响应于检测到用于指定在本地计算装置300应用镜头配置文件的配置文件选择动作,模块366可为本地计算装置300提供用于识别由检测到的配置文件选择动作指定的镜头配置文件的配置文件选择命令289。响应于命令289,配置模块324可通过例如将该选择告知显示模块322、标记所选择的配置文件等,应用所选择的镜头配置文件。然后,模块322可基于由选择的镜头配置文件限定的镜头区生成信息182。
在图3的示例中,存储器340可以存储多个镜头配置文件330,每个镜头配置文件330指定多个镜头区,如上面关于图1-2H所描述的。例如,多个镜头配置文件330可包括单独的镜头配置文件332、334和336。虽然图3示例了三个镜头配置文件,但在其他示例中,多个镜头配置文件330可包括多于或少于3个镜头配置文件。在其他的示例中,可从本地计算装置300远程存储镜头配置文件330。在一些示例中,每个镜头配置文件可以包括多个镜头配置文件参数。例如,示例性参数可以包括由配置文件指定的镜头区的数量,和针对每个镜头区,当关联的输入镜头具有输入焦点时和当关联的输入镜头没有输入焦点时,该镜头区相对于本地计算装置的GUI的尺寸和位置。例如,针对每个镜头区,示例性参数还可以包括当关联的输入镜头具有输入焦点时和当关联的输入镜头没有输入焦点时,该输入镜头在远程显示区中的尺寸和位置。针对至少一个镜头区,示例性参数还可以包括当相关联的输入镜头没有输入焦点时,用于代表该镜头区的镜头图标。示例性参数也可以指定用于将输入焦点提供给与镜头区关联的各个输入镜头的预定义控制动作,以及指定当输入镜头具有输入焦点时和当输入镜头没有输入焦点时该输入镜头的透明度水平。示例性参数也可以指定如何处理在具有焦点的输入镜头外部检测到的输入(如忽略该输入、平移/缩放输入镜头、动态调整输入镜头的大小等),并指定用于提供合适的输入镜头外观的其他参数(如对比度、清晰度等)。此外,不依赖于具有输入焦点的任何输入镜头的全局行为可以被指定在配置文件的参数中,来设置在远程计算装置检测到的输入(如控制动作、输入事件等)到本地计算装置的操作的配置文件概要映射。例如,参数可以指定在远程计算装置检测到的输入事件到在本地计算装置调用的输入事件的配置文件概要映射。同样地,例如,参数可以指定用于回复到初始配置文件状态、用于隐藏除了一个(如,内容输入镜头)之外的所有输入镜头、用于切换到另一配置文件(例如,与同一应用程序相关的)等或它们的组合的预定义控制动作。在一些示例中,当配置文件被选择时,本地计算装置可以向远程计算装置提供包含在选择的配置文件中的信息的至少一些。例如,本地计算装置可以向远程计算装置提供用于限定选择的配置文件的某些控制动作的配置文件概要映射的信息,以便远程计算装置可以检测控制行动,并根据配置文件概要映射生成命令。同时,正如上面提到的,在一些示例中,远程计算装置可以基于接收到的综合显示信息至少执行一些处理,以生成信息来显示为远程显示区。在这样的示例,远程计算装置可以在执行处理时利用接收到的配置文件信息(例如,输入镜头分层信息等),来显示远程显示区。
在图3的示例中,多个330的每个镜头配置文件包括由配置文件指定的镜头区的数量,包括镜头区的相应尺寸和镜头区相对于本地计算装置300的GUI的相应位置。例如,如图3所示,镜头配置文件332包括多个镜头参数344,多个镜头参数344包含用于指示由镜头配置文件332指定的镜头区的数量的参数346、用于指定镜头配置文件332的镜头区的相应尺寸的参数348以及指定镜头配置文件332的镜头区相对于本地计算装置300的GUI的相应位置的参数348。在一些示例中,多个330的每个镜头配置文件还可以在远程显示区270中限定与由镜头配置文件指定的镜头区相关联的输入镜头的布置。在这样的示例中,显示模块322可生成综合显示信息182,使得如果远程显示区270被显示,则在远程显示区中以在选择的镜头配置文件中所指定的那样布置输入镜头。
在某些示例中,至少一些镜头配置文件330可以是与本地计算装置300的相应应用程序关联的应用镜头配置文件。在图3的示例中,镜头配置文件332可以是与本地计算装置300的第一应用程序相关的应用镜头配置文件,并且镜头配置文件334可以是与本地计算装置300的第二应用程序相关的应用镜头配置文件。在这样的示例中,应用镜头配置文件中的每个可以包括用于识别与配置文件关联的应用程序的信息。例如,镜头配置文件332可以包括用于识别与镜头配置文件332相关的应用程序的信息342。在某些示例中,针对与本地计算装置300的应用程序相关的每个镜头配置文件,由镜头配置文件限定的镜头自的相应位置可以相对于与镜头配置文件关联的应用程序的窗口被指定。在其他的示例中,针对至少一些镜头配置文件330,由配置文件限定的镜头区的相应位置相对于在本地计算装置300生成的待显示的GUI的边框的尺寸,而非相对于GUI的特定窗口被指定。
在图3的示例中,镜头配置文件330除了应用镜头配置文件外还包括至少一个桌面镜头配置文件336。在某些示例中,桌面镜头配置文件336可能是默认的镜头配置文件,并且如果没有从远程计算装置收到镜头配置文件选择,则配置模块324可选择桌面镜头配置文件336。在某些示例中,桌面镜头配置文件336定义了待描绘在输入镜头中的一个输入镜头中的、用于限定GUI的包括GUI的桌面控制区的一部分的区域的镜头区。在这样的示例中,GUI的桌面控制区可包括任何控制特征(例如,工具栏、图标、菜单等),这些特征很容易与任何应用程序窗口区分开。例如,桌面控制区可包括通过GUI显示的桌面的特征。
在图3的示例中,显示模块322可基于在桌面镜头配置文件336中限定的镜头区,生成综合显示信息182。远程计算装置250可利用这些信息182来生成远程显示区270,远程显示区270包括与桌面镜头配置文件336的相应镜头区相关联的输入镜头311-313。在这样的示例中,输入镜头311可以描绘GUI的在没有应用程序窗口打开时图标可被显示的区域,输入镜头312可以描绘在GUI的边框底部显示的菜单、工具栏、或其他控制显示区,并且输入镜头313可以显示GUI的中央部分。例如,在某些示例中,输入镜头312最初可具体输入焦点,以便用户可以方便地访问所描绘的控制区,从而启动应用程序。
此外,在图3的示例中,发送模块330包括具有视图模块328和事件模块329的输入模块326。在这样的示例中,对于在远程显示区270中描绘的任何一个特定输入镜头,视图模块328可改变在该特定输入镜头中描绘的GUI的区域,而不改变在任何其他输入镜头中描绘的GUI的区域,如上面关于图1-2C所描述的。模块328可以响应于在远程计算装置250检测到与特定输入镜头相关的视图操作动作,改变在该特定输入镜头中描绘的区域。例如,检查模块366可以在远程计算装置250输入的检测视图操作动作,并且作为响应,向本地计算装置300提供用于指定视图操作和位置的视图操作命令287。响应于命令287,查看模块328可确定哪个输入镜头与命令287相关,并且改变在该输入镜头中显示的GUI的区域,如上面关于图1的指令124所描述的。
同时,在图3的示例中,事件模块329可以响应于利用远程计算装置250在显示于远程显示区270中的输入镜头的任意给定一个输入镜头(当该给定输入镜头具有输入焦点时)内检测到GUI输入事件,在给定输入镜头描绘的GUI的区域内在本地计算装置300调用GUI输入事件,如上面关于图1所描述的。在这样的示例中,远程计算装置250可以向本地计算装置300提供事件信息186,信息186至少指定检测到的GUI输入事件的类型和位置。在这样的示例中,事件模块329可以响应于事件信息186,在本地计算装置300调用GUI输入事件。在某些示例中,本文关于图3描述的功能可与关于图1-2h和图4-5中的任何一个描述的功能一起被提供。
图4是用于基于从本地计算装置接收的综合显示信息在远程计算装置显示远程显示区的示例性方法400的流程图。虽然下面参照图2A-2H的计算系统295描述了方法400的执行,但是可以使用用于执行方法400的其他合适组件(例如,计算系统395)。此外,方法400可以以编码在机器可读存储介质上的可执行指令的形式实现,以电子电路的形式实现,或它们的组合。
在方法400的步骤405,远程计算装置250可以在远程显示区270中显示多个输入镜头,多个输入镜头各自描绘本地计算装置100的GUI 170的相应区域。在这样的示例中,远程计算装置250的接收模块260可基于从本地计算装置100接收的综合显示信息182,显示多个输入镜头。在步骤410,远程计算装置250可以检测多个不同焦点选择动作中的任何一个,每个焦点选择动作与所显示的输入镜头的相应一个相关。在步骤415,远程计算装置250可命令本地计算装置100提供输入焦点给输入镜头中与检测到的焦点选择动作相关的任何一个。
在方法400的步骤420,本地计算装置100可以响应于在远程显示区270的其中具有输入焦点的输入镜头与所显示的输入镜头中的另一个重叠的位置处检测到GUI输入事件,在描绘于输入镜头的具有输入焦点的任何一个输入镜头内的GUI的位置调用GUI输入事件。在这样的示例中,本地计算装置100的指令126可以确定调用GUI输入事件的合适的GUI位置,如上面关于图1所描述的。在某些示例中,指令126可通过API消息调用GUI输入事件,如上面关于图1所描述的。
图5是利用远程计算装置检测焦点选择动作的示例性方法500的流程图。虽然下面参照图2A-2H的计算系统295描述了方法500的执行,但是可以使用用于执行方法500的其他合适组件(例如,计算系统395)。此外,方法500可以以编码在机器可读存储介质上的可执行指令的形式实现,以电子电路的形式实现,或它们的组合。
在方法500的步骤505,远程计算装置250可以在远程显示区270中显示多个输入镜头,多个输入镜头各自描绘本地计算装置100的GUI 170的相应区域。在这样的示例中,远程计算装置250的接收模块260可基于从本地计算装置100接收的综合显示信息182,显示多个输入镜头。在步骤510,远程计算装置250可检测是否多个不同的焦点选择动作中的任何一个被输入到远程计算装置250。在这样的示例中,每个焦点选择动作可与所显示的输入镜头的相应一个相关。在某些示例中,每个焦点选择动作可以是利用远程计算装置250的触控式显示器可检测的不同的触摸动作。
如果在步骤510检测到焦点选择动作之一,则方法500可继续到步骤515,其中远程计算装置250可命令本地计算装置100提供输入焦点给输入镜头中与检测到的焦点选择动作相关的任何一个。在步骤520,响应于来自远程计算装置250的命令,本地计算装置100的指令122提供输入焦点给输入镜头中与检测到的焦点选择动作相关的任何一个。然后,方法500可继续到步骤505。
如果在步骤510没有检测到焦点选择动作,则方法500可继续到步骤525,在步骤525处,远程计算装置250可检测与所显示的输入镜头的任何一个特定输入镜头相关的任何视图操作动作是否被输入到远程计算装置250。如果检测到视图操作动作,则方法500可继续到步骤530,在步骤530处,远程计算装置250可提供视图操作命令到本地计算装置100。在步骤535,响应于视图操作命令,本地计算装置100的指令124可改变在与视图操作动作相关的特定输入镜头内描绘的GUI170的区域,而不改变在远程显示区270的任何其它输入镜头内描绘的GUI 170的区域。然后,方法500可继续到步骤505。
如果在步骤525没有检测到视图操作动作,则方法500可继续到步骤540,在步骤540处,远程计算装置250可检测是否有GUI输入事件输入到远程计算装置250。如果有,则方法500可继续到步骤545,在步骤545处,远程计算装置250可向本地计算装置100提供用于识别所检测到的GUI输入事件的信息186。在步骤550,本地计算装置100的指令126可响应于在远程显示区270的其中具有输入焦点的输入镜头与所显示的输入镜头中的另一个重叠的位置处检测到GUI输入事件,在描绘于输入镜头的具有输入焦点的任何一个输入镜头内的GUI的位置处调用GUI输入事件。在这样的示例中,根据接收到的信息186,指令126可确定调用GUI输入事件的合适的GUI位置,如上面关于图1所描述的。在某些示例中,指令126可通过API消息调用GUI输入事件,如上面关于图1所描述的。然后,方法500可继续到步骤505。
如果在步骤540没有检测到GUI输入事件,则方法500可继续到步骤560,在步骤560处,远程计算装置250可检测用于识别多个镜头配置文件之一的配置文件选择动作是否被输入到远程计算装置250。如果是,方法500可继续到步骤565,在步骤565处,远程计算装置250可以命令本地计算装置100根据所识别的镜头配置文件生成综合显示信息182。在步骤570,响应于来自远程计算装置250的命令,本地计算装置100的指令122可根据所识别的镜头配置文件生成综合显示信息182。在这样的示例中,多个镜头配置文件中的每个指定多个镜头区,并且响应于配置文件的选择,每个镜头区限定GUI 170的待描绘于输入镜头的相应一个中的区域。然后,方法500可继续到步骤505。此外,如果在步骤560没有检测到配置文件选择动作,则方法500可继续到步骤505。

Claims (15)

1.一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质利用本地计算装置的处理器可执行的指令被编码,该存储介质包括:
指令,用于通过所述本地计算装置的网络接口向远程计算装置提供综合显示信息,所述远程计算装置可使用所述综合显示信息,来显示包括多个输入镜头的远程显示区,所述多个输入镜头各自描绘所述本地计算装置的图形用户界面(GUI)的相应区域;
指令,用于针对所述输入镜头中的任何一个特定输入镜头,响应于在所述远程计算装置处检测到视图操作动作,改变在所述特定镜头中描绘的GUI的区域,而不改变在其他任何输入镜头中描绘的GUI的区域,其中所检测到的视图操作动作与所述特定输入镜头相关;以及
指令,用于响应于利用所述远程计算装置在所显示的输入镜头中的任何一个给定输入镜头内检测到GUI输入事件,当所述给定输入镜头具有输入焦点时,在所述本地计算装置处在所述GUI的被描绘于所述给定输入镜头中的区域内调用所述GUI输入事件。
2.如权利要求1所述的存储介质,其中用于提供的指令包括用于以下的指令:
生成所述综合显示信息,使得所述输入镜头中的两个输入镜头如果被显示则在所述远程显示区内重叠,其中所述两个输入镜头中层叠在另一输入镜头之上的任何一个输入镜头在不具有输入焦点时是部分透明的。
3.如权利要求2所述的存储介质,所述两个输入镜头包括:
内容输入镜头,与所述远程显示区共同延伸并且描绘所述GUI的显示所述本地计算装置的应用程序窗口的应用程序内容区的区域;和
控制输入镜头,比所述内容输入镜头小,用于描绘所述GUI的显示所述应用程序窗口的控制区的区域。
4.如权利要求2所述的存储介质,进一步包括用于以下的指令:
从所述远程计算装置接收用于识别所述多个输入镜头中的一个的输入焦点命令;以及
将输入焦点提供给所述输入镜头中通过所述输入焦点命令识别的任何一个输入镜头。
5.如权利要求4所述的存储介质,其中用于生成所述综合显示信息的指令包括用于当所述多个输入镜头中的第一输入镜头具有输入焦点时生成所述综合显示信息的指令,使得如果所述远程显示区域被显示,则:
所述第一输入镜头相对于当所述第一输入镜头不具有输入焦点时,具有增大的尺寸、增大的规模和降低的透明度中的至少一种;并且
所述多个输入镜头中的第二输入镜头相对于所述第二输入镜头具有输入焦点时,具有减小的尺寸、减少的规模以及增加的透明度中的至少一种。
6.如权利要求5所述的存储介质,其中用于生成所述综合显示信息的指令包括当所述第一输入镜头具有输入焦点时生成所述综合显示信息的指令,使得如果所述远程显示区被显示,则所述第一输入镜头比在所述第一输入镜头不具有输入焦点时大,并且所述第一输入镜头的不同部分具有不同的透明度水平。
7.如权利要求4所述的存储介质,其中用于生成所述综合显示信息的指令包含用于以下的指令,生成所述综合显示信息,使得如果所述远程显示区被显示,则:
如果与第一镜头区相关联的第一输入镜头不具有输入焦点,则代表所述第一输入镜头区的镜头图标而非所述第一输入镜头被显示;以及
响应于从所述远程计算装置接收与所述第二输入镜头相对应的隐藏命令,所述第二输入镜头不被显示。
8.一种本地计算装置,包括:
配置模块,用于从远程计算装置接收关于多个镜头配置文件中的一个的选择,多个镜头配置文件各自指定多个镜头区,其中每个镜头区限定所述本地计算装置的图形用户界面(GUI)的相应区域;
显示模块,用于向所述远程计算装置提供综合显示信息,所述综合显示信息可由所述远程计算装置使用,来显示包括多个输入镜头的远程显示区,每个输入镜头描绘所述GUI的由所选择的镜头配置文件的相应镜头区限定的区域;
视图模块,用于针对所述输入镜头中的任何一个特定输入镜头,响应于在所述远程计算装置处检测到视图操作动作,改变所述GUI的被描绘在所述特定输入镜头中的区域,而不改变所述GUI的被描绘在任何其他输入镜头中的区域,其中所检测到的视图操作动作与所述特定输入镜头相关;以及
事件模块,响应于利用所述远程计算装置在所显示的输入镜头中的任意一个给定输入镜头内检测到GUI输入事件,当所述给定输入镜头具有输入焦点时,在所述本地计算装置处在所述GUI的被描绘在所述给定输入镜头中的区域内调用所述GUI输入事件。
9.如权利要求8所述的计算装置,其中:
所述镜头配置文件中的每一个指定由所述配置文件指定的多个镜头区的数量、所述镜头区的相应尺寸以及所述镜头区相对于所述GUI的相应位置;并且
所述显示模块用于生成综合显示信息,使得如果所述远程显示区被显示,则所述输入镜头根据所选择的镜头配置文件中的指定被布置在所述远程显示区中。
10.如权利要求9所述的计算装置,进一步包括:
存储器,用于存储所述多个镜头配置文件;
其中所述镜头配置文件中的每一个与所述本地计算装置的相应应用程序相关;并且
其中,对于所述镜头配置文件中的每一个,所述镜头区相对于相关的应用程序的窗口的相应位置被指定在所述镜头配置文件中。
11.如权利要求9所述的计算装置,其中:
针对所述镜头配置文件中的每一个,相对于所述GUI的在所述本地计算装置处生成的供显示的框的尺寸,所述镜头区的相应位置通过所述镜头配置文件被指定;并且
如果从所述远程计算装置没有接收到镜头配置文件选择,则所述配置模块用于选择所述多个镜头配置文件中的桌面镜头配置文件,其中所述桌面镜头配置文件包括待描绘在所述输入镜头中的一个输入镜头中的、用于限定所述GUI的包括所述GUI的桌面控制区的一部分的区域的镜头区。
12.一种方法,包括:
基于从本地计算装置接收的综合显示信息在远程计算装置处显示包括多个输入镜头的远程显示区,所述多个输入镜头各自描绘所述本地计算装置的图形用户界面(GUI)的相应区域;
利用所述远程计算装置检测多个不同的焦点选择动作的任何一个,多个不同的焦点选择动作各自与被显示的输入镜头中的相应一个相关;
命令所述本地计算装置将输入焦点提供给所述输入镜头中的与所检测到的焦点选择动作相关的任何一个输入镜头;以及
响应于在所述远程显示区的其中具有输入焦点的输入镜头与所述输入镜头中的另一个重叠的位置处检测到GUI输入事件,在所述本地计算装置处在所述GUI的被描绘在所述输入镜头中的具有输入焦点的任何一个输入镜头内的位置处调用所述GUI输入事件。
13.如权利要求12所述的方法,进一步包括:
在所述本地计算装置处提供输入焦点给所述输入镜头中的与所检测到的焦点选择动作相关的任何一个;
响应于利用所述远程计算装置检测到所述GUI输入事件,从所述远程计算装置向所述本地计算装置提供用于识别所述GUI输入事件的信息;
其中所述焦点选择动作中的每一个是利用所述远程计算装置的触控显示器可检测的不同触摸动作。
14.如权利要求13所述的方法,进一步包括:
利用所述远程计算装置检测与所显示的输入镜头中的任何一个特定输入镜头相关的视图操作动作;
响应于检测到所述视图操作动作,利用所述远程计算装置向所述本地计算装置提供视图操作命令;以及
响应于所述视图操作命令,在所述本地计算装置处,改变所述GUI的被描绘在所述特定输入镜头中的区域,而不改变所述GUI的被描绘在任何其他输入镜头中的区域。
15.如权利要求12所述的方法,进一步包括:
利用所述远程计算装置检测用于识别多个镜头配置文件中的一个的配置文件选择动作;
命令所述本地计算装置根据所识别的镜头配置文件来生成综合显示信息;以及
根据所识别的镜头配置文件在所述本地计算装置处生成所述综合显示信息,其中所述镜头配置文件中的每一个指定多个镜头区,多个镜头区各自限定所述GUI的待描绘在所述输入镜头的相应一个中的区域。
CN201280068639.2A 2012-07-31 2012-07-31 包括均描绘图形用户界面的区域的输入镜头的远程显示区 Pending CN104081333A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/048930 WO2014021832A1 (en) 2012-07-31 2012-07-31 Remote display area including input lenses each depicting a region of a graphical user interface

Publications (1)

Publication Number Publication Date
CN104081333A true CN104081333A (zh) 2014-10-01

Family

ID=50028351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280068639.2A Pending CN104081333A (zh) 2012-07-31 2012-07-31 包括均描绘图形用户界面的区域的输入镜头的远程显示区

Country Status (5)

Country Link
US (1) US10019127B2 (zh)
EP (1) EP2791773B1 (zh)
JP (1) JP5918902B2 (zh)
CN (1) CN104081333A (zh)
WO (1) WO2014021832A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2791773B1 (en) * 2012-07-31 2020-11-18 Hewlett-Packard Development Company, L.P. Remote display area including input lenses each depicting a region of a graphical user interface
CN111225199A (zh) * 2013-09-11 2020-06-02 索尼公司 图像处理设备及方法
EP3316109B1 (en) * 2016-10-28 2019-09-04 TeamViewer GmbH Computer-implemented method for controlling a remote device with a local device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6448958B1 (en) * 1997-07-04 2002-09-10 International Business Machines Corporation Remote control method, server and recording medium
US20110069086A1 (en) * 2002-10-10 2011-03-24 Shoemaker Garth B D Detail-in-Context Presentations in Client/Server Systems
CN102193732A (zh) * 2010-03-01 2011-09-21 微软公司 比本地屏幕大的被远程发送桌面的有效导航及与桌面交互

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10215247A (ja) * 1997-01-31 1998-08-11 Canon Inc データ会議システム及び装置並びに通信処理装置及び方法
US6724403B1 (en) 1999-10-29 2004-04-20 Surfcast, Inc. System and method for simultaneous display of multiple information sources
US7009626B2 (en) 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
US7219309B2 (en) 2001-05-02 2007-05-15 Bitstream Inc. Innovations for the display of web pages
US8416266B2 (en) 2001-05-03 2013-04-09 Noregin Assetts N.V., L.L.C. Interacting with detail-in-context presentations
US9760235B2 (en) * 2001-06-12 2017-09-12 Callahan Cellular L.L.C. Lens-defined adjustment of displays
US20030006995A1 (en) * 2001-06-15 2003-01-09 Smith Randall B. Orthogonal magnifier within a computer system display
US7081904B2 (en) * 2002-02-26 2006-07-25 Microsoft Corporation Methods and apparatuses for identifying remote and local services
US7757001B2 (en) 2002-04-26 2010-07-13 Smart Technologies Ulc System, method and graphical user interface for identifying image from remote site during screen sharing
US7062723B2 (en) 2002-05-20 2006-06-13 Gateway Inc. Systems, methods and apparatus for magnifying portions of a display
US8120624B2 (en) * 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
CA2407383A1 (en) * 2002-10-10 2004-04-10 Idelix Software Inc. Editing multiple layers of a presentation using detail-in-context lenses
US7657844B2 (en) 2004-04-30 2010-02-02 International Business Machines Corporation Providing accessibility compliance within advanced componentry
US7676549B2 (en) * 2005-05-27 2010-03-09 Microsoft Corporation Techniques for providing accessibility options in remote terminal sessions
GB0517357D0 (en) * 2005-08-25 2005-10-05 Corizon Ltd User interface generation
JP4062707B2 (ja) * 2006-05-01 2008-03-19 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
GB0613508D0 (en) 2006-07-07 2006-08-16 Spiratech Ltd Apparatus and method for magnifying an image
JP5135922B2 (ja) * 2007-07-11 2013-02-06 ヤマハ株式会社 電子音楽装置及びプログラム
US7986331B1 (en) 2007-08-31 2011-07-26 Adobe Systems Incorporated Source lens for viewing and editing artwork
US20090300701A1 (en) 2008-05-28 2009-12-03 Broadcom Corporation Area of interest processing of video delivered to handheld device
KR20100038688A (ko) 2008-10-06 2010-04-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 유저 인터페이스
US7870496B1 (en) 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
JP5087031B2 (ja) * 2009-02-26 2012-11-28 三菱重工業株式会社 表示制御装置、入力操作装置、表示システム、及び管制システム
US10244056B2 (en) 2009-04-15 2019-03-26 Wyse Technology L.L.C. Method and apparatus for transferring remote session data
US20100268762A1 (en) 2009-04-15 2010-10-21 Wyse Technology Inc. System and method for scrolling a remote application
US20100271288A1 (en) * 2009-04-24 2010-10-28 Sudharshan Srinivasan Automatic synchronized scaling of views during application sharing
US10101898B2 (en) 2009-10-23 2018-10-16 Autodesk, Inc. Multi-touch graphical user interface for interacting with menus on a handheld device
US10048921B2 (en) 2010-03-02 2018-08-14 Qualcomm Incorporated Controlling a multimedia device in remote display mode
US8997017B2 (en) * 2011-10-21 2015-03-31 International Business Machines Corporation Controlling interactions via overlaid windows
US9612724B2 (en) * 2011-11-29 2017-04-04 Citrix Systems, Inc. Integrating native user interface components on a mobile device
EP2791773B1 (en) * 2012-07-31 2020-11-18 Hewlett-Packard Development Company, L.P. Remote display area including input lenses each depicting a region of a graphical user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6448958B1 (en) * 1997-07-04 2002-09-10 International Business Machines Corporation Remote control method, server and recording medium
US20110069086A1 (en) * 2002-10-10 2011-03-24 Shoemaker Garth B D Detail-in-Context Presentations in Client/Server Systems
CN102193732A (zh) * 2010-03-01 2011-09-21 微软公司 比本地屏幕大的被远程发送桌面的有效导航及与桌面交互

Also Published As

Publication number Publication date
WO2014021832A1 (en) 2014-02-06
EP2791773A1 (en) 2014-10-22
US10019127B2 (en) 2018-07-10
JP5918902B2 (ja) 2016-05-18
EP2791773B1 (en) 2020-11-18
JP2015511046A (ja) 2015-04-13
US20150020025A1 (en) 2015-01-15
EP2791773A4 (en) 2015-08-19

Similar Documents

Publication Publication Date Title
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
US20140351758A1 (en) Object selecting device
US20120249475A1 (en) 3d user interface control
KR20170041219A (ko) 렌더링된 콘텐츠와의 호버 기반 상호작용
US20120169623A1 (en) Multi-Touch Integrated Desktop Environment
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR20110084313A (ko) 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법
JP2019087284A (ja) ユーザインタフェースのための対話方法
US20160154474A1 (en) Electronic apparatus and method for displaying graphical object thereof
KR102342282B1 (ko) 어플리케이션 선택 화면을 통해 어플리케이션들을 실행하는 방법 및 장치
US11204653B2 (en) Method and device for handling event invocation using a stylus pen
US10908764B2 (en) Inter-context coordination to facilitate synchronized presentation of image content
CN109828820B (zh) 一种应用窗口的焦点刷新方法、装置、存储介质及终端
US20220221970A1 (en) User interface modification
US9262005B2 (en) Multi-touch integrated desktop environment
EP2661671B1 (en) Multi-touch integrated desktop environment
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
US10754524B2 (en) Resizing of images with respect to a single point of convergence or divergence during zooming operations in a user interface
CN104081333A (zh) 包括均描绘图形用户界面的区域的输入镜头的远程显示区
CN104820489B (zh) 管理低延时的直接控制反馈的系统和方法
US20190056857A1 (en) Resizing an active region of a user interface
JP2020507174A (ja) 表示コンテンツのパネルをナビゲートする方法
WO2018231258A1 (en) Generating user interface containers
CN104951223B (zh) 一种触摸屏实现放大镜的方法、装置及主机
JP6945345B2 (ja) 表示装置、表示方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141001