CN113366820A - 使用用户界面模板来控制远程设备 - Google Patents

使用用户界面模板来控制远程设备 Download PDF

Info

Publication number
CN113366820A
CN113366820A CN201980089681.4A CN201980089681A CN113366820A CN 113366820 A CN113366820 A CN 113366820A CN 201980089681 A CN201980089681 A CN 201980089681A CN 113366820 A CN113366820 A CN 113366820A
Authority
CN
China
Prior art keywords
computing device
remote computing
distance
gui
threshold distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980089681.4A
Other languages
English (en)
Inventor
米罗斯拉夫·博伊茨
罗汉·迪英
赵正男
迈克尔·德尔高迪奥
亨利·霍兰
马滕·琼森
徐鼎
亨利·欧文·牛顿-邓恩
米克·克罗·科泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113366820A publication Critical patent/CN113366820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • G08C2201/21—Programming remote control devices via third means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种方法包括由第一计算设备(110)从第二计算设备(118)使用第一计算设备(110)的短距离无线通信单元来接收包括第二计算设备(118)的状态信息和第二计算设备(118)的标识信息的数据。该方法也包括，响应于第一计算设备(110)与第二计算设备(118)之间的距离满足阈值距离，从多个模板图形用户界面中确定特定模板图形用户界面。该方法也包括确定第二计算设备(118)被配置成执行的一个或多个操作。该方法还包括输出与远程计算设备(118)相关联的图形用户界面(114)。该方法包括接收选择图形用户界面(114)的特定图形元素(130、132、134)的用户输入并且向第二计算设备(118)传送与该特定图形元素相对应的操作的指示。

Description

使用用户界面模板来控制远程设备
背景技术
通常，为了从移动计算设备(例如，智能电话)控制远程计算设备(例如，连接的灯、扬声器、恒温器等)，移动计算设备的用户必须执行许多步骤以配置移动计算设备与远程计算设备之间的通信。例如，用户可以下载由远程计算设备的制造商开发的应用，为该应用创建用户账户，然后发起移动计算设备与远程计算设备之间的通信会话(例如，通过蓝牙使设备配对、选择WIFI网络等)。另外，用户可能需要对他或她希望经由移动计算设备控制的每个远程计算设备执行类似的步骤。此类交互可能是乏味的、重复的且费时的。附加地，可能要求用户为每个远程计算设备下载不同的应用。利用不同的应用来控制不同的远程计算设备可能消耗计算设备的有限资源(例如，通过消耗存储器和处理电力)。
发明内容
通常，所公开的主题涉及用于使得计算设备能够控制多个不同的远程计算设备的技术。远程计算设备可以针对接近于远程计算设备的任何其他计算设备广播状态信息。例如，移动计算设备(例如，智能电话)可以在移动计算设备和远程计算设备彼此接近(例如，在彼此的阈值距离内)时接收状态信息。在各种实例中，响应于接收到状态信息，移动计算设备可以生成并显示用于控制远程设备的图形用户界面(GUI)。
移动计算设备可以通过从多个模板GUI中选择模板GUI并且使用状态信息的至少一部分来填充模板GUI而生成GUI。例如，当远程计算设备是时钟时，状态信息可以包括关于当前时间、闹钟状态(例如，设置或未设置)、将时钟的闹钟设置在的时间以及时钟能够执行的各种操作中的一个或多个的信息，所述各种操作诸如调整将闹钟设置在的时间。由移动计算设备生成的GUI可以包括与远程计算被配置成执行的相应操作相对应的一个或多个图形对象。移动计算设备可以接收选择与特定操作相对应的图形对象的用户输入，并且可以使远程计算设备执行特定操作。
通过使用模板GUI来生成与不同的远程计算设备相关联的GUI，移动计算设备可以通过允许用户经由移动计算设备更容易地与远程不同的远程计算设备交互并且控制远程不同的远程计算设备来改善用户体验。例如，利用模板GUI使得移动计算设备能够控制不同的远程计算设备，而无需不同类型的远程计算设备(例如，来自不同的制造商的远程计算设备)的不同的软件应用。不是要求用户为每个远程计算设备下载并安装不同的应用，而是移动计算设备可以在移动计算设备靠近远程计算设备时自动地生成GUI来控制远程计算设备。减少用于控制不同的远程计算设备的应用的数目可以减少由计算设备消耗的计算资源。例如，通过减少或消除要下载或安装不同的应用来控制远程计算设备的需要，与为每个远程计算设备安装不同的应用的计算设备比，本公开的技术可以使用更少的网络带宽和更少的存储空间。此外，基于模板GUI自动地生成GUI可以使得移动计算设备能够接收更少的用户输入，这些用户输入否则可能是搜索应用、启动应用并且通过应用的各种GUI来导览(navigate)以控制远程计算设备所需要的。通过接收更少的用户输入来控制远程计算设备，移动计算设备可以利用更少的处理周期并且减少屏幕开启的时间量，这可以减少由移动计算设备消耗的电力量。此外，取决于与给定远程计算设备的接近度(例如，通过参考阈值距离)选择性地生成GUI能够通过允许在适当时间直观访问这种控件来改善对远程计算设备的操作的控制。例如，此方法可以降低意外地操作除用户所打算的远程计算设备以外的远程计算设备的可能性。
在一个示例中，一种方法包括：由第一计算设备从第二计算设备使用第一计算设备的短距离无线通信单元来接收包括第二计算设备的状态信息和第二计算设备的标识信息的数据；响应于第一计算设备与第二计算设备之间的距离满足阈值距离：由第一计算设备基于标识信息从多个模板图形用户界面中确定特定模板图形用户界面；由计算设备基于状态信息来确定第二计算设备被配置成执行的一个或多个操作；由第一计算设备使用特定模板图形用户界面来输出与远程计算设备相关联并且包括一个或多个图形元素的图形用户界面，所述一个或多个图形元素每一个对应于第二计算设备被配置成执行的一个或多个操作中的相应操作；由第一计算设备接收选择一个或多个图形元素中的特定图形元素的用户输入；以及由第一计算设备向第二计算设备传送与特定图形元素相对应的操作的指示。
在另一示例中，描述了一种包括指令的计算机可读存储介质，所述指令当被执行时，使第一计算设备的至少一个处理器执行包括以下的操作：使用第一计算设备的短距离无线通信单元来从第二计算设备接收包括第二计算设备的状态信息和第二计算设备的标识信息的数据；响应于第一计算设备与第二计算设备之间的距离满足阈值距离：基于标识信息从多个模板图形用户界面中确定特定模板图形用户界面；基于状态信息来确定第二计算设备被配置成执行的一个或多个操作；使用特定模板图形用户界面来输出与远程计算设备相关联并且包括一个或多个图形元素的图形用户界面，所述一个或多个图形元素每一个对应于第二计算设备被配置成执行的一个或多个操作中的相应操作；接收选择一个或多个图形元素中的特定图形元素的用户输入；以及向第二计算设备传送与特定图形元素相对应的操作的指示。
在另一示例中，描述了一种计算系统，该计算系统包括至少一个处理器，该至少一个处理器被配置成执行包括以下的操作：使用第一计算设备的短距离无线通信单元来从第二计算设备接收包括第二计算设备的状态信息和第二计算设备的标识信息的数据；响应于第一计算设备与第二计算设备之间的距离满足阈值距离：基于标识信息从多个模板图形用户界面中确定特定模板图形用户界面；基于状态信息来确定第二计算设备被配置成执行的一个或多个操作；使用特定模板图形用户界面来输出与远程计算设备相关联并且包括一个或多个图形元素的图形用户界面，所述一个或多个图形元素每一个对应于第二计算设备被配置成执行的一个或多个操作中的相应操作；接收选择一个或多个图形元素中的特定图形元素的用户输入；以及向第二计算设备传送与特定图形元素相对应的操作的指示。
在另一示例中，描述了一种系统，该系统包括：用于从第二计算设备接收包括第二计算设备的状态信息和第二计算设备的标识信息的数据的装置；响应于第一计算设备与第二计算设备之间的距离满足阈值距离：用于从多个模板图形用户界面中确定特定模板图形用户界面的装置；用于确定第二计算设备被配置成执行的一个或多个操作的装置；用于使用特定模板图形用户界面来输出与远程计算设备相关联并且包括一个或多个图形元素的图形用户界面的装置，所述一个或多个图形元素每一个对应于第二计算设备被配置成执行的一个或多个操作中的相应操作；用于接收选择一个或多个图形元素中的特定图形元素的用户输入的装置；以及用于向第二计算设备传送与特定图形元素相对应的操作的指示的装置。
在下面的附图和描述中阐述一个或多个示例的细节。根据说明书和附图，并且根据权利要求书，本公开的其他特征、目的和优点将是显而易见的。
附图说明
图1是图示依照本公开的一个或多个方面的动态地生成用于控制远程计算设备的图形界面的示例系统的概念图。
图2是图示依照本公开的一个或多个方面的被配置成动态地生成用于控制远程计算设备的图形界面的示例计算设备的框图。
图3A-3D是图示依照本公开的一个或多个方面的示例计算设备的示例图形用户界面的概念图。
图4是图示依照本公开的一个或多个方面的由被配置成动态地生成任务快捷方式的示例计算设备执行的示例操作的流程图。
具体实施方式
图1是图示依照本公开的一个或多个方面的动态地生成用于控制远程计算设备的图形界面的示例计算系统100的概念图。在图1的示例中，系统100包括彼此通信地耦合的移动计算设备110、信息服务器系统(ISS)117和一个或多个远程计算设备118A-N(统称为远程计算设备118)。
网络116表示用于在计算系统、服务器与计算设备之间传送数据的任何公用或私有通信网络。网络116可以是无线网络(例如，蜂窝、WIFI和/或其他无线网络)、有线网络(例如，局域网(LAN)、广域网(WAN)、因特网等)，或任何其他类型的通信网络。网络116可以包括一个或多个网络集线器、网络交换机、网络路由器或任何其他网络设备，它们在操作上相互耦合从而提供用于在计算设备110、ISS 117与远程计算设备118之间交换信息。计算设备110、ISS 117和远程计算设备118可以使用任何合适的通信技术来跨网络116传送和接收数据。
计算设备110、ISS 117和远程计算设备118可以每一个使用相应的网络链路104、105和106在操作上耦合到网络116。计算设备110、ISS 117和远程计算设备118可以使用不同的网络链路来在操作上耦合到网络116。将计算设备110、ISS 117和远程计算设备118耦合到网络116的链路可以是以太网、ATM或其他类型的网络连接，并且此类连接可以是无线连接和/或有线连接。
远程计算设备118可以是任何类型的计算设备，诸如智能电话、计算机化可穿戴设备(例如，手表、眼镜、戒指、项链等)、扬声器、电视、汽车头单元、时钟、恒温器、家用电器(例如，炉子、冰箱、洗衣机等)、台面计算设备，或被配置成经由诸如网络116的网络向计算设备110发送信息并且从计算设备110接收信息的任何其他类型的设备。远程计算设备118可以经由网络116与计算设备110交换信息。例如，远程计算设备118可以向计算设备110发送信息并且可以从计算设备110接收信息。远程计算设备118也可以例如使用直接链路107来在不用穿过网络116的情况下与计算设备110交换信息。直接链路107可以是能够使得两个计算设备能够直接(即，在不需要网络交换机、集线器或其他中间网络设备的情况下)通信的任何通信协议或机制，诸如蓝牙、WIFI DIRECT、近场通信等。
ISS 117表示能够经由诸如网络116的网络发送和接收信息的任何合适的远程计算系统，诸如一个或多个台式计算机、膝上型计算机、主机、服务器、云计算系统等。ISS 117可以表示经由网络116向计算设备110和/或远程计算设备118提供信息的云计算系统。在一些示例中，ISS 117向计算设备110输出信息，使得计算设备110可以输出由ISS 117向用户提供的信息的至少一部分。
计算设备110可以是移动设备，诸如智能电话、平板计算机、膝上型计算机、计算机化手表、计算机化眼镜、计算机化手套，或任何其他类型的便携式计算设备。计算设备110的附加示例包括其他移动和非移动设备，诸如台式计算机、电视、个人数字助理(PDA)、便携式和非便携式游戏系统、数字媒体播放器或微控制台、电子书阅读器、移动电视平台、汽车导航和娱乐系统，或任何其他类型的可穿戴和非可穿戴、移动或非移动计算设备。
如图1所示，计算设备110包括存在敏感显示器(PSD)112、用户界面(UI)模块120和远程设备管理模块(RDMM)122。模块120和122可以使用驻留在计算设备110中和/或在计算设备110处执行的软件、硬件、固件或硬件、软件和固件的混合物来执行描述的操作。计算设备110可以用多个处理器或多个设备来执行模块120和122。计算设备110可以将模块120和122作为在底层硬件上执行的虚拟机来执行。模块120和122可以作为操作系统或计算平台的一个或多个服务来执行。模块120和122可以在计算平台的应用层作为一个或多个可执行程序来执行。
计算设备110的PSD 112可以充当计算设备110的相应输入和/或输出设备。可以使用各种技术来实现PSD 112。例如，PSD 112可以充当使用存在敏感输入屏幕的输入设备，所述存在敏感输入屏幕诸如电阻式触摸屏、表面声波触摸屏、电容式触摸屏、投射电容式触摸屏、压敏屏幕、声脉冲辨识触摸屏或其他存在敏感显示技术。PSD 112可以检测来自计算设备110的用户的输入。例如，PSD 112可以检测在PSD 112上或在其阈值距离内执行的一个或多个手势(例如，用户用手指或触针触摸PSD 112或在PSD 112的表面的阈值距离内移动手指或触针)。
PSD 112也可以充当使用任何一个或多个显示设备的输出(例如，显示)设备，诸如液晶显示器(LCD)、点矩阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、电子墨水，或能够向计算设备110的用户输出可见信息的类似的单色或彩色显示器。PSD112可以将信息作为用户界面(例如，图形用户界面114)输出(例如，给用户)，该用户界面可以与由计算设备110提供的功能性相关联。例如，PSD 112可以显示与计算平台、操作系统、应用的应用模块或其他特征和/或在计算设备110处执行或者可从计算设备110访问的服务有关的各种用户界面。
UI模块120管理用户与计算设备110的PSD 112和其他组件的交互。例如，UI模块120可以使PSD 112随着计算设备110的用户在PSD 112处查看输出和/或提供输入而显示图形用户界面(GUI)114。UI模块120可以从计算设备110的组件接收信息，该组件形成GUI 114中的一些或全部的基础。作为响应，UI模块120可以向PSD 112输出指令和信息，这些指令和信息使PSD 112根据从计算设备110的组件接收到的信息来显示GUI 114。UI模块120可以随着用户与用户界面(例如，GUI 114)交互而从用户接收输入的一个或多个指示。当处置由PSD 112检测到的输入时，UI模块120可以响应于在PSD 112的与PSD 112的显示GUI 114的元素所在的位置相对应的位置处检测到的输入而从PSD 112接收信息。
UI模块120将关于由PSD 112检测到的输入的信息散播到计算设备110的其他组件以用于解释输入并且以用于使计算设备110响应于输入而执行一个或多个功能。例如，UI模块120可以基于所检测到的输入来生成一个或多个触摸事件。触摸事件可以包括表征用户输入的信息，诸如用户输入的位置分量(例如，[x,y]坐标)、时间分量(例如，何时接收到用户输入)、力分量(例如、通过用户输入施加的压力量)或关于用户输入的其他数据(例如，速度、加速度、方向、密度等)。基于从用户输入生成的触摸事件的位置信息，UI模块120可以确定所检测到的用户输入与RDMM 122相关联并且可以向RDMM 122发送一个或多个触摸事件的指示以供进一步解释。
依照本公开的技术，RDMM 122可以动态地使得计算设备110的用户能够控制远程计算设备118。和利用每一个与相应的远程计算设备118相对应的多个不同的应用的一些计算设备对比，在一些示例中，RDMM 122使得计算设备110的用户能够在不利用不同的应用来控制不同的远程计算设备118中的每一个的情况下控制远程计算设备118。和要求用户配置计算设备与远程计算设备之间的通信来控制远程计算设备的一些计算设备对比，RDMM 122可以使得计算设备110的用户能够在不用将计算设备110配置成单独地与远程计算设备118中的每一个进行通信的情况下控制远程计算设备118。
在一些示例中，远程计算设备118中的每个远程计算设备广播或传送与相应的远程计算设备相关联的信息。例如，远程计算设备118A可以通过输出电磁能量波(例如，无线电波，也称为无线电信号，或光波，也称为光信号)来广播信息，该电磁能量波包括与远程计算设备118A相关联的信息，诸如远程计算设备118A的标识信息和状态信息。状态信息的示例包括指示远程计算设备的一个或多个特性、远程计算设备被配置成执行的操作、位置(例如，GPS坐标、房屋内的房间等)等的信息。
在图1的示例中，远程计算设备118A包括时钟。在一些示例中，时钟的特性可以包括远程计算设备118A当前被设置为的时间(例如，根据时钟的当前时间)以及针对其设置远程计算设备118A的一个或多个闹钟的时间。类似地，远程计算设备118A可以被配置成执行诸如更新闹钟、创建新闹钟、取消现有闹钟、使闹钟静默或更新将时钟设置为的时间(例如，更新由时钟保持的当前时间)的操作。
在一些示例中，远程计算设备118A使用诸如近场通信(NFC)、WIFI DIRECT、蓝牙低功耗(BLE)或超声的短距离通信协议来通过短距离通信单元广播信息。远程计算设备118A可以被配置成以固定时间间隔(例如，每半秒一次、每秒一次等)或者以可变时间间隔广播信息。例如，远程计算设备118A可以在计算设备110不接近于远程计算设备118A时以第一时间间隔(例如，每秒一次)传送信息，而在计算设备110和远程计算设备118A彼此接近时以第二不同的时间间隔(例如，每5次)广播信息。
计算设备110可以使用计算设备110的短距离无线通信单元来接收由远程计算设备118A广播的数据。例如，计算设备110的一个或多个通信单元可以根据NFC、WIFI DIRECT或BLE协议来操作。
当远程计算设备118A与计算设备110之间的距离满足(例如，小于或等于)阈值距离时，RDMM 122自动地输出与远程计算设备118A相关联的GUI。阈值距离可以是通信单元246能够检测到由远程计算设备118A广播的信号的距离，使得在一些示例中，RDMM 122可以响应于由远程计算设备118A广播的信号而自动地输出与远程计算设备118A相关联的GUI。在另一示例中，RDMM 122可以是预定距离并且RDMM 122可以确定远程计算设备118A与计算设备110之间的距离是否满足阈值距离。
在一个示例中，RDMM 122可以至少部分地基于包括由远程计算设备118A广播的信息的信号(例如，无线电信号或光信号)的特性来确定距离是否满足阈值距离。信号的特性可以包括信号的强度或当信号由远程计算设备118A发送时与当信号由计算设备110接收到时之间的时间量。
作为另一示例，RDMM 122可以基于从远程计算设备118A接收到的信息来确定计算设备110与远程计算设备118A之间的距离是否满足阈值距离。例如，RDMM 122可以接收指示远程计算设备118A的位置的信息(例如，GPS坐标、设备118A位于其中的房间等)，将远程计算设备118A的位置与计算设备110的位置进行比较，并且基于比较来确定计算设备110与远程计算设备118A之间的距离是否满足阈值距离。例如，当计算设备110和远程计算设备118A位于同一建筑物、房间或其他封闭空间中时，RDMM 122可以确定距离满足阈值距离。
在一些示例中，RDMM 122基于包括由远程计算设备118A广播的信息和从远程计算设备118A接收到的信息的信号的特性来确定计算设备110与远程计算设备118A之间的距离是否满足阈值距离。在一个示例中，RDMM 122响应于确定信号的强度满足阈值信号强度并且远程计算设备118A的位置位于与计算设备110相同的建筑物中而确定距离满足阈值距离。
响应于计算设备110与远程计算设备118A之间的距离满足(例如，小于)阈值距离，RDMM 122可以输出从远程计算设备118A接收到的状态信息的至少一部分。例如，RDMM 122可以使PSD 112输出与远程计算设备118A相关联的GUI(例如，GUI 114)，该GUI使得计算设备110的用户能够与远程计算设备118A交互。
在一些实例中，RDMM 122利用模板GUI来显示远程计算设备118A的状态信息的至少一部分。利用模板GUI可以使得RDMM 122能够在无需在计算设备110处下载或安装与远程计算设备118A相关联的应用的情况下生成与远程计算设备118A相关联的GUI。类似地，利用模板GUI可以使得RDMM 122能够在没有在计算设备118处安装的与远程计算设备118B相关联的应用的情况下生成与诸如远程计算设备118B的不同的远程计算设备相关联的GUI。以这种方式，利用模板GUI可以使得计算设备110能够在不用在计算设备110处为每种类型的远程计算设备118安装不同的应用的情况下控制不同的应用，这可以减少由计算设备110利用来控制不同的远程计算设备118的计算资源(例如，存储器、处理周期、电池电力)的量。
RDMM 122可以从多个模板GUI中选择模板GUI来显示与远程计算设备118A相关联的状态信息的至少一部分。在一些示例中，计算设备110存储一个或多个模板GUI的信息(例如，用于生成一个或多个模板GUI的数据)。在另一示例中，RDMM 122从ISS 117接收一个或多个模板GUI的信息。
RDMM 122可以基于远程计算设备118A的标识信息、计算设备110的状态或其组合来选择模板GUI。在一些示例中，远程计算设备118A的标识信息指示远程计算设备118A的类型。如本文所使用的，远程计算设备的类型可以是指型号、制造商或电器类型(例如，家用电器、时钟、恒温器)。例如，RDMM 122可以在类型指示远程计算设备118A是由第一制造商制造的时从多个模板中选择第一模板，以及可以在类型指示远程计算设备118A是由第二(例如，不同的)制造商制造的时从多个模板中选择第二模板。作为另一示例，RDMM 122可以在类型指示远程计算设备118A属于第一电器(例如，厨房电器)时选择第一模板，而在类型指示远程计算设备118A属于第二类(例如，洗衣房电器)时选择第二模板。在一个示例中，RDMM 122基于标识信息来确定远程计算设备118A的类型并且从ISS 117请求与那种类型的远程计算设备相关联的模板GUI。
在另一示例中，RDMM 122至少部分地基于计算设备110的操作状态来选择模板GUI。计算设备110的状态可以包括锁定状况(例如，被锁定对比被解锁)或显示状况(例如，由PSD 112示出或显示了什么的状态)。例如，RDMM 122可以在PSD 112的状况包括显示主屏幕GUI(例如，与在计算设备110处执行的操作系统的主屏幕相对应的GUI)时选择第一模板GUI或者在PSD 112的状况包括显示应用GUI(例如，与在计算设备110处执行的应用相对应的GUI)时选择第二模板GUI。
在一些实例中，RDMM 122基于所选择的模板GUI来生成与远程计算设备118A相关联的GUI 114。例如，RDMM 122可以通过用与远程计算设备118A被配置成执行的操作相关联的信息填充所选择的模板GUI来生成GUI 114。
RDMM 122可以确定远程计算设备118A被配置成执行的一个或多个操作。在一些示例中，RDMM 122基于从远程计算设备118A接收到的状态信息来确定一个或多个操作。例如，状态信息可以指定远程计算设备118A被配置成执行的操作集合。在一些示例中，远程计算设备118A基于远程计算设备118A的操作状态在状态信息中指定不同的操作集合。例如，远程计算设备118A包括智能显示器并且可以在远程计算设备118A的操作状态包括播放视频时输出指示第一操作集合(例如，操作可以包括暂停、播放、快进等)的数据以及在远程计算设备118A的操作状态包括显示图片幻灯片展示时输出指示第二操作集合(例如，操作可以包括“展示地点A的图片”、“展示事件B的图片”等)的数据。
在一些示例中，远程计算设备118A基于计算设备110与远程计算设备118A之间的关系在状态信息中指定不同的操作集合。例如，远程计算设备118A可以基于计算设备110相对于远程计算设备118A的位置或设备110和118A之间的距离等关系来向计算设备110输出指示不同的操作集合的状态信息。在一个示例中，远程计算设备118A包括车辆信息娱乐系统并且基于计算设备110的位置在状态信息内包括指示不同的操作集合的数据。例如，当计算设备110位于车辆内的预定位置中(例如，在中控台上)时远程计算设备118A可以指示它被配置成执行第一操作集合(例如，输出用于电话呼叫的音频、提供导航信息、输出多媒体(例如，音乐))以及当计算设备110不位于预定位置中时它被配置成执行第二操作集合(例如，提供导航信息或输出多媒体，但是不输出与电话呼叫相关联的音频)。在此类示例中，计算设备110在计算设备110位于中控台上时被允许命令远程计算设备118A输出用于电话呼叫的音频(例如，仅驾驶员的电话呼叫通过信息娱乐系统拨打电话)，而在位于别处时可能被允许命令远程计算设备执行其他操作，诸如显示导航信息(例如，这可以允许除驾驶员以外的人们向信息娱乐系统发送导航指令)。以这种方式，远程计算设备118A可以基于计算设备110与远程计算设备118A之间的关系来将其功能性限制于某些设备。
在一个示例中，RDMM 122基于远程计算设备118A的标识信息来确定远程计算设备118A被配置成执行的一个或多个操作。例如，RDMM 122可以基于标识信息来查询数据存储(例如，由计算设备110或ISS 117存储的)并且可以响应于查询而接收指示远程计算设备118A被配置成执行的操作集合的信息。
在图1的示例中，GUI 114包括多个图形元素130、132和134A-134C。图形元素的示例包括文本框、图像、图标等。如图1所图示的，图形元素134A-134C(统称为图形元素134)可以每一个包括指示远程计算设备118A被配置成执行的一个或多个相应操作的信息。在一些示例中，图形元素130包括远程计算设备118A的标识信息和/或远程计算设备118A的状态信息。在图1的示例中，通过图形元素130显示的标识信息指示远程计算设备118A的类型(例如，“ABC时钟”、“模拟时钟”、“数字时钟”、“时钟”等)。如图1所图示的，通过图形元素130显示的状态信息包括远程计算设备118A被设置为的时间(也称为当前时间，例如下午3:00)以及针对其设置远程计算设备118A的闹钟的时间(例如，下午5:00)。图形元素132可以包括指示计算设备110的状态的信息(例如，针对其设置计算设备110的闹钟的时间)。响应于生成GUI 114，RDMM 122向UI模块120输出GUI 114，这使PSD 112显示GUI 114。
在显示GUI 114之后，PSD 112可以检测用户输入并且UI模块120可以解释输入以确定PSD 112的检测到输入的显示位置并且确定图形元素134中的任一个是否位于该位置处。UI模块120可以确定特定图形元素134(例如，图形元素134A)被显示在PSD 112的检测到用户输入的位置处，并且可以向RDMM 122输出指示图形元素134A被选择的数据。
RDMM 122可以接收指示图形元素134A被选择的数据，确定与所选择的图形元素134A相对应的操作，并且传送与所选择的图形元素相对应的操作的指示。例如，在图1的示例中，RDMM 122确定图形元素134A对应于远程计算设备118A更新将当前闹钟设置为下午4点的时间的操作并且输出指示用于更新当前闹钟的操作的命令。在一些示例中，RDMM 122将命令输出到远程计算设备118A。作为另一示例，RDMM 122可以向ISS 117输出命令，ISS117可以将命令的指示(例如，命令它本身或表示命令的数据)转发到远程计算设备118A。响应于接收到命令，远程计算设备118A可以执行命令中包括的操作。例如，远程计算设备118A可以将设置闹钟的时间从下午3点更新为下午4点。
以这种方式，本公开的技术可以使得计算设备能够基于模板GUI输出与相应的远程计算设备相关联的GUI。通过基于模板GUI来生成GUI，计算设备可以通过允许用户更容易地与远程计算设备交互来改善用户体验。例如，计算设备可以使得用户能够在不需要与每个相应的远程计算设备相关联的特定应用的情况下控制相应的远程计算设备。减少用于与远程计算设备交互并且控制远程计算设备的应用的数目可以减少由计算设备利用的计算资源(例如，存储器、处理周期、电池电力等)的量。例如，与具有为每个远程计算设备安装的不同应用的计算设备相比，减少控制远程计算设备所需的应用的数目可以使得计算设备能够使用更少的存储空间。此外，基于模板GUI自动地生成GUI可以使得移动计算设备能够接收更少的用户输入，这些用户输入否则可能是搜索应用、启动应用并且通过应用的各种GUI来导航以控制远程计算设备所需要的。此外，本公开的技术可以使得计算设备能够在不需要最初设立计算设备与远程计算设备之间的通信以彼此通信的情况下控制远程计算设备，本公开的技术可以减少由计算设备接收到的用户输入的数目，这可以减少接通显示器的时间和接收到的输入的数目。以这种方式，计算设备可以执行更少的操作和/或更迅速地关闭显示器，从而减少由计算设备消耗的电力。此外，使得计算设备能够在不用执行初始通信设立的情况下控制远程计算设备可以改善用户体验。此外，取决于与给定远程计算设备的接近度(例如，通过参考阈值距离)选择性地生成GUI能够通过允许在适当时间直观访问这种控件来改善对远程计算设备的操作的控制。例如，此方法可以降低意外地操作除用户所打算的远程计算设备以外的远程计算设备的可能性。
图2是图示依照本公开的一个或多个方面的被配置成动态地生成任务快捷方式的示例计算设备的框图。计算设备210是图1的计算设备110的更详细示例。图2图示计算设备210的仅一个特定示例，并且计算设备210的许多其他示例可以被用在其他实例中并且可以包括示例计算设备210中包括的组件的子集或者可以包括图2中未示出的附加组件。
如图2的示例所示，计算设备210包括一个或多个处理器230、存在敏感显示器240、一个或多个输入组件242、一个或多个输出组件244、一个或多个通信单元246、一个或多个存储设备248和运动传感器250。计算设备210的存储设备248包括UI模块220、RDMM 222和模板GUI数据存储228。
通信信道249可以互连组件230、240、242、244、246、248和/或250中的每一个以进行组件间通信(物理上、通信地和/或在操作上)。在一些示例中，通信信道249可以包括系统总线、网络连接、一个或多个进程间通信数据结构，或用于传递数据(也称为信息)的任何其他组件。
计算设备200的一个或多个通信单元246可以通过传送和/或接收数据来与外部设备进行通信。例如，计算设备200可以使用通信单元246中的一个或多个来在诸如蜂窝无线电网络的无线电网络上传送和/或接收无线电信号。在一些示例中，通信单元246可以在诸如全球定位系统(GPS)网络的卫星网络上传送和/或接收卫星信号。通信单元246的示例包括网络接口卡(例如，诸如以太网卡)、光收发器、射频收发器、GPS接收器，或能够发送和/或接收信息的任何其他类型的设备。通信单元246的其他示例可以包括在移动设备中存在的短波无线电设备(例如，NFC、蓝牙(包括BLE))、GPS、3G、4G、5G和WIFI无线电设备以及通用串行总线(USB)控制器等。
计算设备210的一个或多个输入组件242可以接收输入。输入的示例是触觉、音频、动能和光输入，仅举几个示例。在一个示例中，计算设备210的输入组件242包括鼠标、键盘、语音响应系统、摄像机、按钮、控制板、麦克风或用于检测来自人类或机器的输入的任何其他类型的设备。在一些示例中，输入组件242可以是存在敏感输入组件，其可以包括存在敏感屏幕、触敏屏幕等。
计算设备210的一个或多个输出组件244可以生成输出。输出的示例是触觉、音频和视频输出。在一些示例中，计算设备210的输出组件244包括存在敏感屏幕、声卡、视频图形适配器卡、扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)，或用于向人类或机器生成输出的任何其他类型的设备。输出组件可以包括显示组件，诸如阴极射线管(CRT)监视器、液晶显示器(LCD)、发光二极管(LED)或用于生成触觉、音频和/或视觉输出的任何其他类型的设备。
在一些示例中，计算设备210的存在敏感显示器240可以包括输入组件242和/或输出组件244的功能性。在图2的示例中，存在敏感显示器240可以包括存在敏感输入组件264，诸如存在敏感屏幕或触敏屏幕。在一些示例中，存在敏感输入组件264可以检测存在敏感输入组件处和/或附近的对象。作为一个示例范围，存在敏感输入组件264可以检测在存在敏感输入组件264的两英寸或更小内的对象，诸如手指或触针。存在敏感输入组件264可以确定存在敏感输入组件的检测到对象的位置(例如，(x,y)坐标)。在另一示例范围中，存在敏感输入组件264可以检测离存在敏感输入组件264两英寸或更小的对象，并且其他范围也是可能的。存在敏感输入组件264可以使用电容式、电感式和/或光学辨识技术来确定由用户的手指选择的存在敏感输入组件264的位置。
在一些示例中，存在敏感显示器240也可以使用如关于输出组件244所描述的触觉、音频或视频刺激来向用户提供输出。例如，存在敏感显示器240可以包括显示图形用户界面(例如，图1的GUI 114)的显示组件262。显示组件262可以是提供诸如关于输出组件244所描述的视觉输出的任何类型的输出组件。虽然被图示为计算设备210的集成组件，但是在一些示例中，存在敏感显示器240可以是与计算设备210的其他组件共享数据或信息路径以便传送和/或接收输入和输出的外部组件。例如，存在敏感显示器240可以是计算设备210的位于计算设备210的外部包装内并且物理上连接到所述外部包装的内置组件(例如，移动电话上的屏幕)。在另一示例中，存在敏感显示器240可以是计算设备210的位于计算设备210的包装外部并且与其物理上分离的外部组件(例如，与平板计算机共享有线和/或无线数据路径的监视器、投影仪等)。在一些示例中，存在敏感显示器240当位于计算设备210的包装外部并且与其物理上分离时，可以由两个单独的组件——用于接收输入的存在敏感输入组件264和用于提供输出的显示组件262——实现。
计算设备210内的一个或多个存储组件248可以存储用于在计算设备210的操作期间处理的信息(例如，计算设备210可以存储在计算设备210处执行期间由模块220、222、224和226访问的数据)。在一些示例中，存储组件248是暂时性存储器，意味着存储组件248的主要目的不是长期存储。计算设备210上的存储组件248可以作为易失性存储器被配置用于信息的短期存储并且因此在被断电的情况下不保持存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和本领域中已知的其他形式的易失性存储器。
在一些示例中，存储组件248也包括一个或多个计算机可读存储介质。在一些示例中，存储组件248包括一个或多个非暂时性计算机可读存储介质。存储组件248可以被配置成存储比由易失性存储器通常存储的信息量更大的信息量。存储组件248还可以作为非易失性存储器空间被配置用于信息的长期存储并且在通电/断电周期之后保持信息。非易失性存储器的示例包括磁硬盘、光盘、闪速存储器或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。存储组件248可以存储与模块220、222、224和226相关联的程序指令和/或信息(例如，数据)。存储组件248可以包括被配置成存储与模块220、222、224和226以及数据存储228相关联的数据或其他信息的存储器。
一个或多个处理器240可以实现与计算设备210相关联的功能性和/或执行与计算设备210相关联的指令。处理器240的示例包括应用处理器、显示控制器、辅助处理器、一个或多个传感器集线器以及被配置成充当处理器、处理单元或处理设备的任何其他硬件。模块220、222、224和226可以由处理器240操作以执行计算设备210的各种动作、操作或功能。例如，计算设备210的处理器240可以检索并执行由存储组件248存储的指令，这些指令使处理器240执行本文描述的归因于模块220、222、224和226的操作。指令当由处理器240执行时，可以使计算设备210将信息存储在存储组件248内。
UI模块220可以包括图1的计算设备110的UI模块120的所有功能性并且可以执行与UI模块120类似的操作以用于管理计算设备210在PSD 212处提供的用户界面(例如，用户界面114)，以用于处置来自用户的输入并且向用户输出。例如，UI模块220可以生成用于使PSD 212显示用户界面114及其元素的指令或命令。UI模块220可以是计算设备210的操作平台的一部分或者与其相关联。例如，UI模块220可以是计算设备210的操作系统的子模块、服务或活动，而不是计算设备210的与计算设备210的计算平台或操作系统分开的模块或应用。
RDMM 222可以包括图1的计算设备110的RDMM 122的所有功能性并且可以执行与RDMM 122类似的操作以用于动态地生成图形用户界面以使得计算设备210的用户能够控制计算设备210的远程计算设备118。RDMM 222可以与诸如远程计算设备118和ISS 117的外部系统和设备进行通信，以提供用于与远程计算设备118交互的GUI。
在一些示例中，通信单元246中的一个或多个通信单元接收由远程计算设备(例如，远程计算设备118A)广播的数据。换句话说，计算设备210接收由远程计算设备118A广播的消息。计算设备210接收由远程计算设备118A广播的消息，而无需接收命令计算设备210与远程计算设备118A建立通信会话的用户输入。在一个示例中，通信单元246接收包括来自远程计算设备118A的数据的短波无线电信号，诸如远程计算设备118A的标识信息和远程计算设备118A的状态信息。通信单元246将从远程计算设备118A接收到的数据输出到RDMM222以使得计算设备210的用户能够控制远程计算设备118A。
当计算设备210与远程计算设备118A之间的距离满足(例如，小于)阈值距离时，RDMM 222的通信会话管理器(CSM)224可以在计算设备210与远程计算设备118A之间自动地建立无线通信会话。例如，CSM 224可以使用蓝牙或WIFI DIRECT通信协议来通信地耦合远程计算设备118A和计算设备210，而无需接收用户输入来通信地耦合设备210和118A。在一些示例中，CSM 224建立通信会话的阈值距离是通信单元246能够检测到由远程计算设备118A广播的信号的距离。
当计算设备210与远程计算设备118A之间的距离满足阈值距离时，RDMM 222的GUI管理器226自动地生成与远程计算设备118A相关联的GUI。在一些示例中，GUI管理器226生成与远程计算设备118A相关联的GUI的阈值距离是通信单元246能够检测到由远程计算设备118A广播的信号的距离。在一个示例中，通信单元246包括NFC读取器并且GUI管理器226响应于在NFC读取器处接收到信号而自动地生成与远程计算设备118A相关联的GUI。换句话说，因为阈值距离可以是通信单元246能够检测到由远程计算设备118A广播的信号的距离，所以GUI管理器226可以在不用确定计算设备210与远程计算设备118A之间的距离的情况下生成与远程计算设备118A相关联的GUI。
虽然计算设备210可能未确定计算设备210与远程计算设备118A之间的距离，但是在一些实例中，计算设备210可以确定计算设备210与远程计算设备118之间的距离。在一些示例中，CSM 224基于从远程计算设备118A接收到的信号的一个或多个特性、从远程计算设备118A接收到的信息、计算设备210的特性或其组合来确定距离。信号的特性可以包括信号的强度、当信号由远程计算设备118A发送时与当信号由计算设备210接收到时之间的时间量等。在一些示例中，从远程计算设备118A接收到的信息可以包括指示远程计算设备118A的当前位置的信息(例如，GPS坐标或远程计算设备118A位于其中的建筑物或房间)，或由远程计算设备118A输出的信号的功率或信号强度(例如，其可以指示远程计算设备118A的近似广播距离)。在一些示例中，计算设备210的特性包括计算设备210的当前位置。在一个示例中，计算设备210的特性包括一种类型的通信单元246(例如，其可以指示通信单元246能够检测到信号的距离或可在其下检测到信号的阈值信号强度)等。
CSM 224可以附加地或替换地基于从一个或多个传感器251接收到的数据来确定计算设备210与远程计算设备118A之间的距离。传感器251可以包括图像传感器(例如，相机)、光学传感器、红外传感器、超声传感器等。在一些示例中，CSM 224从图像传感器接收图像数据并且基于图像数据来确定计算设备210与远程计算设备118A之间的距离。作为一个示例，CSM 224可以在图像内(例如，使用图像辨识技术)识别远程计算设备118A，确定远程计算设备118A的像素的数目，并且基于像素的数目来确定到远程计算设备118A的距离。在一些实例中，CSM 224可以使一个或多个传感器发射信号(例如，光、声音等)并且基于所发射的信号的反射(也称为返回信号)来确定计算设备210与远程计算设备118A之间的距离。
在一个场景中，在确定计算设备210与远程计算设备118A之间的距离之后，CSM224将该距离与阈值距离进行比较以确定计算设备210与远程计算设备118A之间的距离是否满足阈值距离。
GUI管理器226自动地生成与远程计算设备118A相关联的GUI的阈值距离可以与CSM 224在计算设备210与远程计算设备118A之间自动地建立无线通信会话的阈值距离相同或不同。例如，CSM 224可以在计算设备210与远程计算设备118A之间的距离满足(例如，小于)第一阈值距离(例如，5米)时建立通信会话，并且GUI管理器226可以在计算设备210与远程计算设备118A之间的距离满足第二阈值距离(例如，1米)时生成与远程计算设备相关联的GUI。例如，GUI管理器226可以避免发起与远程计算设备118A相关联的GUI的输出，直到计算设备210与远程计算设备118A之间的距离满足第二(例如，更近或更小)阈值距离为止。换句话说，在一些实例中，GUI管理器226不使PSD 212显示与远程计算设备118A相关联的GUI，直到计算设备210和远程计算设备118A彼此更近为止。利用不同的阈值可以使得计算设备210能够在无需中断计算设备210与用户之间的交互的情况下在后台中建立通信会话，并且使得计算设备210能够在设备210和118A之间的距离进入第二(例如，更近)阈值距离内时与远程计算设备118A快速地且无缝地进行通信。
GUI管理器226可以响应于确定计算设备210与远程计算设备118A之间的距离满足阈值距离而生成与远程计算设备118A相关联的GUI。在一些示例中，GUI管理器226使用模板GUI来生成与远程计算设备118A相关联的GUI。
在一些示例中，GUI管理器226从多个模板GUI中选择模板GUI以显示与远程计算设备118A相关联的状态信息的至少一部分。GUI管理器226可以基于远程计算设备118A的标识信息、计算设备210的操作状态或其组合来从多个模板GUI中选择模板GUI。标识信息可以指示远程计算设备118的类型(例如，型号、制造商、电器类型)。在一个示例中，计算设备的类型指示远程计算设备118A是家用电器(例如，厨房电器，诸如洗碗机或烤箱；洗衣房电器，诸如洗衣机、干衣机；或公共设施电器，诸如HVAC、软水器等)、车辆等。在另一示例中，远程计算设备的类别可以是指时钟、恒温器、船、汽车等。计算设备210的操作状态可以包括计算设备210的锁定状况或显示状况。
GUI管理器226使用所选择的模板GUI来生成与远程计算设备118A相关联的GUI。计算设备210可以在模板GUI数据存储228中存储一个或多个模板GUI的信息(例如，用于生成一个或多个模板GUI的数据)。例如，模板GUI数据存储228可以包括指示模板GUI中的每一个的显示位置、每个模板GUI的显示大小(例如，像素的数目)、模板GUI内的图形元素的大小、位置和/或数目、图形元素的格式化信息(例如，字体类型、大小、颜色等)等。在另一示例中，GUI管理器226向另一计算设备(例如，ISS 117)查询与模板GUI相关联的信息。
在一些示例中，GUI管理器226用与远程计算设备118A被配置成执行的操作相关联的信息来填充模板GUI。GUI管理器226基于远程计算设备118A的标识信息、远程计算设备118A的状态信息或两者来确定远程计算设备118A被配置成执行的一个或多个操作。在一个实例中，由计算设备210接收到的状态信息可以包括指示远程计算设备118A被配置成执行的操作集合的数据，并且GUI管理器226可以解析远程计算设备118A的状态信息以确定远程计算设备118A被配置成执行的操作集合。在另一实例中，GUI管理器226可以通过基于远程计算设备118A的标识信息来查询数据存储230来确定远程计算设备118A被配置成执行的操作集合。在又一实例中，RDM 222可以基于标识信息来查询ISS 117以确定远程计算设备118A被配置成执行的操作集合。
响应于生成与远程计算设备118A相关联的GUI(例如，图1的GUI 114)，GUI管理器226将该GUI输出到UI模块220，这使PSD 212显示与远程计算设备118A相关联的GUI。在一些示例中，与远程计算设备118A相关联的GUI包括多个图形元素(例如，文本框、图像、图标等)。在一些示例中，GUI 114的图形元素包括指示远程计算设备118A被配置成执行的一个或多个相应操作的信息、远程计算设备118A的标识信息和/或远程计算设备118A的状态信息。在一个示例中，与远程计算设备118A相关联的GUI 114包括每一个包括指示远程计算设备118A被配置成执行的一个或多个相应操作的信息的图形元素134、包括指示计算设备110的状态的信息(例如，针对其设置计算设备110的闹钟的时间)的图形元素132以及包括远程计算设备118A的标识信息和/或远程计算设备118A的状态信息的图形元素130。
在一些示例中，CSM 224可以响应于接收到选择与远程计算设备118A被配置成执行的操作相对应的图形元素(例如，图1的GUI 114的图形元素134A)的用户输入而向远程计算设备118A输出要执行操作的命令。PSD 212的存在敏感输入组件264可以检测选择由PSD212的显示组件262显示的与远程计算设备118A相关联的GUI的图形元素134A的用户输入。UI模块220可以解释输入以确定PSD 212的检测到输入的显示位置并且确定与远程计算设备118A的操作相关联的图形元素中的任一个(例如，图1的图形元素134A)是否位于该位置处。UI模块220可以确定与远程计算设备118A的特定操作相关联的特定图形元素134A被显示在PSD 212的检测到用户输入的位置处，并且可以向RDMM 222输出指示图形元素134A被选择的数据。
响应于接收到指示与远程计算设备118A相关联的GUI的特定图形元素134A被选择的数据，RDMM 222的CSM 224确定与所选择的图形元素134A相对应的操作并且将该操作的指示传送到远程计算设备118A。例如，CSM 224可以输出要执行与所选择的图形元素相对应的操作的命令。CSM 224可以使用通信单元246中的一个来将命令输出到远程计算设备118A。在一些示例中，CSM 224使用通信单元246中的与接收到用于确定计算设备210与远程计算设备118A之间的距离的信号的通信单元246不同的通信单元来输出命令。例如，计算设备210可以基于使用一个通信单元246(例如，使用NFC)从远程计算设备118A接收到的信号(例如，其包括初始消息或广播)来确定计算设备210与远程计算设备118A之间的距离，并且使用不同的通信单元(例如，使用BLUETOOTH或WIFI DIRECT)来输出要执行操作的命令。
在一些示例中，计算设备210可以响应于确定计算设备210已物理上接触了远程计算设备118A而向远程计算设备118A输出要执行操作的命令。CSM 224可以基于由一个或多个运动传感器250生成的运动传感器数据和由通信单元246中的一个或多个接收到的通信数据来确定计算设备210已物理上接触远程计算设备118A。运动传感器250的示例包括加速度计和陀螺仪等。在一个场景中，CSM 224响应于接收到指示计算设备210在第一时间间隔期间沿第一方向行进(例如，随着计算设备210朝向远程计算设备118A行进)的运动数据(例如，加速度计数据)紧接着在第二时间间隔期间的方向急剧变化(例如，在计算设备210从远程计算设备118A反射或反弹之后基本上相反的方向上)而确定计算设备210接触了对象。CSM 224可以基于使用通信单元246中的一个(例如，NFC读取器)从远程计算设备118A接收到的数据来确定计算设备210和远程计算设备118A在彼此的阈值距离内。在一个示例中，CSM 224可以响应于确定计算设备210接触了对象并且计算设备210和远程计算设备118A在阈值距离内而确定计算设备210物理上接触了远程计算设备118A。响应于确定计算设备210物理上接触了远程计算设备210，计算设备210可以输出要执行与设备之间的物理接触相关联的预定操作的命令。
在一些示例中，CSM 224可以经由图1的ISS 117向远程计算设备118A输出要执行操作的命令，使得ISS 117可以将命令的指示(例如，命令它本身或表示命令的数据)转发到远程计算设备118A。响应于接收到命令，远程计算设备118A可以执行命令中包括的操作。
在输出或传送指示要由远程计算设备118A执行的操作的命令之后，GUI管理器226可以更新与远程计算设备118A相关联的GUI。在一些示例中，GUI管理器226可以响应于从远程计算设备118A接收到更新的消息而更新与远程计算设备118A相关联的图形用户界面。例如，响应于命令远程计算设备118A更新针对其设置闹钟的时间，远程计算设备118A可以更新闹钟被设置为的时间并且可以为远程计算设备118A广播指示经更新的信息(例如，更新状态信息，诸如现在闹钟被设置为的经更新的时间)的消息。GUI管理器226可以接收具有远程计算设备118A的经更新的信息的经更新的消息并且可以基于经更新的信息来更新GUI114。例如，GUI管理器226可以从远程计算设备118A接收指示针对其设置闹钟的时间的数据并且更新GUI 114以包括闹钟的经更新的时间。
当计算设备210与远程计算设备118A之间的距离不再满足阈值距离时，GUI管理器226可以输出不包括与远程计算设备118A相关联的信息的另一GUI。换句话说，当距离不再满足阈值距离时，CSM 224可以终止通信会话并且GUI管理器226可以自动地使PSD 212从由PSD 212显示的用户界面中移除与远程计算设备118A相关联的信息。换句话说，PSD 212可以在计算设备210的用户将计算设备210和远程计算设备118A带至彼此的阈值距离内时自动地输出与远程计算设备118A相关联的GUI，并且可以在计算设备210的用户将计算设备210和远程计算设备118A分开至少阈值距离时从由PSD 212显示的界面中自动地移除与计算设备118A相关联的GUI。作为一个示例，在计算设备118A包括闹钟时钟的示例中，不是要求计算设备210的用户打开应用并且导览各种屏幕或菜单以控制闹钟时钟，而是GUI管理器226可以自动地输出与闹钟时钟相关联的GUI，该GUI使得计算设备210的用户能够在用户接近闹钟时钟时更新闹钟时钟(例如，设置闹钟、改变针对其设置闹钟的时间、改变当前时间、使闹钟静默等)，并且可以随着用户离开闹钟时钟而自动地移除与闹钟时钟相关联的GUI。
在一些示例中，GUI管理器226响应于指示要从用户界面中移除与远程计算设备118A相关联的信息的命令的用户输入而从由PSD 212显示的用户界面中移除与远程计算设备118A相关联的信息。例如，PSD 212可以检测指示要从用户界面中移除与远程计算设备118A相关联的信息的命令的轻敲、扫掠或其他用户输入，并且GUI管理器226可以解释用户输入并且使PSD 212从GUI中移除与远程计算设备118A相关联的信息。作为另一示例，GUI管理器226响应于确定用户尚未在阈值时间量内与和远程计算设备118A相关联的GUI交互而移除与远程计算设备118A相关联的GUI。
图3A-3D是图示依照本公开的一个或多个方面的由被配置成动态地生成用于控制远程计算设备的图形界面的示例计算设备呈现的示例图形用户界面的概念图。在下面在图1的系统100的背景中描述图3A-3D。
在图3A的示例中，计算设备110输出GUI 314A。GUI 300A可以包括与在计算设备110处执行的应用和/或在计算设备110处执行的操作系统相关联的信息。在图3A的示例中，GUI 300A包括在计算设备110处执行的操作系统的主屏幕的信息。
如上所述，计算设备110可以接收由图1的远程计算设备(例如，台面扬声器)118A广播的信息并且在计算设备110与远程计算设备118A之间的距离满足阈值距离时自动地输出与远程计算设备118A相关联的GUI 314B。例如，当距离满足阈值距离时，计算设备110可以在无需用户输入的情况下在计算设备110与远程计算设备118A之间自动地建立通信会话并且输出GUI 314B。GUI 314B包括与远程计算设备118A相关联的图形元素320。在图3B的示例中，图形元素320指示远程计算设备118A在计算设备210的阈值距离内。
如图3C所图示的，计算设备110输出与远程计算设备118A相关联的GUI 314C。在一些示例中，计算设备110响应于接收到选择图3B的图形元素320的用户输入而输出GUI314C。在另一示例中，计算设备110可以在计算设备110与远程计算设备118A之间的距离满足(例如，小于)不同的阈值距离时输出GUI 314C。计算设备110基于模板GUI以及与远程计算设备118A被配置成执行的一个或多个操作相关联的信息来生成GUI 314A。在图3C的示例中，GUI 314C包括可以包括指示远程计算设备118A被配置成执行的一个或多个相应操作的信息的图形元素334A-334C(统称为图形元素334)。在一些示例中，图形元素330包括远程计算设备118A的标识信息和/或远程计算设备118A的状态信息。在图3C的示例中，通过图形元素330显示的标识信息指示远程计算设备118A的类型(例如，“厨房扬声器”、“智能显示器”、“条形音响”等)。如图3C所图示的，通过图形元素330显示的状态信息包括远程计算设备118A当前正在输出什么(若有的话)音频的指示以及由远程计算设备118A保持的定时器上剩余的时间量(例如，剩余5:25)。图形元素332可以包括指示计算设备110的状态(例如，音乐播放器的状况和/或呼叫的状况)的信息。响应于生成GUI 314C，RDMM 122将GUI 314C输出到UI模块120，这使PSD 112显示GUI 314C。
当远程计算设备118A与计算设备110之间的距离不再满足阈值距离(例如，第一阈值距离或第二阈值距离)时，计算设备110可以输出不包括与远程计算设备118A相关联的信息的GUI 300D。例如，计算设备110可以终止计算设备110与远程计算设备110之间的通信会话并且可以从由PSD 112显示的GUI中移除与远程计算设备118A相关联的信息。
图4是图示依照本公开的一个或多个方面的由动态地生成用于控制远程计算设备的图形界面的示例计算设备执行的示例操作的流程图。在图1的背景中描述图4。
计算设备110使用短波无线通信单元来经由来自远程计算设备118A的信号接收数据(402)。从远程计算设备118A接收到的数据可以包括远程计算设备118A的状态信息和远程计算设备118A的标识信息。状态信息的示例包括指示远程计算设备118A的一个或多个特性、远程计算设备118A被配置成执行的操作或两者的信息。
计算设备110可以确定计算设备110与远程计算设备118A之间的距离是否满足(例如，小于)阈值距离(404)。在一些示例中，计算设备110基于从远程计算设备118A接收到的信号的一个或多个特性和/或信号中包括的数据来确定计算设备110与远程计算设备118A之间的距离。例如，计算设备110可以基于信号的强度、信号在远程计算设备118A与计算设备110之间行进的时间、信号中包括的位置信息或其组合来确定距离。响应于确定距离不满足阈值距离(404的“否”分支)，计算设备110可以输出不包括与远程计算设备118A相关联的信息的GUI(405)(例如，通过继续输出与紧接在确定距离不满足阈值距离之前显示的相同的GUI)并且重新计算距离以确定距离是否满足阈值距离。
在图4的示例中，计算设备110响应于确定距离满足阈值距离(404的“是”分支)而从多个模板GUI中确定特定模板GUI(406)。计算设备110可以基于从远程计算设备118A接收到的标识信息、计算设备110的状态或两者来确定或选择特定GUI。例如，计算设备110可以取决于计算设备110的状态(例如，解锁对比锁定、显示操作系统的主屏幕GUI对比与在计算设备110处安装的应用相关联的应用GUI)而选择不同的模板GUI。作为另一示例，计算设备110可以基于远程计算设备118A的类型(例如，时钟、无线电设备、家用电器、车辆等)来选择不同的模板GUI。
在一些示例中，计算设备110确定远程计算设备118A被配置成执行的一个或多个操作(408)。作为一个示例，计算设备110基于远程计算设备118A的状态信息来确定一个或多个操作。例如，状态信息可以指定远程计算设备118A被配置成执行的一组操作。作为另一示例，计算设备110可以基于远程计算设备118A的标识信息来确定远程计算设备118A被配置成执行的操作。例如，计算设备110可以基于标识信息来确定远程计算设备118A的类型并且可以基于该类型来确定远程计算设备118A被配置成执行的操作。
计算设备110输出包括每一个对应于远程计算设备118A被配置成执行的相应操作的一个或多个图形元素的GUI(例如，GUI 114)(410)。例如，所确定的模板GUI包括针对远程计算设备118A被配置成执行的相应操作的一个或多个图形元素，并且计算设备110通过用指示远程计算设备118A被配置成执行的一个或多个相应操作的信息填充特定模板GUI的图形元素来生成与远程计算设备118A相关联的GUI 114。
在显示与远程计算设备118A相关联的GUI 114之后，计算设备110可以接收选择一个或多个图形元素中的特定图形元素的用户输入(412)。例如，PSD 112可以检测选择GUI114的图形元素的用户输入并且计算设备110可以确定与所选择的图形元素相关联的远程计算设备118A的操作。
在图4的示例中，计算设备110将与特定图形元素相对应的操作的指示传送到远程计算设备118A(414)。计算设备110可以直接或间接(例如，经由ISS 117)向远程计算设备传送或输出指示操作的数据。例如，计算设备110可以使用从远程计算设备118A接收到数据的相同的短距离无线通信单元或不同的短距离无线通信来向远程计算设备118A输出要执行与所选择的图形元素相关联的操作的命令。在一些示例中，计算设备110使用第一短距离无线通信单元(例如，使用NFC协议)来从远程计算设备118A接收数据并且使用第二不同的短距离无线通信单元(例如，使用蓝牙或WIFI DIRECT协议)来将命令传送到远程计算设备。响应于将操作的指示传送到远程计算设备118A，计算设备110可以(例如，使用第一短距离无线通信单元或第二短距离无线通信单元)从远程计算设备118A接收更新的数据(例如，第二信号)。
在一个或多个示例中，所描述的功能可以用硬件、硬件和软件、硬件和固件或其任何组合加以实现。如果用软件加以实现，则功能可以作为一个或多个指令或代码被存储在计算机可读介质上或者通过计算机可读介质传送并且由基于硬件的处理单元执行。计算机可读介质可以包括一个或多个计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或包括方便例如根据通信协议将计算机程序从一个地方转移到另一地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是能够由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，此类计算机可读存储介质能够包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置或其他磁存储设备、闪速存储器，或能够用于以指令或数据结构的形式存储期望程序代码并且能够由计算机访问的任何其他存储介质。另外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其他远程源传送指令，则在介质的定义中包括同轴电缆、光纤电缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术。然而，应该理解，一个或多个计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是替代地针对非瞬态有形存储介质。如本文所使用的磁盘和光盘包括紧致盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘，其中磁盘通常磁性上再现数据，然而光盘用激光光学上再现数据。上述的组合也应该被包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，所述处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。因此，如本文所使用的术语“处理器”可以是指前述结构中的任一种或适合于实现本文描述的技术的任何其他结构。另外，在一些方面中，可以在专用硬件和/或软件模块内提供本文描述的功能性。另外，这些能完全用一个或多个电路或逻辑元件加以实现。
本公开的技术可以用包括无线头戴式耳机、集成电路(IC)或IC组(例如，芯片组)的各式各样设备或装置加以实现。在本公开中描述了各种组件、模块或单元以强调被配置成执行所公开的技术的设备的功能方面，但是不一定要求由不同的硬件单元实现。相反，如上所述，各种单元可以被组合在硬件单元中或者结合合适的软件和/或固件通过包括如上所述的一个或多个处理器的互操作硬件单元的集合来提供。
已经描述了各种实施例。这些和其他实施例在以下权利要求的范围内。

Claims (15)

1.一种方法，所述方法包括：
由第一计算设备从第二计算设备使用所述第一计算设备的短距离无线通信单元来接收包括所述第二计算设备的状态信息和所述第二计算设备的标识信息的数据；以及
响应于所述第一计算设备与所述第二计算设备之间的距离满足阈值距离：
由所述第一计算设备基于所述标识信息从多个模板图形用户界面中确定特定模板图形用户界面；
由所述计算设备基于所述状态信息来确定所述第二计算设备被配置成执行的一个或多个操作；
由所述第一计算设备使用所述特定模板图形用户界面来输出与所述远程计算设备相关联并且包括一个或多个图形元素的图形用户界面，所述一个或多个图形元素每一个对应于所述第二计算设备被配置成执行的所述一个或多个操作中的相应操作；
由所述第一计算设备接收选择所述一个或多个图形元素中的特定图形元素的用户输入；以及
由所述第一计算设备向所述第二计算设备传送与所述特定图形元素相对应的所述操作的指示。
2.根据权利要求1所述的方法，还包括：
响应于所述第一计算设备与所述第二计算设备之间的距离满足所述阈值距离而在所述第一计算设备与所述第二计算设备之间建立通信会话；以及
在将所述操作的所述指示传送到所述第二计算设备之后并且响应于所述第一计算设备与所述第二计算设备之间的距离不再满足所述阈值距离：
终止所述通信会话；以及
由所述第一计算设备输出不包括与所述远程计算设备相关联的所述图形用户界面的更新的图形用户界面。
3.根据权利要求1-2中的任一项所述的方法，还包括：
由所述第一计算设备确定所述第一计算设备与所述第二计算设备之间的距离；以及
由所述第一计算设备确定所述第一计算设备与所述第一计算设备之间的距离是否满足所述阈值距离。
4.根据权利要求3所述的方法，其中，确定所述第一计算设备与所述第二计算设备之间的距离包括由所述计算设备基于通过所述短距离无线通信单元接收到的信号的特性来确定所述第一计算设备与所述第二计算设备之间的距离，所述信号包括所述状态信息和所述标识信息。
5.根据权利要求4所述的方法，
其中，所述短距离无线通信单元是第一短距离无线通信单元，
其中，传送与所述特定图形元素相对应的操作的所述指示包括由所述第一计算设备使用第二短距离无线通信单元来传送与所述特定图形元素相对应的操作的所述指示。
6.根据权利要求1-5中的任一项所述的方法，其中，接收所述状态信息和所述标识信息包括自动地接收所述状态信息和标识信息而无需接收命令所述第一计算设备建立与所述第二计算设备的通信会话的用户输入。
7.根据权利要求1-6中的任一项所述的方法，其中，所述阈值距离是第一阈值距离，所述方法还包括：
进一步响应于所述第一计算设备与所述第二计算设备之间的距离满足所述第一阈值距离，输出指示所述第一计算设备在所述第一阈值距离内的图形元素；以及
响应于所述第一计算设备与所述第二计算设备之间的距离满足第二阈值距离，输出包括所述一个或多个图形元素的所述图形用户界面，所述一个或多个图形元素每一个对应于所述第二计算设备被配置成执行的相应操作。
8.根据权利要求1-7中的任一项所述的方法，其中，所述阈值距离是第二阈值距离，所述方法还包括：
响应于所述第一计算设备与所述第二计算设备之间的距离满足第一阈值距离，由所述第一计算设备在所述第一计算设备与所述第二计算设备之间自动地建立无线通信会话并且暂时避免发起与所述第二计算设备相关联的所述图形用户界面的输出，
其中，输出所述图形用户界面包括响应于确定所述第一计算设备与所述第二计算设备之间的距离满足所述第二阈值距离而输出所述图形用户界面，所述第二阈值距离小于所述第一阈值距离。
9.根据权利要求1-8中的任一项所述的方法，
由所述第一计算设备检测所述第一计算设备与所述第二计算设备之间的物理接触，其中，所述第一计算设备与所述第二计算设备之间的物理接触与所述第二计算设备被配置成执行的所述一个或多个操作中的预定操作相关联；以及
响应于检测到所述物理接触，由所述第一计算设备向所述第二计算设备传送所述预定操作的指示。
10.根据权利要求1-9中的任一项所述的方法，其中，确定所述特定模板图形用户界面是至少部分地基于所述第一计算设备的操作状态。
11.根据权利要求1-10中的任一项所述的方法，其中，所述标识信息指示所述第二计算设备的类型。
12.根据权利要求1-11中的任一项所述的方法，
其中，所述状态信息包括指示所述第二计算设备的一个或多个操作参数的信息，以及
其中，所述图形用户界面还包括指示所述第二计算设备的所述一个或多个操作参数的信息。
13.一种计算设备，所述计算设备包括：
至少一个处理器；以及
包括指令的存储器，所述指令在由所述至少一个处理器执行时，使所述至少一个处理器执行根据权利要求1-12中的任一项所述的方法。
14.一种计算系统，所述计算系统包括用于执行根据权利要求1-12中的任一项所述的方法的装置。
15.一种包括指令的计算机可读存储介质，所述指令在由计算设备的至少一个处理器执行时，使所述至少一个处理器执行根据权利要求1-12中的任一项所述的方法。
CN201980089681.4A 2019-01-21 2019-01-21 使用用户界面模板来控制远程设备 Pending CN113366820A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/014403 WO2020153933A1 (en) 2019-01-21 2019-01-21 Controlling remote devices using user interface templates

Publications (1)

Publication Number Publication Date
CN113366820A true CN113366820A (zh) 2021-09-07

Family

ID=65366006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089681.4A Pending CN113366820A (zh) 2019-01-21 2019-01-21 使用用户界面模板来控制远程设备

Country Status (5)

Country Link
US (1) US11978335B2 (zh)
EP (1) EP3895460B1 (zh)
CN (1) CN113366820A (zh)
DE (1) DE112019006699T5 (zh)
WO (1) WO2020153933A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436767A (zh) * 2023-12-15 2024-01-23 云南师范大学 基于近远程耦合协调模型的评估方法、系统及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
EP3195098B1 (en) 2014-07-21 2024-10-23 Apple Inc. Remote user interface
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
CN112130720A (zh) 2014-09-02 2020-12-25 苹果公司 多维对象重排
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
WO2020149860A1 (en) 2019-01-18 2020-07-23 Google Llc Modifying the type of interaction between a mobile computing device and a peripheral device based on proximity
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US20220083183A1 (en) * 2020-09-14 2022-03-17 Apple Inc. Device management user interface
US20220291726A1 (en) * 2021-03-09 2022-09-15 Apple Inc. Transferrable interface
FR3136870A1 (fr) * 2022-06-28 2023-12-22 Orange Procédé de traitement d’une interface d’utilisateur configurée pour communiquer avec un terminal de communication.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2890059A1 (en) * 2013-12-31 2015-07-01 Samsung Electronics Co., Ltd Display apparatus and method for controlling and monitoring peripheral devices in a home network
US20170372600A1 (en) * 2015-01-16 2017-12-28 Nokia Technologies Oy Method, apparatus, and computer program product for local control through intermediate device
WO2018017660A1 (en) * 2016-07-20 2018-01-25 Pcms Holdings, Inc. Systems, methods, and devices for providing a user interface based on proximity
US10032365B1 (en) * 2017-10-16 2018-07-24 Universal Electronics Inc. Apparatus, system and method for using a universal controlling device for displaying a graphical user element in a display device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7649456B2 (en) * 2007-01-26 2010-01-19 Sony Ericsson Mobile Communications Ab User interface for an electronic device used as a home controller
CA2689727A1 (en) 2009-02-27 2010-08-27 Research In Motion Limited Methods and apparatus for use in selectively retrieving and displaying user interface information of a wireless peripheral device
GB2485692B (en) * 2009-08-13 2016-06-08 Hewlett Packard Development Co Lp Using display monitor user controls to adjust an accessory
US20140242913A1 (en) 2013-01-01 2014-08-28 Aliphcom Mobile device speaker control
US20140235265A1 (en) * 2013-02-19 2014-08-21 Homersoft Sp. Zo.O. Dynamic proximity control system
CN103309308B (zh) * 2013-05-17 2016-08-10 华为技术有限公司 一种设备智能化控制方法及装置、系统、即插即用设备
US11297014B2 (en) 2013-05-18 2022-04-05 Loralee Hajdu System to help prevent distracted driving
US9979438B2 (en) 2013-06-07 2018-05-22 Apple Inc. Controlling a media device using a mobile device
JP6514437B2 (ja) 2014-03-24 2019-05-15 キヤノン株式会社 携帯端末及びその制御方法とプログラム
KR102451469B1 (ko) 2016-02-03 2022-10-06 삼성전자주식회사 외부 전자 장치를 제어하기 위한 방법 및 전자 장치
KR20170114636A (ko) 2016-04-05 2017-10-16 삼성전자주식회사 식별 정보를 제공하는 전자 장치 및 방법
US10664899B2 (en) 2016-08-15 2020-05-26 Google Llc Systems and methods for detection of navigation to physical venue and suggestion of alternative actions
US10024669B2 (en) 2016-08-30 2018-07-17 Google Llc Rerouting in a navigation system based on updated information
KR102496793B1 (ko) 2016-12-13 2023-02-06 현대자동차 주식회사 통합 원격 제어 시스템 및 이를 이용한 원격 제어 방법이 구현된 컴퓨터로 판독 가능한 기록매체
US10180682B2 (en) 2017-02-23 2019-01-15 The Directv Group, Inc. Shared control of vehicle functions
KR102367445B1 (ko) 2017-06-30 2022-02-25 삼성전자주식회사 외부 전자 장치와 통신하는 전자 장치 및 방법
US11265381B2 (en) 2018-03-28 2022-03-01 Joyson Safety Systems Acquisition Llc System and method for near field communication coupling in a vehicle
US11233671B2 (en) 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2890059A1 (en) * 2013-12-31 2015-07-01 Samsung Electronics Co., Ltd Display apparatus and method for controlling and monitoring peripheral devices in a home network
US20170372600A1 (en) * 2015-01-16 2017-12-28 Nokia Technologies Oy Method, apparatus, and computer program product for local control through intermediate device
WO2018017660A1 (en) * 2016-07-20 2018-01-25 Pcms Holdings, Inc. Systems, methods, and devices for providing a user interface based on proximity
US10032365B1 (en) * 2017-10-16 2018-07-24 Universal Electronics Inc. Apparatus, system and method for using a universal controlling device for displaying a graphical user element in a display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436767A (zh) * 2023-12-15 2024-01-23 云南师范大学 基于近远程耦合协调模型的评估方法、系统及存储介质
CN117436767B (zh) * 2023-12-15 2024-04-09 云南师范大学 基于近远程耦合协调模型的评估方法、系统及存储介质

Also Published As

Publication number Publication date
DE112019006699T5 (de) 2021-10-14
EP3895460B1 (en) 2023-12-27
EP3895460A1 (en) 2021-10-20
US11978335B2 (en) 2024-05-07
WO2020153933A1 (en) 2020-07-30
US20220101719A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
EP3895460B1 (en) Controlling remote devices using user interface templates
US11227600B2 (en) Virtual assistant identification of nearby computing devices
JP7382993B2 (ja) 計算機アシスタントによる遅延応答
KR102070196B1 (ko) 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US8756533B2 (en) Multiple seesawing panels
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
EP3701372B1 (en) Dynamically configurable application control elements
US9798512B1 (en) Context-based volume adjustment
PH12015500078B1 (en) A method and device for controlling a display device
US11716414B2 (en) Context aware airplane mode
CN113348657A (zh) 基于接近度修改移动计算设备与外围设备之间的交互类型
KR20150081571A (ko) 디스플레이 장치 및 그 제어 방법
JP2024148168A (ja) コンピューティングデバイスのための近接性に基づく出力選択
CN118192859A (zh) 对计算设备的基于接近度的输出选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination