CN105190523A - 通过与便携式电子设备可连接的子设备显示用户界面的方法和装置 - Google Patents

通过与便携式电子设备可连接的子设备显示用户界面的方法和装置 Download PDF

Info

Publication number
CN105190523A
CN105190523A CN201480025180.7A CN201480025180A CN105190523A CN 105190523 A CN105190523 A CN 105190523A CN 201480025180 A CN201480025180 A CN 201480025180A CN 105190523 A CN105190523 A CN 105190523A
Authority
CN
China
Prior art keywords
subset
portable electric
electric appts
popup menu
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480025180.7A
Other languages
English (en)
Inventor
李亮暾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105190523A publication Critical patent/CN105190523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种通过子设备在便携式电子设备中显示用户界面(UI)的方法和装置。该方法包括通过便携式电子设备感测子设备上与弹出菜单的显示相对应的输入，该弹出菜单由应用提供；将与弹出菜单相对应的UI配置信息发送至子设备；从子设备接收用户输入数据，该用户输入数据与在子设备上显示的弹出菜单上感测到的用户输入相对应；以及响应于接收到的用户输入数据来控制应用的执行。

Description

通过与便携式电子设备可连接的子设备显示用户界面的方法和装置
技术领域
本公开涉及提供一种便携式电子设备的用户界面(UI)。更具体地，本公开涉及一种用于通过子设备在电子设备中显示用户界面的方法和装置。
背景技术
便携式电子设备是为方便用户需求而开发的小尺寸设备并且以各种形式实现，例如个人数字助理(PDA)、视频播放器、台式个人计算机(PC)、智能手机等。具体地，智能手机具有呼叫功能，并且根据用户需要，可以下载各种应用并将其安装到智能手机中，使得智能手机已变得普及。
便携式电子设备的最大优点是高度便携性，因为便携式电子设备与诸如台式计算机或笔记本计算机的现有计算机设备相比，具有小尺寸。但是，由于该优势导致便携式电子设备的显示器在尺寸上受到无法避免的限制。为了克服这个限制，近来的便携式电子设备装备了集成有显示和输入装置的触摸屏。尽管这样，便携式电子设备的狭小显示屏仍会为用户使用各种应用带来不便。
提供以上信息作为背景信息以仅助于对本公开的理解。对于以上中的任何一个是否可作为关于本公开的现有技术并没有做出确定而且没有做出断言。
发明内容
技术问题
本公开的各方面至少解决以上提及的问题和/或缺点并至少提供如下描述的优点。相应地，本公开的一个方面提供一种在便携式电子设备中显示用户界面(UI)的方法和装置。
本公开的另一方面提供一种通过子设备在便携式电子设备中显示UI的方法和装置。
本公开的另一方面提供一种通过子设备在便携式电子设备中显示由执行的应用生成的输入屏幕的方法和装置。
本公开的另一方面提供一种通过子设备在便携式电子设备中显示弹出菜单的方法和装置。
本公开的另一方面提供一种通过子设备在便携式电子设备中感测用户输入的方法和装置。
技术方案
根据本公开的一个方面，提供了一种使用可与便携式电子设备连接的子设备的显示方法。该显示方法包括：通过便携式电子设备感测子设备上与弹出菜单的显示相对应的输入，该弹出菜单由应用提供；将与弹出菜单相对应的UI配置信息发送至子设备；从子设备接收用户输入数据，用户输入数据与显示在子设备上的弹出菜单上感测到的用户输入相对应；以及响应于接收到的用户输入数据，控制应用的执行。
根据本公开的另一方面，提供了一种在子设备上显示弹出菜单的方法，弹出菜单可显示在便携式电子设备上。该方法包括：从便携式电子设备接收与便携式电子设备的应用提供的弹出菜单相对应的UI配置信息；响应于接收UI配置信息，在子设备的显示屏上显示弹出菜单；感测子设备上显示的弹出菜单上的用户输入；以及将与感测到的用户输入相对应的用户输入数据发送至便携式电子设备。
根据本公开的另一方面，提供了一种通过子设备显示弹出菜单的便携式电子设备。该便携式电子设备包括显示屏、控制器以及通信单元，其中显示屏配置成显示所执行的应用生成的信息，控制器配置成感测在子设备上与显示由所执行的应用提供的弹出菜单相对应的输入、生成与弹出菜单相对应的UI配置信息并且响应于弹出菜单上感测到的用户输入控制应用的执行，通信单元配置成将UI配置信息发送至子设备并从子设备接收用户输入数据，该用户输入数据与显示在子设备上的弹出菜单上感测到的用户输入相对应。
根据本公开的另一方面，提供了一种用于显示弹出菜单的子设备，该弹出菜单可显示在便携式电子设备上。子设备包括显示屏、通信单元、以及控制器，其中通信单元配置成从便携式电子设备接收与便携式电子设备的应用中提供的弹出菜单相对应的UI配置信息，并且将与弹出菜单上感测到的用户输入相对应的用户输入数据发送至便携式电子设备，控制器配置成响应于接收UI配置信息在显示屏上显示弹出菜单，并且在感测到子设备上显示的弹出菜单上的用户输入的情况下，生成与感测到的用户输入对应的用户输入数据。
本公开的其他方面、优点以及显著特征将通过以下详细描述对本领域技术人员变得明显，以下详细描述与附图一起公开了本公开的各种实施方式。
附图说明
本公开某些实施方式的以上和其他方面、特征以及优势通过以下结合附图的描述将变得显而易见，在附图中：
图1示出了根据本公开的一个实施方式的便携式电子设备与子设备之间的连接；
图2是根据本公开的一个实施方式的便携式电子设备的框图；
图3是根据本公开的一个实施方式的子设备的框图；
图4示出了根据本公开的一个实施方式的便携式电子设备与子设备之间的连接；
图5示出了根据本公开的一个实施方式的执行应用的过程的流程图；
图6a和图6b是示出根据本公开的一个实施方式的提供便携式电子设备的操作的子用户界面(UI)的流程图；
图7是示出根据本公开的一个实施方式的使用子设备提供操作的子用户界面(UI)的流程图；
图8示出了根据本公开的一个实施方式在应用的工作区域上显示的弹出菜单的示例；
图9a、图9b、图9c、图9d、图9e和图9f是示出根据本公开的一个实施方式的描述便携式电子设备与子设备之间的一系列交互操作的示意图；
图10是示出根据本公开的另一实施方式的提供便携式电子设备的操作的子UI的流程图；
图11是示出根据本公开的另一实施方式的使用子设备提供操作的子UI的流程图；
图12a和图12b是根据本公开的一个实施方式描述便携式电子设备和子设备之间的交互的示意图；
图13是示出根据本公开的一个实施方式通过与图像编辑应用连接的子设备改变笔刷设置的操作的阶梯图；
图14a和图14b示出了根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷的操作；
图15a和图15b示出了根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷类型的操作；
图16a和图16b示出了根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷粗细的操作；
图17a和图17b示出了根据本公开的一个实施方式的图像编辑应用与手表之间的连接的示例；
图18示出了根据相关技术的照片查看器应用的屏幕；
图19示出了根据本公开的一个实施方式、便携式电子设备通过子设备提供照片查看器应用的子UI的操作的流程图；
图20是示出根据本公开的一个实施方式、子设备提供照片查看器应用的子UI的操作的流程图；
图21a、图21b、图21c和图21d是示出根据本公开的一个实施方式的描述提供照片查看器应用的子UI的操作的示意图；
图22示出了根据相关技术的游戏应用的屏幕；
图23是示出根据本公开的一个实施方式、通过子设备提供游戏应用的子UI的便携式电子设备的操作的流程图；
图24是示出根据本公开的一个实施方式、提供游戏应用的子UI的子设备操作的流程图；以及
图25a、图25b和图25c是示出根据本公开的一个实施方式、描述提供游戏应用的子UI的操作的示意图。
在全部附图中，相同的参考标号将被理解为指代相同的部分、部件和结构。
具体实施方式
参照附图提供以下描述以帮助全面理解由权利要求及其等同所限定的本公开的各种实施方式。以下描述包括各种具体细节以帮助理解，但是这些具体细节应当仅被视作示例性的。因此，本领域普通技术人员应认识到，在不背离本公开的范围和精神的情况下，可对本文所述的各个实施方式进行各种变化和修改。此外，为了清楚和简洁起见，可省略对众所周知的功能和结构的描述。
在下面的说明和权利要求中使用的术语和措辞不限于字面含义，而是仅被发明人用来以便清晰且一致地理解本公开。因此，对本领域的技术人员显而易见的是，提供本公开的各种实施方式的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同所限定的本公开。
应理解，除非上下文另有明确所指，否则单数形式包括复数对象。由此，例如提及“部件表面”包括提及一个或多个这样的表面。
图1示出了根据本公开的一个实施方式的便携式电子设备与子设备之间的连接。
参照图1，便携式电子设备100和子设备110可以通过无线通信链路或有线电缆彼此连接。便携式电子设备100可以通过诸如蓝牙、低功耗蓝牙(BLE)、紫蜂、红外通信、无线(Wi-Fi)直连、家用射频(RF)、数字生活网络联盟(DLNA)等无线链路与子设备110连接。在另一实施方式中，便携式电子设备100可以通过诸如高清晰度多媒体接口(HDMI)电缆、通用串行总线(USB)电缆、微/迷你USB电缆、音频-视频(AV)电缆等有线技术与子设备110连接。
便携式电子设备100配置成通过其配备的显示器执行存储的或下载的应用，并可实现为个人数字助理(PDA)、蜂窝电话、智能手机、平板PC、便携式多媒体播放器(PMP)等。当便携式电子设备100通过有线或无线方式与子设备100连接并同步时，在激活通过子设备110显示信息的子用户界面(UI)模式的使用后，便携式电子设备100向子设备110发送UI数据以用于执行的应用(或运行的应用)。
在本公开中，子设备110可显示与便携式电子设备100中执行的应用对应的弹出窗口或弹出菜单。子设备110具有比便携式电子设备100的显示器更小的显示器，并且具有高度便携性和用户可访问性，可实现为例如手表、具有显示装置的耳塞式遥控器、附着或穿戴在用户身上的可穿戴设备。在本文中，手表可以是具有诸如蓝牙的通信功能的智能手表，以通过与智能手机交互来支持文本、呼叫或即时消息的通知。
在本公开中，弹出窗口指的是以弹出方式在运行的应用中显示特定内容的新窗口。如果弹出窗口配置成感测用户在应用中的输入，则弹出窗口可被称为弹出菜单。弹出菜单可配置成在运行的应用的工作区域上不显示，响应于来自应用的命令显示用户所需的信息，并且接收来自用户的命令输入。弹出菜单是一种提供用于诸如触摸或运动的用户交互的图形用户界面(GUI)的上下文类型菜单。弹出菜单可根据用户需求显示在屏幕上而不妨碍应用的工作区域。弹出菜单可包括与一个或多个功能相关联的一个或多个软键。
在本公开的以下描述中，大部分由应用生成的信息显示在便携式电子设备上，并且同时，根据用户或应用需要生成的一些信息显示在子设备的显示屏上而非便携式电子设备的显示屏上。这里，子设备上显示的信息可包括应用的弹出窗口或弹出菜单。在下文中，将详细描述在子设备上执行弹出菜单并显示弹出菜单的操作。
图2示出了根据本公开的一个实施方式的便携式电子设备的框图。
参照图2，便携式电子设备100可包括：短距离无线通信单元250、接口单元240、触摸屏230、存储单元220以及控制器210。触摸屏230可包括显示单元232和触摸感测单元234。
短距离无线通信单元250可在通信范围内与其他电子设备形成短距离无线通信信道。具体地，短距离无线通信单元250与处于子UI模式的子设备110形成短距离无线通信信道，通过短距离无线通信信道将UI配置信息发送至子设备110，以及通过短距离无线通信信道从子设备110接收用户输入数据。短距离通信单元150可使用诸如蓝牙、红外通信、Wi-Fi点对点(P2P)、Wi-Fi直连、家用射频、DLNA或紫蜂的短距离通信方案。
接口单元240可包括用于与子设备110有线连接的有线电缆，通过有线电缆发送UI配置信息以及从子设备110通过有线电缆接收用户输入数据。为此，接口单元240可由USB、微/迷你USB、HDMI或20孔接头形成。如果便携式电子设备100不通过有线电缆提供子UI，则可省略接口单元240。
触摸屏230可执行输入功能和输出功能。为此，触摸屏230可包括执行输出功能的显示单元232和执行输入功能的触摸感测单元234。显示单元232显示由用户输入的信息和/或待提供给用户的信息以及便携式电子设备100中运行的应用的信息。例如，显示单元232可提供与便携式电子设备100的使用相对应的各种应用的工作区域，例如图像编辑应用、记事程序、照片查看器、游戏等。如果弹出菜单至少部分妨碍了工作区域，控制器210则在子设备110上而不是显示单元232上显示弹出菜单。例如，如果在执行图像编辑应用期间需要显示用于笔刷设置的弹出菜单，则控制器210配置包括弹出菜单的UI配置信息，并将UI配置信息通过短距离无线通信单元250发送至子设备110。
触摸感测单元234生成与用户手指或者触控笔的接触或感测相对应的输入事件，并将生成的输入事件传输至控制器210。触摸感测单元234识别与手指或触控笔的接触或接近相对应的物理量(例如，电容、电阻等)的变化，并将包括输入类型和与感测到输入的位置有关的信息的输入事件传输至控制器210。
根据本公开的一个实施方式，存储单元220存储操作所需的用户数据和程序代码。例如，存储单元220可存储：用于控制便携式电子设备100的全部操作的程序、用于启动便携式电子设备100的操作系统(OS)、以及用于便携式电子设备100的附加功能(诸如相机功能、声音播放功能、图像编辑、图像显示、视频回放以及短距离无线通信功能)所必需的应用。具体地，存储单元220存储与将在触摸屏230以及子设备110上显示的弹出菜单相关的UI配置信息。在一个实施方式中，存储单元220存储与表现为适合子设备110类型的形式(例如，尺寸、诸如方形或圆形的物理形状、分辨率或尺寸)的弹出菜单相关的UI配置信息，而且当控制器210请求时，存储单元220将该UI配置信息提供给控制器210。
控制器210控制便携式电子设备100的全部操作以及便携式电子设备100的内部部件之间的信号流。具体地，当子UI模式被激活且执行弹出菜单时，控制器210将UI配置信息通过短距离无线通信单元250发送至子设备110，该UI配置信息与根据所连接子设备110的类型而配置的弹出菜单相关联。在通过短距离无线通信单元250从子设备110接收到表示弹出菜单上所感测的用户输入的用户输入数据时，控制器210例如控制显示单元232的工作区域上显示的笔刷设置，以根据用户输入数据进行改变。
虽然未在图2中示出，便携式电子设备100可进一步包括用于提供附加功能的部件，例如用于捕捉图像或视频的摄像模块、用于广播接收的广播接收模块、诸如MPEG音频层-3(MP3)模块的数字声源回放模块以及用于接近感测的近距离传感器等。这些部件可根据数字化设备的融合趋势进行各种变化，因此，根据本公开的实施方式的便携式电子设备100可进一步包括与上述部件等同的部件。
图3是示出根据本公开的一个实施方式的子设备110的框图。
参照图3，与便携式电子设备100类似，子设备110包括短距离无线通信单元350、接口单元340、触摸屏330、存储单元320以及控制器310，其中触摸屏330包括显示单元332和触摸感测单元334。短距离无线通信单元350形成与便携式电子设备100的短距离无线通信信道，通过短距离无线通信信道从便携式电子设备100接收UI配置信息，并通过短距离无线通信信道将指示感测到的用户输入的用户输入数据发送至便携式电子设备100。可选择的接口单元340可包括用于与便携式电子设备100有线连接的有线电缆，接口单元340通过有线电缆从便携式电子设备100接收UI配置信息并将用户输入数据通过有线电缆发送至便携式电子设备100。
触摸屏330包括用于执行输出功能的显示单元332以及用于执行输入功能的触摸感测单元334，其中显示单元332显示由用户输入的信息和/或待提供给用户的信息以及子设备110中生成的信息。例如，如果子设备110为手表，显示器332可提供表盘。如果从便携式电子设备100接收到与弹出菜单相关的UI配置信息，控制器310在显示单元332上显示弹出菜单。
触摸感测单元334生成对应于用户的手指或触控笔的接触或感测的输入事件，并将生成的输入事件发送至控制器310。触摸感测单元334识别与手指或触控笔的接触或接近相对应的物理量(例如电容、电阻等)的变化，并将包括输入类型和与感测到输入的位置有关的信息的输入事件发送至控制器310。在子UI模式下，控制器310通过短距离无线通信单元350将输入事件发送至便携式电子设备100。
存储单元320存储执行根据本公开的功能的用户数据以及程序代码。例如，存储单元320可存储用于控制子设备110的所有操作的程序、用于启动子设备110的OS以及用于子设备110的诸如时钟功能、闹钟功能、通知功能等附加功能所必需的程序代码。存储单元320存储从便携式电子设备100接收到的、显示弹出菜单所必需的UI配置信息。在另一实施方式中，存储单元320存储与子设备110的类型相关的信息，例如尺寸、如方形或圆形的物理形状、分辨率或尺寸，而且，当控制器310请求时，存储单元320将该信息提供给控制器310。
控制器310控制子设备110的全部操作以及子设备110的内部部件之间的信号流。具体地，如果子UI模式被激活且接收到与弹出菜单相关的UI配置信息，则控制器310在显示单元332上显示弹出菜单。在通过触摸感测单元334感测到弹出菜单上的用户输入后，控制器310生成指示用户输入的用户输入数据，并通过短距离无线通信单元350将用户输入数据发送至便携式电子设备100。
尽管未在图3中示出，但子设备110还可以设置用于提供附加功能的部件，诸如用于输出音频信号的扬声器、运动传感器、至少一个物理输入单元(例如手表的转盘或表冠)等。根据本公开的实施方式的子设备110还可包括与以上部件等同的部件。
通过使用便携式电子设备和一个或多个子设备，以下实施方式分别在子设备上显示由便携式电子设备上执行的应用所生成的UI的至少一部分。在一个实施方式中，在子设备的屏幕上显示包括图像编辑应用中频繁使用的功能(例如颜色改变功能或笔刷粗细改变功能)的弹出菜单，由此防止弹出菜单妨碍图像编辑应用的工作区域，并减少改变笔刷设置所需的操作次数。
图4示出了根据本公开的一个实施方式的便携式电子设备与子设备之间的连接。
参照图4，便携式电子设备410是指包括生成弹出菜单的应用的主设备，便携式电子设备410包括在内核416上运行的多个可执行应用412和用于子设备的框架414(或子设备框架414)。子设备框架414与至少一个应用412通信并管理与子设备420的通信。至少一个应用412是能够使用子设备输入/输出的程序，并且例如可以是图像编辑应用、游戏或照片查看器。
便携式电子设备410通过使用有线或无线通信链路430与子设备420连接。子设备420包括负责便携式电子设备410与子设备420之间的通信的代理程序422，以及一个或多个软件执行单元424和426。软件执行单元424和426包括屏幕控制软件424和输入控制软件426。屏幕控制软件424在子设备420的屏幕上显示子设备420中生成的信息或通过代理程序422由便携式电子设备410提供的UI配置信息，输入控制软件426感测或处理通过子设备420的触摸屏或其他输入单元输入的信息，或者将该信息通过代理程序422传输至便携式电子设备410。
便携式电子设备410中的子设备框架414包括与应用412通信的应用程序接口(API)模块432、代理控制模块434、以及代理通信模块440，其中代理控制模块434配置待发送至子设备420的UI配置信息，接收并解释从子设备420传输的用户输入数据；代理通信模块440负责根据通信链路的类型与子设备420的代理程序422进行通信。代理控制模块434包括屏幕控制子模块436，屏幕控制子模块436配置待传输至子设备422的UI配置信息并将UI配置信息通过代理通信模块440传输至子设备422。代理控制模块434还包括输入控制子模块438，输入控制子模块438解释从子设备422接收的用户输入数据并将该用户输入数据传输至相应的应用412。
API模块432提供用于使用子设备420的诸如屏幕控制、输入控制等资源的接口。为此，API模块432使用代理控制模块434，代理控制模块434通过对子设备420的控制(屏幕、触摸输入等)进行管理的子模块436和438支持使用子设备420的资源(屏幕输出、触摸输入等)。代理通信模块440将应用412的请求转发至子设备420，或者将来自子设备420的用户输入通过代理控制模块434转发至应用412。
子设备420中的代理程序422包括与便携式电子设备410的子设备框架414通信的主设备通信模块452，以及控制子设备420的输入/输出硬件460的硬件控制模块454。输入/输出硬件460包括诸如显示器或触摸屏的输出单元以及诸如触摸屏、运动传感器和物理按键的输入单元。硬件控制模块454包括在输入/输出硬件460的显示器或触摸屏上显示UI配置信息的屏幕控制子模块456，以及输入控制子模块458，输入控制子模块458将通过输出/输出硬件460的触摸屏或其他输入单元感测到的用户输入数据传输至便携式电子设备410。
硬件控制模块454从便携式电子设备410接收请求，对子设备420的状态和屏幕信息进行配置，并将配置后的信息传输至便携式电子设备410。硬件控制模块454可基于子设备420的软件结构，通过使用OS的设备驱动器或直接访问硬件寄存器来操作。
图5是示出根据本公开的一个实施方式的执行应用的过程的流程图。
参照图5，在操作505中，便携式电子设备根据用户输入或自动地执行应用，在操作510中通过使用便携式电子设备的资源执行应用的功能。例如，在图像编辑应用中，在显示屏上显示将用在工作区域上的、用于编辑图像的工作区域和用于附加功能的菜单区域(用于笔刷改变、文本输入、擦除等的设置菜单)，并且在便携式电子设备的显示屏上感测根据用户输入的诸如笔刷改变或手绘的功能。
在操作515中，在执行应用或响应于用户命令的情况下，便携式电子设备确定应用是否需要使用子输入/输出(即，子UI)。在一个实施方式中，便携式电子设备通过状态栏或应用的菜单区域提供用于请求使用子UI模式的图标(或软键)，如果在用于请求使用子UI模式的图标上感测到诸如触摸或轻击的用户输入，则便携式电子设备确定子UI将被使用。在另一实施方式中，当手表与便携式电子设备配对时，在执行提供子UI模式的应用的情况下，便携式电子设备可显示通知窗口以询问用户是否使用子UI模式，例如“Usethewatchasasubdevice？Yes/No(将手表用作子设备？是/否)”或“Displayapopupmenuonthewatch？Yes/No(在手表上显示弹出菜单？是/否)”的语句。如果用户通过对应于“是”的软键进行输入，便携式电子设备可确定将使用子UI。在另一实施方式中，如果手表与便携式电子设备配对，便携式电子设备可确定子UI将自动地用于提供子UI模式的应用。
如果确定出需要子设备输入/输出，则便携式电子设备确定出与便携式电子设备连接的并可用于子设备输入/输出的子设备。更具体地，在操作525中，便携式电子设备可确定子设备是否通过设置在子设备框架中的API与便携式电子设备连接。例如，基于在便携式电子设备与子设备之间的连接期间所采集的信息，便携式电子设备可确定出在子设备包括显示屏和输入单元的情况下，子设备可用于子设备输入/输出。
在操作530中，便携式电子设备确定子设备是否与便携式电子设备连接以及与子设备的连接是否处于正常状态。如果子设备与便携式电子设备连接正常，则便携式电子设备激活子UI模式，并通过设置在子设备框架中的屏幕控制和输入控制API来提供子UI。更具体地，便携式电子设备识别通过执行应用所生成的信息的至少一部分，重新配置待显示在子设备上的识别出的信息，生成指示经重新配置的信息的UI配置信息，并且将UI配置信息发送至子设备。在接收到表示子设备中感测到的用户输入的用户输入数据后，便携式电子设备响应于用户输入控制应用的执行。在一个实施方式中，由待由子设备显示的信息的至少一部分可以是由应用提供的弹出菜单，并且UI配置信息包括重新配置以显示在子设备上的弹出菜单。例如，在便携式电子设备的显示器上显示的图像编辑应用的工作区域，而在子设备的显示器上显示应用生成的弹出菜单。在弹出菜单上感测到的用户输入传输至便携式电子设备的应用。
在一个实施方式中，在执行支持子UI模式的应用的情况下，便携式电子设备确定子设备是否与便携式电子设备连接，如果已连接，则便携式电子设备自动地确定使用子设备输出/输出。
如果在操作515中确定出不需要子设备输入/输出或者在操作530中子设备与便携式电子设备没有正常连接，则在操作520中便携式电子设备通过使用其资源为应用提供UI。在一个实施方式中，在便携式电子设备的显示器上显示图像编辑应用的工作区域以及必要时生成的弹出菜单。
在操作540中，便携式电子设备确定是否请求终止子UI模式。在一个实施方式中，便携式电子设备提供指示在应用的菜单区域或状态栏上使用的子UI模式的图标，如果感测到图标上的用户输入，则便携式电子设备确定请求了终止子UI模式。在另一实施方式中，当应用终止时，便携式电子设备确定出请求了终止子UI模式。如果请求了终止子UI模式，便携式电子设备通知子设备终止子UI模式，使得子设备终止显示子UI。
图6a和6b是示出根据本公开的一个实施方式的提供便携式电子设备的操作的子UI的流程图。
参照图6a和6b，示出了与便携式电子设备触发使用子UI的情况对应的操作。在操作605中，便携式电子设备识别可连接的子设备。在一个实施方式中，如果识别出与子设备协定的密码并完成与子设备的相互认证，则便携式电子设备可确定该子设备是可连接的，即其可与该子设备通信。在一个实施方式中，如果蓝牙用于与子设备的无线连接，则便携式电子设备通过使用蓝牙与子设备进行配对。在操作610中，便携式电子设备感测程序的执行。在操作615中，便携式电子设备确定应用是否能够将子设备作为子UI使用。如果应用提供子UI模式，则在操作620中便携式电子设备确定提供子UI的子设备是否可用。在一个实施方式中，便携式电子设备管理与其连接的一系列子设备，识别这些子设备的类型，并确定具有显示器的子设备是否可用作子UI。在另一实施方式中，在与子设备连接后，便携式电子设备从子设备或因特网服务器获取与子设备是否可用作子UI有关的信息并存储该信息。
如果存在可用作子UI的子设备，则在操作625中，便携式电子设备显示激活通知窗口以用于确定用户是否同意使用子UI模式。在一个实施方式中，便携式电子设备输出询问是否使用子UI模式的通知窗口。在操作630中，便携式电子设备确定用户是否同意使用子UI模式。如果用户同意使用子UI模式，例如通过感测在指示用户同意使用子UI模式的通知窗口上的用户输入，便携式电子设备前进至操作635。如果应用配置成使用子UI模式，则可省略操作625和630。
在操作635中，便携式电子设备将使用子UI的交互请求发送至子设备。在操作635中，便携式电子设备可根据需要建立与子设备的连接。在操作640中，从子设备接收子设备的状态信息和屏幕信息中的至少一个。在一个实施方式中，状态信息可指示子设备是否正常地作为子UI运行和/或子设备与便携式电子设备之间的连接是否正常。屏幕信息可指示子设备的显示器形状、尺寸和分辨率中的至少一种。在一个实施方式中，如果便携式电子设备可通过与子设备的现有连接(例如，蓝牙配对)或通过因特网服务器直接从子设备获取子设备的屏幕信息，则可省略传输屏幕信息。如果便携式电子设备期望从子设备接收状态和屏幕信息，操作635的交互请求可进一步包括用于请求状态信息和屏幕信息的指示符。例如，操作635的状态确认请求包括消息或数据包，并且包括指示用于屏幕信息和/或状态信息的请求的至少一位。
在操作645中，便携式电子设备基于状态信息和屏幕信息确定子设备是否可用作子UI。如果便携式电子设备可用作子UI，即，如果子设备正常连接且能够支持子UI，则在操作650中便携式电子设备激活子UI模式以基于屏幕信息为应用配置(或识别)子UI，并将指示子UI的UI配置信息发送至子设备。在一个实施方式中，便携式电子设备将弹出菜单(例如，图像编辑应用的笔刷设置)配置为子UI并生成UI配置信息。弹出菜单包括子设备的屏幕信息，更具体地为尺寸、形状、以及根据物理形状或尺寸重新配置的分辨率。
在操作655中，便携式电子设备输出用于显示屏上运行应用的功能的UI，并根据从子设备传送的用户输入控制应用的执行。在一个实施方式中，如果子设备接收到包括与笔刷设置有关的命令的用户输入数据，则便携式电子设备根据用户输入数据改变显示在便携式电子设备的显示屏上的笔刷(类型、粗细、颜色等)。在另一实施方式中，从子设备接收的用户输入数据包括指示弹出菜单上感测到用户输入的位置的坐标信息，便携式电子设备基于在操作650中的弹出菜单的配置来识别由用户输入表示的控制命令，更具体地，笔刷类型、所选笔刷颜色以及所选笔刷粗细中的至少一种。
在操作660中，便携式电子设备确定是否终止子UI的使用。在一个实施方式中，便携式电子设备通过运行应用的菜单区域或显示在子设备上的弹出菜单来提供指示子UI被使用的图标，如果感测到图标上的用户输入，则便携式电子设备确定终止子UI的使用。在另一实施方式中，当应用被终止时，便携式电子设备可确定终止使用子UI，便携式电子设备命令子设备终止显示子UI。除非子设备用于其他目的，否则便携式电子设备可释放与子设备的连接。如果在应用未终止的情况下终止子UI的显示，便携式电子设备可基于用户的请求在其显示屏上显示弹出菜单。
如果在操作615中应用不提供子UI模式或不需要子UI模式；如果在操作620中不存在可用的子设备；如果在操作630中用户没有输入同意使用子UI；或者如果在操作645中子设备不可用，则在操作665中便携式电子设备继续通过其显示屏执行应用的功能。
图7是示出根据本公开的另一实施方式的使用子设备提供操作的子UI的流程图。
参照图7，示出了与便携式电子设备触发使用子UI的情况相对应的操作。在操作705中，子设备识别可连接的便携式电子设备。在一个实施方式中，如果子设备识别出与便携式电子设备协定的密码并完成便携式电子设备与子设备之间的相互认证，则子设备确定其可与便携式电子设备进行通信。在一个实施方式中，如果蓝牙用于与便携式电子设备间的无线连接，则子设备使用蓝牙与便携式电子设备进行配对。子设备在必要的情况下与便携式电子设备建立连接，并在操作710中从便携式电子设备接收状态确认信息，并在操作715中将子设备的状态信息和屏幕信息中的至少一个发送至便携式电子设备。在一个实施方式中，状态信息指示子设备是否可作为子UI正常运行和/或子设备与便携式电子设备之间的连接是否正常。屏幕信息可指示子设备的显示形状、尺寸和分辨率中的至少一种。在一个实施方式中，如果便携式电子设备可通过与子设备的现有连接(例如，蓝牙配对)或通过因特网服务器直接从子设备获取子设备的屏幕信息，则可省略屏幕信息的传输。
子设备在操作720中从便携式电子设备接收关于子UI的UI配置信息，并在操作725中输出子UI。在一个实施方式中，UI配置信息可包括弹出菜单(例如，在便携式电子设备中运行的图像编辑应用的笔刷设置)，并且弹出菜单具有基于子设备的屏幕信息的尺寸、形状和分辨率。
在操作730中，子设备监测在弹出菜单上是否感测到用户输入，即，是否从子设备的触摸感测单元接收到用户输入。如果感测到用户输入触摸，则子设备配置指示用户输入的用户输入数据，并在操作735中将用户输入数据发送至便携式电子设备。在一个实施方式中，用户输入数据可以是指示弹出菜单上感测到用户输入的位置的坐标信息。在另一实施方式中，用户输入数据可包括与便携式终端的应用有关的数据(例如，笔刷类型、颜色和笔刷粗细)。
在操作740中，子设备确定是否终止与便携式电子设备的交互。在一个实施方式中，在从便携式电子设备接收到指示终止显示子UI的命令时，子设备终止显示子UI。在另一实施方式中，如果子设备感测到通过弹出菜单或另一软菜单请求终止交互的用户输入，或者感测到用于请求终止交互的物理按钮的输入，则子设备终止显示子UI并向便携式电子设备报告交互的终止。
在下文中，将结合附图详细描述便携式电子设备与子设备之间的交互的示例。在以下说明中，作为显示在应用的工作区域上的弹出菜单的示例，将描述图像编辑应用、用于书写的笔记程序以及在智能手机上驱动的文字处理器。
图8示出了根据本公开的一个实施方式的显示在应用的工作区域上的弹出菜单的示例。
参照图8，图像编辑应用800提供占据智能手机的大部分屏幕的工作区域820并具有相对较小的菜单区域830。菜单区域830被设计为通常具有最小尺寸，以便不干扰用户在工作区域820上的图片编辑工作。如果在菜单区域830上的特定菜单项上(例如，“笔刷设置”菜单805)感测到用户输入，则图像编辑应用800显示弹出菜单810。
弹出菜单810可包括以下区域中的至少一个：显示所选笔刷类型和颜色的当前状态区域812、用于选择笔刷类型的类型选择区域814、用于选择笔刷粗细的粗细选择区域816、以及用于选择笔刷颜色的颜色选择区域818。在选择区域814、816及818上感测到用户输入的情况下，在当前状态区域812上显示所选的笔刷形状。如果在弹出菜单810的外部区域上感测到用户输入，弹出菜单810消失并根据工作区域820上的用户输入，在工作区域820上显示使用所选笔刷的手绘图像。
如果激活了子UI模式，则在工作区域820上显示的弹出菜单810可被配置为子UI。
图9a、图9b、图9c、图9d、图9e和图9f为根据本公开的一个实施方式描述便携式电子设备与子设备之间的一系列交互操作的示意图。
参照图9a，便携式电子设备900实现为执行包括图片编辑功能的备忘录应用的智能手机。如果在执行备忘录应用期间可用作子UI的子设备连接至便携式电子设备900，在屏幕上显示询问是否使用子UI的通知窗口905a。在一个实施方式中，智能手机900可在执行支持子UI模式的应用时显示通知窗口905a。在一个实施方式中，智能手机900在执行备忘录应用后提供用于激活子UI的软键905b，并在感测到软键905b上诸如触摸的用户输入后显示通知窗口905a。
如果感测到通知窗口905b上允许使用子UI的输入，例如，对软键“Yes”的触摸输入，则智能手机900将状态确认请求发送至可用作子UI的所连接的子设备。
参照图9b，子设备910实现为配置成以有线或无线方式与便携式电子设备连接的手表。响应于智能手机900的状态确认请求，子设备910将其状态信息和屏幕信息915提供至智能手机900。屏幕信息915可包括，例如，指示手表910的物理形状的“SQUARE(方形)”以及指示手表910的尺寸(或分辨率)的“320×320”。
图9c示出了屏幕信息915的示例。如果手表910具有矩形屏幕，则屏幕信息920a显示“SQUARE,320×320”。在另一个示例中，如果手表910具有圆形屏幕，则屏幕信息920b显示“circle(圆形),320×320”。
参照图9d，智能手机900向手表910发送与配置用于手表910的屏幕的弹出菜单有关的UI配置信息920。参照图9e，手表910基于UI配置信息920在其屏幕上显示弹出菜单925。弹出菜单925配置成适于手表910的屏幕形状，并且包括用于选择笔刷类型的类型选择区域930a、用于选择笔刷粗细的粗细选择区域930b、用于选择笔刷颜色的颜色选择区域930c以及指示所选笔刷的笔刷状态区域940。
参照图9f，如果在弹出菜单925的特定位置感测到用户输入，笔刷状态区域940与感测到用户输入的位置相对应地改变。例如，如果在颜色选择区域930c中的黑色区域上感测到用户输入，则笔刷状态区域940的颜色改为黑色，并且手表910将指示与感测到用户输入的位置有关的信息的用户输入数据945发送至智能手机900。然后，智能手机900计算并存储根据用户输入数据945所选择的笔刷颜色，并且随着用户输入在工作区域950上的移动显示手绘图片955。
图10是示出根据本公开的另一实施方式的提供便携式电子设备的操作的子UI的流程图。
参照图10，示出了与子设备触发使用子UI的情况相对应的操作。在操作1005中，便携式电子设备识别可连接的子设备。在一个实施方式中，如果识别出与子设备协定的密码并完成与子设备间的相互认证，则便携式电子设备可确定其可与子设备通信。在一个实施方式中，如果蓝牙用于与子设备之间的无线连接，则便携式电子设备通过使用蓝牙与子设备配对。便携式电子设备在操作1010中从子设备接收要求用作子UI的交互请求，并在操作1015中识别在屏幕上运行的应用。
在操作1020中，便携式电子设备确定是否为运行的应用提供子UI模式。在一个实施方式中，如果应用生成弹出菜单，则便携式电子设备可确定提供子UI模式。在操作1025中，如果应用提供子UI模式，则便携式电子设备确定用户是否同意使用子UI模式。在一个实施方式中，便携式电子设备在屏幕上输出询问用户是否使用子UI模式的通知窗口，并且在通知窗口上感测到指示用户同意使用子UI模式的用户输入的情况下前进至操作1030。
在操作1030中，便携式电子设备通知子设备允许用于子输入/输出的交互。对于通知，便携式电子设备可在必要时建立与子设备的连接。如果在应用支持子UI的情况下便携式电子设备自动确定使用子UI，可省略操作1025，而且在这种情况下，在操作1030中便携式电子设备可仅请求子设备的屏幕信息。
在操作1035中，便携式电子设备从子设备接收指示子设备的显示器形状、尺寸和分辨率中至少一个的屏幕信息。在一个实施方式中，如果便携式电子设备可通过与子设备的现有连接(例如蓝牙配对)或通过因特网服务器(例如，子设备制造商的服务器)直接从子设备获取子设备的屏幕信息，可省略操作1035。
在操作1040中，便携式电子设备激活子UI模式以基于屏幕信息为运行的应用配置(或识别)子UI，并将与子UI有关的UI配置信息发送至子设备。在一个实施方式中，UI配置信息可包括弹出菜单(例如，图像编辑应用的笔刷设置)，并且弹出菜单具有基于子设备的屏幕信息的尺寸、形状和分辨率。
在操作1045中，便携式电子设备输出用于在其显示屏上运行的应用的功能的UI，并根据子设备上的用户输入控制应用的执行。在一个实施方式中，在从子设备接收到关于笔刷设置的用户输入数据后，便携式电子设备改变在其显示屏上显示的笔刷(类型、粗细、颜色等)。在另一实施方式中，从子设备接收的用户输入数据包括指示弹出菜单上感测到用户输入的位置的坐标信息，并且便携式电子设备基于在操作1040中的弹出菜单的配置，识别由用户输入、笔刷类型、所选笔刷颜色以及所选笔刷粗细表示的控制命令中的至少一个。
在操作1050中，便携式电子设备确定是否终止子UI的使用。在一个实施方式中，便携式电子设备提供图标，该图标指示子UI正在运行应用的菜单区域上或在子设备上显示的弹出菜单上使用，并且在图标上感测到用户输入时确定终止子UI的使用。在另一实施方式中，在终止应用后，便携式电子设备可确定终止子UI的使用。如果确定终止子UI的使用，便携式电子设备命令子设备终止子UI的显示。便携式电子设备可释放与子设备的连接，除非子设备用于其他目的。如果在应用未终止的情况下终止子UI的显示，便携式电子设备可基于用户的请求在其显示屏上显示弹出菜单。
如果在操作1020中确定出运行的应用不可用作子UI或者如果在操作1025中没有感测到指示用户同意使用子输入/输出的用户输入，则在操作1055中便携式电子设备将对于子输入/输出的交互已被拒绝通知给子设备，并且在操作1060中继续在其显示屏上执行应用的功能。
图11是示出根据本公开的另一实施方式的使用子设备提供操作的子UI的流程图。
参照图11，示出了与子设备触发使用子UI的情况相对应的操作。在操作1105中，子设备识别可连接的便携式电子设备。在一个实施方式中，如果已与便携式终端协定有密码且已执行相互认证，则子设备可确定其可与便携式电子设备通信。在一个实施方式中，如果子设备与便携式电子设备的无线连接使用蓝牙，则子设备通过使用蓝牙与便携式电子设备进行配对。在操作1110中，子设备感测用于与便携式电子设备进行交互的用户请求。在本文中，子设备可通过触摸屏或物理输入方式感测与便携式电子设备进行交互被请求。在一个实施方式中，如果子设备实现为模拟手表，当手表的表柄被拉出时，子设备可确定出请求与便携式电子设备进行交互。在另一实施方式中，子设备在触摸屏上提供用于与便携式电子设备进行交互的软菜单或软按钮，如果感测到在软菜单或软按钮上诸如触摸的用户输入，子设备可确定出请求了与便携式电子设备进行交互。软菜单或软按钮可指定为请求与便携式电子设备进行交互，或请求执行预定义在便携式电子设备上的应用(例如图像编辑应用)以及与便携式电子设备进行交互。
在操作1115中，子设备在必要时建立与便携式电子设备的连接，并将请求使用子设备作为子UI的交互请求发送至便携式电子设备。在操作1120中，子设备等待来自便携式电子设备的许可。在操作1125中，在从便携式电子设备接收到对于子输入/输出的交互许可时，子设备将指示(诸如子设备的显示器形状、尺寸和分辨率)的屏幕信息发送至便携式电子设备。在一个实施方式中，如果便携式电子设备可通过与子设备的现有连接(例如，蓝牙配对)或通过因特网服务器直接从子设备获取子设备的屏幕信息，则可跳过操作1125。
在操作1130中，子设备从便携式电子设备接收与基于屏幕信息配置的子UI有关的UI配置信息。在操作1135中，子设备在其显示屏上输出基于UI配置信息的子UI。在一个实施方式中，UI配置信息可包括弹出菜单(例如，在便携式电子设备上运行的图像编辑应用的笔刷设置)，弹出菜单具有基于子设备的屏幕信息的尺寸、形状和分辨率。
在操作1140中，子设备感测弹出菜单上的用户输入。如果感测到用户输入触摸，则在操作1145中，子设备配置指示用户输入的用户输入数据，并将用户输入数据发送至便携式电子设备。在一个实施方式中，用户输入数据可以是指示弹出菜单上感测到用户输入的位置的坐标信息。在另一实施方式中，用户输入数据可包括在弹出菜单上选定的笔刷类型、笔刷颜色及笔刷粗细中的至少一个。
在操作1150中，子设备确定是否终止与便携式电子设备的交互。在一个实施方式中，如果从便携式电子设备接收到指示终止显示子UI的命令，则子设备可终止子UI的显示。在另一实施方式中，如果通过弹出菜单、另一软菜单或物理按钮的感测输入感测到请求终止交互的用户输入，则子设备可终止显示子UI并将终止交互报告给便携式电子设备。
在操作1120中未从便携式电子设备接收到指示子输入/输出的交互许可的通知的情况下，在操作1155中，子设备通知用户拒绝与便携式电子设备的交互并继续执行子设备的功能(如，手表功能)。
在下文中，将参照附图详细描述便携式电子设备与子设备之间的交互的示例。
图12a和图12b是示出根据本公开的一个实施方式描述便携式电子设备与子设备之间的交互的示意图。
参照图12a，子设备1200实现为手表，该手表配置成与便携式电子设备连接并包括能够通过物理按钮工作的表柄1205。如图所示，当表柄1205被拉出时，手表1200确定请求了用作子UI进行交互并将交互请求发送至配对的便携式电子设备。在一个实施方式中，手表1200在实现为触摸屏的屏幕上显示请求对子UI的交互的图标，并且当表柄1205在感测到图标的输入后被拉出时，手表1200可确定出请求与便携式电子设备进行交互。
参照图12b，便携式电子设备1210实现为包括具有图像编辑功能的备忘录应用的智能手机。在执行备忘录应用期间从配对的手表1200接收到作为子UI使用的交互请求后，便携式电子设备1210将允许交互通知给手表1200，并向手表1200发送与配置成适合手表1200的屏幕的弹出菜单有关的UI配置信息。
手表1200基于由智能手机1210提供的UI配置信息在其屏幕上显示弹出菜单1230。弹出菜单1230可具有适合手表1200屏幕的形状的圆形结构，并且可包括用于选择笔刷类型的笔刷选择区域1235a、用于选择笔刷粗细的粗细选择区域1235b、用于选择笔刷颜色的颜色选择区域1235c以及指示所选笔刷的笔刷状态区域1040。
如果在弹出菜单1230的特定位置中感测到用户输入，则笔刷状态区域1240与感测到用户输入的位置相应地改变。例如，如果在颜色选择区域1235c的黑色区域上感测到用户输入，则笔刷状态区域1240的颜色改变为黑色，并且向智能手机1210发送指示与感测到用户输入的位置有关的信息的用户输入数据1250。之后，智能手机1210计算并存储根据用户输入数据1250选择的笔刷颜色，并随着用户输入在工作区域1260上的移动以黑色显示手绘图片1255。
图13是示出根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷设置的操作的阶梯图。
参照图13，在操作1300中，建立子设备与执行图像编辑应用的便携式电子设备之间的连接，并且在子设备的显示器上显示由便携式电子设备提供的弹出菜单。在操作1300中建立连接可通过例如图6a的操作605至650、图7的操作705至725、图10的操作1005至1040以及图11的操作1105至1135实现。如果在操作1305中在显示器上显示的弹出菜单中的颜色选择区域上感测到用户输入，则子设备前进至操作1310。用户输入可以是例如触摸或非接触方式。在操作1310中，子设备将指示笔刷颜色改变请求的用户输入数据发送至便携式电子设备。例如，用户输入数据可以是指示在颜色选择区域上感测到用户输入的位置的坐标信息。在另一实施方式中，用户输入数据可指示在颜色选择区域上选定的颜色。
在操作1315中，便携式电子设备的图像编辑应用响应于用户输入数据来识别弹出菜单上的所选颜色、存储根据识别出的颜色而改变的笔刷颜色、并且随着便携式电子设备的显示器上感测到的用户输入的移动以改变后的笔刷颜色显示手绘图片。
在操作1320中，如果在弹出菜单中的类型选择区域上感测到用户输入，则子设备前进至操作1325。用户输入可以是触摸或非接触方式。在操作1325中，子设备响应于对用户输入的感测将指示笔刷类型改变请求的用户输入数据发送至便携式电子设备。如上所述，用户输入数据可以是指示所选的笔刷类型的坐标信息或数值。
在操作1330中，便携式电子设备的图像编辑应用响应于用户输入数据识别在弹出菜单上选择的笔刷类型，存储识别出的笔刷类型，并随着便携式电子设备的显示器上感测到的用户输入的移动以改变的笔刷类型显示手绘图片。
在操作1335中，如果在弹出菜单中的粗细选择区域上感测到用户输入，则子设备前进至操作1340。用户输入可以是例如触摸或非接触方式。在操作1340中，子设备响应于对用户输入的感测将请求改变笔刷粗细的用户输入数据发送至便携式电子设备。如上所述，用户输入数据可以是指示所选的笔刷粗细的坐标信息或数值。
在操作1345中，便携式电子设备的图像编辑应用响应于用户输入数据识别在弹出菜单上选择的笔刷粗细，存储识别出的笔刷粗细，并随着便携式电子设备的显示器上感测到的用户输入的移动以改变后的笔刷粗细显示手绘图片。
图14a和图14b示出了根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷的示例。
参照图14a，手表1400显示与图像编辑应用进行交互的弹出菜单1410，感测在特定颜色区域上的用户输入(例如弹出菜单1410上的粉色区域1415)，并响应于用户输入将笔刷状态区域1420的颜色改为粉色。手表1400将指示用户输入的用户输入数据发送至正执行图像编辑应用的智能手机。
参照图14b，智能手机1440显示由图像编辑应用所提供的工作区域1425，并且在工作区域1425上显示先前输入的黑色手绘图片1430。智能手机1440从手表1400接收请求改变为粉色的用户输入数据。数据输入数据可包括指示在手表1400上感测到用户输入的位置的坐标信息。在另一实施方式中，用户输入数据可包括指示所选颜色的红色、绿色和蓝色(RGB)值。智能手机1440响应于接收用户输入数据存储为粉色的改变后的颜色。如果在工作区域1425上感测到用户输入及其移动，则智能手机1440随着用户输入的移动以粉色显示手绘图片1435。
在一个实施方式中，智能手机1440在工作区域1425内部或外部显示指示所选的颜色、笔刷类型和笔刷粗细的至少一种的笔刷状态图标，以使用户迅速识别出智能手机1440上的所选笔刷。
图15a和图15b示出了根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷类型的示例。
参照图15a，手表1500显示与图像编辑应用进行交互的弹出菜单1510，感测特定笔刷类型的区域上的用户输入(例如弹出菜单1510上的涂料刷区域1515)，并在笔刷状态区域1520上显示涂料刷形状的图标。手表1500将指示用户输入的用户输入数据发送至正执行图像编辑应用的智能手机。
参照图15b，智能手机1540显示由图像编辑应用提供的工作区域1525，并在工作区域1525上显示先前输入的笔刷类型的手绘图片1530。智能手机1540从手表1500接收请求改为涂料刷的用户输入数据。用户输入数据可包括指示在手表1500上感测到用户输入的位置的坐标信息。在另一实施方式中，用户输入数据可包括所选的涂料刷的指示符。智能手机1540响应于接收用户输入数据存储改变的笔刷类型。在感测到用户输入在工作区域1525上的移动的情况下，智能手机1540显示所选笔刷类型的手绘图片1535。
图16a和图16b示出了根据本公开的一个实施方式的通过与图像编辑应用连接的子设备改变笔刷粗细的示例。
参照图16a，手表1600显示与图像编辑应用进行交互的弹出菜单1610，感测特定笔刷粗细区域上的用户输入(例如弹出菜单1610上的3号粗细区域1620)，并响应于用户输入在笔刷状态区域1615上显示指示3号粗细的图标。手表1600将指示用户输入的用户输入数据发送至正执行图像编辑应用的智能手机。
参照图16b，智能手机1640显示由图像编辑应用提供的工作区域1625，并在工作区域1625上显示先前输入的笔刷类型的手绘图片1630。智能手机1640从手表1600接收请求改为3号粗细的用户输入数据。用户输入数据可包括指示在手表1600上感测到用户输入的位置的坐标信息。在另一实施方式中，用户输入数据可包括3号粗细的指示符。智能手机1640响应于接收用户输入数据存储改变后的笔刷粗细。在感测到用户输入在工作区域1625上的移动的情况下，智能手机1640显示3号粗细的手绘图片1635。
图17a和图17b示出了根据本公开的一个实施方式的图像编辑应用与手表之间的连接的示例。
参照图17a，智能手机1710显示由图像编辑应用提供的工作区域1715，并且由图像编辑应用生成的弹出菜单1705配置成圆形形式并显示在手表1700上。在一个实施方式中，智能手机1710可在特定位置中显示至少一个图标1715a，图标1715a指示在手表1700上显示的弹出菜单1705和/或指示在弹出菜单1705上选择的笔刷的当前状态。
参照图17b，智能手机1730显示由图像编辑应用提供的工作区域1735，并且由图像编辑应用生成的弹出菜单1725配置成矩形形状且显示在手表1720上。在一个实施方式中，智能手机1730可在特定位置中显示至少一个图标1735a，图标1735a指示在手表1720上显示的弹出菜单1725和/或指示在弹出菜单1725上选择的笔刷的当前状态。
在一个实施方式中，图像编辑应用可提供指示弹出菜单通过子设备显示在菜单区域上的图标，该图标可配置为指示所选笔刷类型、粗细及颜色的小图像。如果在图标上感测到用户输入，则图像编辑应用确定终止子UI模式并请求子设备停止显示弹出菜单。
图18示出了根据相关技术的照片查看器应用的屏幕。
参照图18，便携式电子设备1800为正执行照片查看器应用并显示所选照片的诸如智能手机的设备。在自首次显示照片起经过数秒后或者如果输入了用户请求，便携式电子设备1800以弹出的方式在照片上显示关于照片的详细信息1810。详细信息1810可包括照片的文件名、照片拍摄的地点及日期、以及照片的格式及备注中的至少一种。详细信息1810被显示为遮挡照片。
照片电子设备1800与作为子UI使用的子设备建立连接以用于使用子设备(未示出)，并使得详细信息1810显示在子设备上。
图19是示出根据本公开的一个实施方式的便携式电子设备通过子设备提供照片查看器应用的子UI的操作的流程图。
参照图19，在操作1905中，便携式电子设备与子设备建立连接以将子设备作为照片查看器应用的子UI使用。该连接可由便携式电子设备或子设备触发，并且在必要时，便携式电子设备请求用户允许将子设备用作子UI。
在操作1910中，便携式电子设备通过照片查看器应用在显示器上显示用户所选照片。在操作1915中，便携式电子设备确定所存储的关于所显示照片的详细信息是否存在。如果不存在待显示的详细信息，则在操作1935中便携式电子设备通知用户缺少详细信息。例如，在照片之上显示短语“无信息”，或可在照片外显示短语“无信息”。在另一实施方式中，在操作1935中，便携式电子设备可在无需进行附加操作的情况下仅显示照片。
另一方面，如果存在待显示的详细信息，则在操作1920中便携式电子设备将指示细节信息的UI配置信息发送至子设备，以允许子设备在子设备的显示器上显示详细信息。在操作1925中，便携式电子设备确定是否存在待显示的用于改变照片的照片改变请求。例如，如果在当前显示的照片上感测到移动命令(如滑动、轻击等)或在屏幕上设置的移动软键上感测到诸如触摸的用户输入，则便携式电子设备确定请求了显示前一照片或下一照片并返回操作1910。
另一方面，如果不存在照片改变请求，则在操作1930中便携式电子设备确定是否请求终止子UI模式。在一个实施方式中，便携式电子设备提供指示子UI在照片查看器应用的菜单区域上使用或通过子设备使用的图标，如果在图标上感测到用户输入，则便携式电子设备确定终止子UI模式。在另一实施方式中，如果照片查看器应用终止，便携式电子设备可确定终止子UI模式。如果确定终止子UI模式，便携式电子设备指示子设备终止显示子UI。在这种状态下，除非子设备用于其他目的，否则便携式电子设备可释放与子设备的连接。如果在没有终止照片查看器应用的情况下终止显示子UI，则便携式电子设备可基于用户的请求在其显示屏上显示照片的详细信息。
图20是示出根据本公开的一个实施方式的子设备提供照片查看器应用的子UI的操作的流程图。
参照图20，在操作2005中，子设备建立与便携式电子设备的连接以作为便携式电子设备的子UI运行。该连接可由便携式电子设备或子设备触发。在操作2010中，子设备确定是否从便携式电子设备接收到详细信息。例如，详细信息可以是由运行在便携式电子设备上的照片查看器应用提供的照片的详细信息。如果存在接收的详细信息，在操作2015中子设备在其显示屏上显示详细信息。在操作2020中，子设备确定是否终止与便携式电子设备的交互。在一个实施方式中，在从便携式电子设备接收到指示终止显示子UI的命令后，子设备终止与便携式电子设备的交互并终止显示子UI。在另一实施方式中，子设备在其显示屏上显示指示正在提供子UI的图标，在感测到诸如对图标的触摸或用于请求终止交互的物理按钮的输入的用户输入的情况下终止子UI的显示，并向便携式电子设备报告交互的终止。
图21a、图21b、图21c和图21d是示出根据本公开的一个实施方式的描述提供照片查看器应用的子UI的操作的示意图。
参照图21a，便携式电子设备2100实现为执行照片查看器应用的智能手机，并且通过照片查看器应用显示照片2105。
参照图21b，便携式电子设备2100确定是否存在关于照片2105的详细信息2115，并且如果存在详细信息2115并且存在用作子UI的子设备2110，则便携式电子设备2100将详细信息2115发送至子设备2110。
参照图21c，子设备2110可实现为配置为与便携式电子设备2100连接的手表，并且显示从便携式电子设备2100接收的详细信息2115。在一个实施方式中，详细信息2115可显示在与子设备2110的主要功能相对应的原始屏幕(例如，手表屏幕)上。在另一实施方式中，详细信息2115可显示在子设备2110的原始屏幕上。在另一实施方式中，当接收到详细信息2115时，子设备2110的原始屏幕可缩小(或转换)，详细信息可显示在除原始屏幕的缩小后区域之外的其它区域上。
参照图21d，如果在便携式电子设备2100上显示另一张照片2120，则子设备2110以与前述方式相同的方式显示照片2120的详细信息2125。
图22示出了根据相关技术的游戏应用的屏幕。
参照图22，便携式电子设备2200为正执行游戏应用的诸如智能手机的设备，并且显示游戏应用的执行屏幕2210。特定类型的游戏应用通过执行屏幕显示多种对象，如果选择了(例如，触摸)特定对象2215，则在用于设置对象2215的弹出菜单2220中显示对象2215的详细信息。具体地，对于实时进行的游戏，为了不因弹出菜单2220的显示而中断游戏进程，需要小心地选择弹出菜单2220的尺寸和位置。
便携式电子设备2200建立与子设备(未示出)的连接以将子设备用作子UI，并使子设备显示弹出菜单2220。
图23是示出根据本公开的一个实施方式通过子设备提供游戏应用的子UI的便携式电子设备的操作的流程图。
参照图23，在操作2305中，便携式电子设备建立与子设备的连接以将子设备用作游戏应用的子UI。连接可由便携式电子设备或子设备触发，并且在必要时，便携式电子设备可请求用户允许将子设备用作子UI。
在操作2310中，便携式电子设备显示游戏应用的执行屏幕，执行屏幕可包括一个或多个进行游戏所需的对象。在操作2315中，便携式电子设备确定是否在执行屏幕上选择特定对象。例如，如果对象上感测到用户输入，则便携式电子设备可确定选择了该对象。如果选择了对象，则在操作2320中便携式电子设备确定是否存在用于所选对象的弹出菜单。在一个实施方式中，弹出菜单可包括所选对象的详细信息和/或至少一个用于设置所选对象的信息的软键。在另一实施方式中，弹出菜单可包括所选对象的名称和详细信息中的至少一种。
如果存在待显示的弹出菜单，则在操作2325中，便携式电子设备将指示弹出菜单的子UI配置信息发送至子设备，以使子设备在子设备的显示器上显示弹出菜单。尽管未示出，但必要时可根据子设备的物理形状和分辨率配置弹出菜单，为此便携式电子设备可从子设备和/或因特网服务器获取指示子设备的物理形状和分辨率的屏幕信息。
在操作2330中，便携式电子设备确定是否请求了终止子UI模式。在一个实施方式中，便携式电子设备通过游戏应用的运行屏幕中特定区域或通过子设备提供指示子UI正被使用的图标，如果感测到图标上的用户输入，则便携式电子设备确定终止子UI模式。在另一实施方式中，如果游戏应用终止，则便携式电子设备可确定终止子UI模式。如果确定终止子UI模式，则便携式电子设备指示子设备终止显示子UI。在这种情况下，除非子设备用于其他目的，否则便携式电子设备可释放与子设备的连接。如果在没有终止游戏应用的情况下终止子UI的显示，则便携式电子设备可基于用户请求在其显示屏上显示弹出菜单。
图24是示出根据本公开的一个实施方式的子设备提供游戏应用的子UI的操作的流程图。
参照图24，在操作2405中，子设备建立与便携式电子设备的连接以作为便携式电子设备的子UI运行。该连接可由便携式电子设备或子设备触发。在操作2410中，子设备确定是否从便携式电子设备接收到指示子UI的子UI配置信息。例如，子UI配置信息可以是包括游戏应用中特定对象的详细信息的弹出菜单和/或至少一个用于设置信息的软键。尽管未示出，但在必要时可根据子设备的物理形状和分辨率配置弹出菜单，为此子设备可将指示子设备的物理性状和分辨率的屏幕信息传输至便携式电子设备。
如果存在接收到的子UI配置信息，则子设备在操作2415中在其显示屏上显示弹出菜单。在操作2420中，子设备确定是否终止与便携式电子设备的交互。在一个实施方式中，如果从便携式电子设备接收到指示终止显示子UI的命令，则子设备终止子UI的显示。在另一实施方式中，子设备在其显示屏上显示指示正提供子UI的图标，在感测到图标上的用户输入或用于请求终止交互的物理按钮的输入的情况下，子设备终止子UI的显示并向便携式电子设备报告该终止。
图25a、图25b和图25c是示出根据本公开的一个实施方式的提供游戏应用的子UI的操作的示意图。
参照图25a，便携式电子设备2500实现为执行游戏应用的智能手机，并显示该游戏应用的执行屏幕2510。执行屏幕2510可包括游戏运行所需的一个或多个对象2515。
参照图25b，便携式电子设备2500感测到请求显示弹出菜单，该弹出菜单用于包括在执行屏幕2510中的对象。例如，如果感测到显示于执行屏幕2510上的对象的用户输入或确定出游戏应用将提供关于特定对象的附加信息，则便携式电子设备2500可确定请求了显示弹出菜单。如果请求了显示弹出菜单并且存在用作子UI的子设备2510，则指示弹出菜单的子UI配置信息2520被发送至子设备2510。
参照图25c，子设备2525可实现为配置为与便携式电子设备2500连接的手表，并在其显示屏上显示与从便携式电子设备2500接收的子UI配置信息2520对应的弹出菜单2530。在一个实施方式中，弹出菜单2530可显示在与子设备2525的功能相对应的原始屏幕(如手表屏幕)上。在另一实施方式中，弹出菜单2530可显示在子设备2525的原始屏幕中。在另一实施方式中，如果接收到子UI配置信息2520，子设备2525的原始屏幕可缩小(或转换)，弹出菜单2530可显示在除原始屏幕的缩小后的区域之外的其它区域中。
在本公开的实施方式的详细描述中明确或隐含公开了可从本公开的实施方式中获取或期望的其他效果。换言之，在本公开的详细描述中公开了由本公开的实施方式所预期的各种效果。
虽然本公开已参照其多个实施方式进行了说明和描述，但是本领域技术人员应理解，在不背离由所附权利要求及其等同限定的本公开的精神和范围的情况下，可对本文进行各种形式和细节的修改。

Claims (16)

1.一种使用与便携式电子设备可连接的子设备的显示方法，所述显示方法包括：
通过所述便携式电子设备感测所述子设备上与弹出菜单的显示相对应的输入，所述弹出菜单由应用提供；
将与所述弹出菜单相对应的用户界面(UI)配置信息发送至所述子设备；
从所述子设备接收用户输入数据，所述用户输入数据与在所述子设备上显示的所述弹出菜单上感测到的用户输入相对应；以及
响应于接收到的用户输入数据，控制所述应用的执行。
2.根据权利要求1所述的显示方法，其中，所述弹出菜单包括：由所述便携式电子设备上执行的图像编辑应用生成的笔刷设置菜单、与所述便携式电子设备上的照片查看器应用所显示的照片有关的详细信息、以及用于设置由所述便携式电子设备上执行的游戏应用所提供的信息的至少一个菜单项和特定对象的详细信息中的至少一种。
3.根据权利要求1所述的显示方法，其中，所述UI配置信息根据所述子设备的物理形状、尺寸和分辨率来配置。
4.根据权利要求1所述的显示方法，进一步包括：
获取与所述子设备的物理形状、尺寸和分辨率相对应的屏幕信息。
5.根据权利要求1所述的显示方法，其中，所述用户输入数据包括指示所述弹出菜单上感测到所述用户输入的位置的坐标信息，或者所述用户输入数据指示与所述用户输入对应的命令。
6.根据权利要求1所述的显示方法，进一步包括：
从所述子设备接收用于将所述子设备作为子UI使用的交互请求；以及
向所述子设备通知交互许可。
7.根据权利要求1所述的显示方法，进一步包括：
如果所述应用支持子UI模式，确定所述子设备是否可作为所述子UI使用；以及
将所述交互请求发送至所述子设备。
8.一种在子设备上显示弹出菜单的方法，所述弹出菜单可显示在便携式电子设备上，所述方法包括：
从所述便携式电子设备接收与所述便携式电子设备的应用提供的弹出菜单相对应的用户界面(UI)配置信息；
响应于接收所述UI配置信息，在所述子设备的显示屏上显示所述弹出菜单；
感测所述子设备上显示的所述弹出菜单上的用户输入；以及
将与感测到的用户输入相对应的用户输入数据发送至所述便携式电子设备。
9.根据权利要求8所述的方法，其中，所述弹出菜单包括：由所述便携式电子设备上执行的图像编辑应用生成的笔刷设置菜单、与所述便携式电子设备上的照片查看器应用所显示的照片有关的详细信息、以及用于设置由所述便携式电子设备上执行的游戏应用所提供的信息的至少一个菜单项和特定对象的详细信息中的至少一种。
10.根据权利要求9所述的方法，其中，所述UI配置信息根据所述子设备的物理形状、尺寸和分辨率而配置。
11.根据权利要求8所述的方法，进一步包括：
将与所述子设备的物理形状、尺寸和分辨率相对应的屏幕信息发送至所述便携式电子设备。
12.根据权利要求8所述的方法，其中，所述用户输入数据包括指示在所述弹出菜单上感测到所述用户输入的位置的坐标信息，或者所述用户输入数据指示与所述用户输入对应的命令。
13.根据权利要求8所述的方法，进一步包括：
所述子设备将用于优先使用所述子设备作为所述便携式电子设备的子UI的交互请求发送至所述便携式电子设备；以及
从所述便携式电子设备接收交互许可。
14.根据权利要求8所述的方法，进一步包括：
从所述便携式电子设备接收用于将所述子设备作为所述便携式电子设备的子UI使用的交互请求。
15.一种通过子设备显示弹出菜单的便携式电子设备，所述便携式电子设备配置为执行根据权利要求1至7中任一项所述的显示方法。
16.一种用于显示弹出菜单的子设备，所述弹出菜单可显示在便携式电子设备上，所述子设备配置为执行根据权利要求8至14中任一项所述的方法。
CN201480025180.7A 2013-05-09 2014-05-09 通过与便携式电子设备可连接的子设备显示用户界面的方法和装置 Pending CN105190523A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20130052248A KR20140132917A (ko) 2013-05-09 2013-05-09 휴대 전자기기와 연결 가능한 부가 장치를 통한 표시 방법 및 장치
KR10-2013-0052248 2013-05-09
PCT/KR2014/004147 WO2014182117A1 (en) 2013-05-09 2014-05-09 Method and apparatus for displaying user interface through sub device that is connectable with portable electronic device

Publications (1)

Publication Number Publication Date
CN105190523A true CN105190523A (zh) 2015-12-23

Family

ID=51865766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025180.7A Pending CN105190523A (zh) 2013-05-09 2014-05-09 通过与便携式电子设备可连接的子设备显示用户界面的方法和装置

Country Status (9)

Country Link
US (1) US9843618B2 (zh)
EP (1) EP2994810B1 (zh)
JP (1) JP2016521420A (zh)
KR (1) KR20140132917A (zh)
CN (1) CN105190523A (zh)
AU (1) AU2014263305B2 (zh)
CA (1) CA2912045A1 (zh)
RU (1) RU2686622C2 (zh)
WO (1) WO2014182117A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610924A (zh) * 2020-04-30 2020-09-01 北京小米移动软件有限公司 基于颜色采集的数据处理方法及装置、触控笔、终端设备

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4344163A3 (en) 2011-06-05 2024-04-24 Apple Inc. Systems and methods for displaying notifications received from multiple applications
WO2014143776A2 (en) 2013-03-15 2014-09-18 Bodhi Technology Ventures Llc Providing remote interactions with host device using a wireless device
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9990105B2 (en) * 2014-07-08 2018-06-05 Verizon Patent And Licensing Inc. Accessible contextual controls within a graphical user interface
WO2016014601A2 (en) 2014-07-21 2016-01-28 Apple Inc. Remote user interface
KR102206533B1 (ko) 2014-08-05 2021-01-22 삼성전자주식회사 모바일 장치, 모바일 장치의 화면 표시 방법, 웨어러블 장치, 웨어러블 장치의 구동 방법 및 컴퓨터 판독가능 기록매체
US10339293B2 (en) 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
KR102418119B1 (ko) * 2014-08-25 2022-07-07 삼성전자 주식회사 시계 화면 구성 방법 및 이를 구현한 웨어러블 전자장치
WO2016036603A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced size configuration interface
KR102156862B1 (ko) * 2014-09-15 2020-09-16 후아웨이 테크놀러지 컴퍼니 리미티드 착용가능 디바이스의 통신 방법, 통신 시스템 및 관련 디바이스
US10254911B2 (en) * 2015-03-08 2019-04-09 Apple Inc. Device configuration user interface
US10796300B2 (en) * 2015-03-11 2020-10-06 Em Microelectronic-Marin S.A. Assembly of connected terminals for programming and managing a selection of functions
JP6400514B2 (ja) * 2015-03-20 2018-10-03 シャープ株式会社 表示システム、コンピュータプログラム及び記録媒体
KR102246742B1 (ko) * 2015-04-17 2021-05-03 삼성전자주식회사 전자 장치 및 전자 장치에서 적어도 하나의 페어링 대상을 식별하는 방법
CN108353126B (zh) 2015-04-23 2019-08-23 苹果公司 处理相机的内容的方法、电子设备和计算机可读存储介质
US10373588B2 (en) * 2015-05-12 2019-08-06 PRO Unlimited Global Solutions, Inc. System and method for managing action items
CN104932772B (zh) * 2015-05-27 2018-06-19 广东欧珀移动通信有限公司 智能手表的应用显示方法及装置
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
CN105116999B (zh) * 2015-07-28 2017-11-14 广东欧珀移动通信有限公司 一种智能手表的控制方法及智能手表
USD783659S1 (en) * 2015-08-12 2017-04-11 Samsung Electronics Co., Ltd Display screen or portion thereof with graphical user interface
GB2542562B (en) * 2015-09-21 2018-06-27 Displaylink Uk Ltd Private access to HID
JP2017130735A (ja) * 2016-01-19 2017-07-27 ソニー株式会社 表示制御装置、表示制御方法及びコンピュータプログラム
US20170236318A1 (en) * 2016-02-15 2017-08-17 Microsoft Technology Licensing, Llc Animated Digital Ink
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10739988B2 (en) 2016-11-04 2020-08-11 Microsoft Technology Licensing, Llc Personalized persistent collection of customized inking tools
US10871880B2 (en) * 2016-11-04 2020-12-22 Microsoft Technology Licensing, Llc Action-enabled inking tools
US10423236B2 (en) * 2017-05-25 2019-09-24 International Business Machines Corporation Using a wearable device to control characteristics of a digital pen
US10761569B2 (en) 2018-02-14 2020-09-01 Microsoft Technology Licensing Llc Layout for a touch input surface
US10887193B2 (en) 2018-06-03 2021-01-05 Apple Inc. User interfaces for updating network connection settings of external devices
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN109358937A (zh) * 2018-09-30 2019-02-19 上海达龙信息科技有限公司 一种基于虚拟输入装置远程操控pc的方法及系统
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN113157190A (zh) 2019-05-06 2021-07-23 苹果公司 电子设备的受限操作
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11513756B2 (en) * 2019-09-27 2022-11-29 Apple Inc. Coordinating adjustments to composite graphical user interfaces generated by multiple devices
US11379056B2 (en) * 2020-09-28 2022-07-05 Arian Gardner Editor's pen pad

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209961A (zh) * 2008-09-11 2011-10-05 伊利·茨尔恩 适于手持设备的可扩展系统构架,手持设备动态产生适于设备显示器的不同的用户环境
US20120092253A1 (en) * 2009-06-22 2012-04-19 Pourang Irani Computer Input and Output Peripheral Device
CN102763073A (zh) * 2010-01-06 2012-10-31 苹果公司 具有交互式弹出视图的装置、方法和图形用户接口
CN102760041A (zh) * 2011-04-29 2012-10-31 Lg电子株式会社 移动终端和控制移动终端的方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309555A (en) * 1990-05-15 1994-05-03 International Business Machines Corporation Realtime communication of hand drawn images in a multiprogramming window environment
JPH0520044A (ja) * 1991-07-15 1993-01-29 Personal Joho Kankyo Kyokai ユーザインタフエース装置
US6621508B1 (en) * 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
US20070132860A1 (en) * 2000-04-14 2007-06-14 Prabhu Girish V Method for customizing a digital camera using queries to determine the user's experience level
US6477117B1 (en) * 2000-06-30 2002-11-05 International Business Machines Corporation Alarm interface for a smart watch
US7016704B2 (en) * 2001-04-02 2006-03-21 Move Mobile Systems, Inc. Coordinating images displayed on devices with two or more displays
JP2005149230A (ja) * 2003-11-17 2005-06-09 Ntt Docomo Inc 表示連動システム
JP2005284886A (ja) * 2004-03-30 2005-10-13 Toshiba Corp 情報表示システム
US7634780B2 (en) * 2004-11-23 2009-12-15 Microsoft Corporation Method and system for exchanging data between computer systems and auxiliary displays
US7812786B2 (en) * 2005-01-18 2010-10-12 Nokia Corporation User interface for different displays
KR100782064B1 (ko) 2006-10-31 2007-12-04 에스케이 텔레콤주식회사 통신 단말기와 외부 디바이스간의 메뉴 전송 및 제어시스템 및 방법
WO2008153098A1 (ja) * 2007-06-14 2008-12-18 Sharp Kabushiki Kaisha 画像データ受信装置、操作装置、操作システム、画像データのデータ構造、制御方法、操作方法、プログラム、および、記録媒体
US8271893B1 (en) * 2009-01-09 2012-09-18 Adobe Systems Incorporated Transforming representation information
US8565829B2 (en) * 2009-03-02 2013-10-22 Lg Electronics Inc. Mobile terminal with detachably coupled sub-device
US8805439B2 (en) * 2009-03-05 2014-08-12 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9672646B2 (en) * 2009-08-28 2017-06-06 Adobe Systems Incorporated System and method for image editing using visual rewind operation
KR101626484B1 (ko) 2010-01-25 2016-06-01 엘지전자 주식회사 단말기 및 그 제어 방법
KR101601049B1 (ko) 2010-02-10 2016-03-08 삼성전자주식회사 듀얼 표시부를 가지는 휴대단말 및 그 표시부를 이용한 클립보드 기능 제공 방법
KR20120036693A (ko) 2010-10-08 2012-04-18 에스케이플래닛 주식회사 커뮤니티 서비스와 연계된 멀티미디어 컨텐츠 서비스 시스템 및 방법
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
JP5325943B2 (ja) * 2011-07-12 2013-10-23 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム
US9083918B2 (en) * 2011-08-26 2015-07-14 Adobe Systems Incorporated Palette-based image editing
TW201318423A (zh) * 2011-10-18 2013-05-01 Acer Inc 即時影像編輯方法與電子裝置
US9116663B2 (en) * 2011-12-22 2015-08-25 Blackberry Limited Method for changing device modes of an electronic device connected to a docking station and an electronic device configured for same
KR102013239B1 (ko) * 2011-12-23 2019-08-23 삼성전자주식회사 디지털 영상 처리장치, 및 그 제어방법
US20130219303A1 (en) * 2012-02-21 2013-08-22 Research In Motion Tat Ab Method, apparatus, and system for providing a shared user interface
JP5692541B2 (ja) * 2012-10-15 2015-04-01 コニカミノルタ株式会社 画像処理連携システム、連携方法、携帯端末装置及び連携プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209961A (zh) * 2008-09-11 2011-10-05 伊利·茨尔恩 适于手持设备的可扩展系统构架,手持设备动态产生适于设备显示器的不同的用户环境
US20120092253A1 (en) * 2009-06-22 2012-04-19 Pourang Irani Computer Input and Output Peripheral Device
CN102763073A (zh) * 2010-01-06 2012-10-31 苹果公司 具有交互式弹出视图的装置、方法和图形用户接口
CN102760041A (zh) * 2011-04-29 2012-10-31 Lg电子株式会社 移动终端和控制移动终端的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610924A (zh) * 2020-04-30 2020-09-01 北京小米移动软件有限公司 基于颜色采集的数据处理方法及装置、触控笔、终端设备

Also Published As

Publication number Publication date
EP2994810B1 (en) 2022-10-12
RU2015152483A (ru) 2017-06-15
KR20140132917A (ko) 2014-11-19
EP2994810A4 (en) 2016-12-28
RU2686622C2 (ru) 2019-04-29
AU2014263305B2 (en) 2019-09-05
WO2014182117A1 (en) 2014-11-13
AU2014263305A1 (en) 2015-08-20
US20140337748A1 (en) 2014-11-13
JP2016521420A (ja) 2016-07-21
EP2994810A1 (en) 2016-03-16
US9843618B2 (en) 2017-12-12
CA2912045A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
CN105190523A (zh) 通过与便携式电子设备可连接的子设备显示用户界面的方法和装置
KR102020345B1 (ko) 터치스크린을 구비하는 단말에서 홈 화면의 구성 방법 및 장치
EP2672762B1 (en) Connecting the highest priority Bluetooth device to a mobile terminal
JP7412572B2 (ja) ウィジェット処理方法及び関連する機器
KR102144763B1 (ko) 웨어러블 부가 장치를 통한 스케줄 표시 방법 및 장치
EP3617861A1 (en) Method of displaying graphic user interface and electronic device
EP2752749B1 (en) Processing method of touch screen device user interface and touch screen device
CN104007894A (zh) 便携式设备及其多应用操作方法
US10067666B2 (en) User terminal device and method for controlling the same
WO2018137287A1 (zh) 一种显示应用的方法、装置及电子终端
JP2014123352A (ja) アプリケーションの保安性管理方法及びその電子装置
US10956112B2 (en) System for controlling a display device
CN103853451A (zh) 显示设备及控制显示设备的方法
KR20140111526A (ko) 다중 입력 제어 방법 및 시스템과 이를 지원하는 전자 장치
US20150248213A1 (en) Method to enable hard keys of a device from the screen
CN105487805A (zh) 对象操作方法及装置
CN105518634B (zh) 与外部终端交互的方法、装置和记录介质
KR20140135315A (ko) 보안 기능 운용 방법 및 이를 지원하는 전자 장치
US9081810B1 (en) Remote device control using gestures on a touch sensitive device
EP2607982B1 (en) Method for changing device modes of an electronic device connected to a docking station and an electronic device configured for same
WO2016131181A1 (zh) 一种指纹事件的处理方法、装置及终端
CN108268397B (zh) 一种接入设备的处理方法及移动终端
CN108268396B (zh) 一种接入设备的处理方法及移动终端
CN108271092B (zh) 一种接入设备的处理方法及移动终端
CN108268407B (zh) 一种接入设备的处理方法及移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151223

WD01 Invention patent application deemed withdrawn after publication