CN113557700A - 用于内容流式传输的用户界面 - Google Patents
用于内容流式传输的用户界面 Download PDFInfo
- Publication number
- CN113557700A CN113557700A CN201980093648.9A CN201980093648A CN113557700A CN 113557700 A CN113557700 A CN 113557700A CN 201980093648 A CN201980093648 A CN 201980093648A CN 113557700 A CN113557700 A CN 113557700A
- Authority
- CN
- China
- Prior art keywords
- electronic device
- user interface
- content
- display
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 228
- 238000000034 method Methods 0.000 claims description 253
- 230000004044 response Effects 0.000 claims description 221
- 230000009471 action Effects 0.000 claims description 160
- 230000000875 corresponding effect Effects 0.000 claims description 154
- 230000001276 controlling effect Effects 0.000 claims description 138
- 230000006870 function Effects 0.000 claims description 108
- 238000004891 communication Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 51
- 230000010365 information processing Effects 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 29
- 230000000977 initiatory effect Effects 0.000 claims description 20
- 230000007704 transition Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 description 100
- 230000033001 locomotion Effects 0.000 description 73
- 230000007423 decrease Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 22
- 230000002093 peripheral effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000002829 reductive effect Effects 0.000 description 15
- 241000699666 Mus <mouse, genus> Species 0.000 description 14
- 230000008859 change Effects 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000001413 cellular effect Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 230000008713 feedback mechanism Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000021317 sensory perception Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 241001422033 Thestylus Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000007519 figuring Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1093—In-session procedures by adding participants; by removing participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1094—Inter-user-equipment sessions transfer or sharing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
在一些实施方案中,电子设备在流式传输模式下操作以将内容从该电子设备自动流式传输到回放目的地。在一些实施方案中,电子设备呈现用于在该电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放的可选选项。在一些实施方案中,电子设备呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示。在一些实施方案中,电子设备呈现用于控制电子设备的用户界面,该用户界面基于正被控制的电子设备的类型来自动重新配置从而支持不同的用户输入并发出不同的命令。在一些实施方案中,电子设备呈现用于控制电子设备的用户界面,该用户界面基于在正被控制的电子设备上正在显示的内容来自动提供上下文特定的可选选项。
Description
相关申请的交叉引用
本专利申请要求2019年1月4日提交的美国临时申请第62/788683号以及2019年2月16日提交的美国临时申请第62/806790号的权益,这两个申请的内容据此全文以引用方式并入本文以用于所有目的。
技术领域
本公开整体涉及呈现用于指示内容从电子设备到流式传输回放目的地设备的流式传输以及用于远程控制其他电子设备的用户界面的电子设备,以及与此类设备的用户交互。
背景技术
近年来,用户与电子设备的交互显著增强。这些设备可以是诸如计算机、平板电脑、电视机、多媒体设备、移动设备等之类的设备。
在一些情况下,用户希望控制内容从第一电子设备到第二电子设备的流式传输。在一些情况下,用户希望使用第一电子设备远程控制第二电子设备。增强这些交互可改善用户对设备的使用体验,并减少用户交互时间,这在输入设备经电池供电的情况下尤为重要。
众所周知,使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地,应管理和处理个人可识别信息数据,以使无意或未经授权的访问或使用的风险最小化,并应当向用户明确说明授权使用的性质。
发明内容
本公开中描述的一些实施方案涉及在流式传输模式下操作电子设备以将内容从该电子设备自动流式传输到回放目的地。本公开中描述的一些实施方案涉及在电子设备上呈现可选选项,该可选选项用于在电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放。本公开的一些实施方案涉及在电子设备上呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示。本公开的一些实施方案涉及在电子设备上呈现用于控制电子设备的用户界面,该用户界面基于正由该用户界面控制的电子设备的类型来自动重新配置为支持不同的用户输入并发出不同的命令。本公开的一些实施方案涉及在电子设备上呈现用于控制电子设备的用户界面,该用户界面基于在正由该用户界面控制的电子设备上显示的内容来自动提供不同的上下文特定的可选选项。
附图说明
为了更好地理解各种所述实施方案,应该结合以下附图参考下面的具体实施方式,在附图中,类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的便携式多功能设备上应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图5C至图5D示出了根据一些实施方案的具有触敏显示器和强度传感器的个人电子设备的示例性部件。
图5E至图5H示出了根据一些实施方案的个人电子设备的示例性部件和用户界面。
图5I至图5J示出了根据本公开的一些实施方案的用于设备的示例性架构的框图。
图6A至图6X示出了根据一些实施方案的第一电子设备在用于利用内容应用程序将内容流式传输到第二电子设备的流式传输模式下操作的示例性方式。
图7A至图7J是示出根据一些实施方案的在用于利用内容应用程序将内容流式传输到第二电子设备的流式传输模式下操作第一电子设备的方法的流程图。
图8A至图8S示出了根据一些实施方案的电子设备呈现用于在该电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放的可选选项的示例性方式。
图9A至图9F是示出根据一些实施方案的呈现用于在电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放的可选选项的方法的流程图。
图10A至图10O示出了根据一些实施方案的电子设备呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示的示例性方式。
图11A至图11G是示出根据一些实施方案的在电子设备上呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示的方法的流程图。
图12A至图12FF示出了根据一些实施方案的电子设备呈现用于控制另一个电子设备的可选选项的示例性方式。
图13A至图13H是示出根据一些实施方案的呈现用于控制另一个电子设备的可选选项的方法的流程图。
图14A至图14Q示出了根据一些实施方案的电子设备呈现用于控制另一个电子设备的可选选项的示例性方式。
图15A至图15F是示出根据一些实施方案的呈现用于控制另一个电子设备的可选选项的方法的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而,应当认识到,此类描述并非意在限制本公开的范围,而是作为对示例性实施方案的描述来提供。
需要提供用于控制和/或指示到设备的内容流式传输的有效方法的电子设备。需要提供用于远程控制其他电子设备的有效方法的电子设备。此类技术可减轻使用此类设备的用户的认知负担。此外,此类技术可减少以其他方式浪费在冗余用户输入上的处理器功率和电池功率。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件,但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸,而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸,但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文,术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中,该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备,诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的设备、iPod设备、和设备。任选地使用其他便携式电子设备,诸如具有触敏表面(例如,触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是,在一些实施方案中,该设备并非便携式通信设备,而是具有触敏表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中,描述了一种包括显示器和触敏表面的电子设备。然而,应当理解,该电子设备任选地包括一个或多个其他物理用户界面设备,诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序,诸如以下中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备,诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化,和/或在相应应用程序内被调整和/或变化。这样,设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出了根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”,并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如,触敏表面,诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如,在触敏表面(诸如设备100的触敏显示器系统112或设备300的触摸板355)上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的,术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如,手指接触)的力或压力(每单位面积的力),或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围,该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如,至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如,在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中,来自多个力传感器的力测量值被组合(例如,加权平均)以确定所估计的接触力。类似地,触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地,在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中,接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如,强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中,接触力或压力的替代物测量被转换成估计的力或压力,并且估计的力或压力用于确定是否已超过强度阈值(例如,强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性,从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能,该尺寸更小的设备用于(例如,在触敏显示器上)显示示能表示和/或接收用户输入(例如,经由触敏显示器、触敏表面或物理控件/机械控件,诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的,术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如,触敏表面)相对于设备的另一个部件(例如,外壳)的物理位移、或部件相对于设备的质心的位移。例如,在设备或设备的部件与用户对触摸敏感的表面(例如,手指、手掌或用户手部的其他部分)接触的情况下,通过物理位移生成的触觉输出将由用户解释为触感,该触感对应于设备或设备的部件的物理特征的所感知的变化。例如,触敏表面(例如,触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下,用户将感觉到触感,诸如“按下点击”或“松开点击”,即使在通过用户的移动而物理地被按压(例如,被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如,即使在触敏表面的光滑度无变化时,触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制,但是对触摸的许多感官知觉是大多数用户共有的。因此,当触觉输出被描述为对应于用户的特定感官知觉(例如,“按下点击”、“松开点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其部件的物理位移,该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解,设备100仅仅是便携式多功能设备的一个示例,并且设备100任选地具有比所示出的部件更多或更少的部件,任选地组合两个或更多个部件,或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器,并且还任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中,外围设备接口118、CPU120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中,它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信,这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如,蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于诸如通过近程通信无线电部件来检测近场通信(NFC)场的熟知的电路。无线通信任选地使用多种通信标准、协议和技术中的任一者,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如,IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n和/或IEEE802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如,可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS),或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据转换为电信号,并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中,音频电路110还包括耳麦插孔(例如,图2中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口,该外围设备为诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到该其他输入控制设备。该其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等。在一些另选实施方案中,输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者):键盘、红外线端口、USB端口以及指向设备诸如鼠标。一个或多个按钮(例如,图2中的208)任选地包括用于扬声器111和/或麦克风113音量控制的增大/减小按钮。该一个或多个按钮任选地包括下压按钮(例如,图2中的206)。
快速按下下压按钮任选地脱离触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程,如在2005年12月23日提交的名称为“Unlocking a Deviceby Performing Gestures on an Unlock Image”的美国专利申请11/322,549(即,美国专利No.7,657,849)中所述的,该美国专利申请据此全文以引用方式并入本文。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或将电信号发送到触摸屏112。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中,一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断),并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如,一个或多个软键、图标、网页或图像)的交互。在示例性实施方案中,触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术,但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在示例性实施方案中,使用投射式互电容感测技术,诸如在来自Apple Inc.(Cupertino,California)的和iPod中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触摸板:6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1,该每个专利据此全文以引用方式并入。然而,触摸屏112显示来自设备100的视觉输出,而触敏触摸板不提供视觉输出。
在一些实施方案中,触摸屏112的触敏显示器如以下专利申请所述:(1)提交于2006年5月2日的名称为“Multipoint Touch Surface Controller”的美国专利申请No.11/381,313;(2)2004年5月6日提交的名称为“Multipoint Touchscreen”的美国专利申请No.10/840,862;(3)2004年7月30日提交的名称为“Gestures For Touch Sensitive InputDevices”的美国专利申请No.10/903,964;(4)2005年1月31日提交的名称为“Gestures ForTouch Sensitive Input Devices”的美国专利申请No.11/048,264;(5)2005年1月18日提交的名称为“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”的美国专利申请No.11/038,590;(6)2005年9月16日提交的名称为“VirtualInput Device Placement On A Touch Screen User Interface”的美国专利申请No.11/228,758;(7)2005年9月16日提交的名称为“Operation Of A Computer With A TouchScreen Interface”的美国专利申请No.11/228,700;(8)2005年9月16日提交的名称为“Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”的美国专利申请No.11/228,737;以及(9)2006年3月3日提交的名称为“Multi-Functional Hand-HeldDevice”的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中,触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中,将用户界面设计为主要通过基于手指的接触和手势来工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些实施方案中,设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中,除了触摸屏之外,设备100任选地包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中,触摸板是设备的触敏区域,与触摸屏不同,该触敏区域不显示视觉输出。触摸板任选地是与触摸屏112分开的触敏表面,或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光,并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块),光学传感器164任选地捕获静态图像或视频。在一些实施方案中,光学传感器位于设备100的后部上,与设备前部上的触摸屏显示器112相背对,使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中,光学传感器位于设备的前部上,使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像以用于视频会议。在一些实施方案中,光学传感器164的位置可由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得单个光学传感器164与触摸屏显示器一起使用,以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些实施方案中,至少一个接触强度传感器与触敏表面(例如,触敏显示器系统112)并置排列或邻近。在一些实施方案中,至少一个接触强度传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地,接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行:No.11/241,839,名称为“Proximity Detector In Handheld Device”;No.11/240,788,名称为“ProximityDetector In Handheld Device”;No.11/620,702,名称为“Using Ambient Light SensorTo Augment Proximity Sensor Output”;No.11/586,862,名称为“Automated ResponseTo And Sensing Of User Activity In Portable Devices”;以及No.11/638,251,名称为“Methods And Systems For Automatic Configuration Of Peripherals”,这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中,当多功能设备被置于用户的耳朵附近时(例如,当用户正在进行电话呼叫时),接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备诸如扬声器或其他音频部件;和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合物、压电致动器、静电致动器或其他触觉输出生成部件(例如,用于将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令,并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中,至少一个触觉输出发生器与触敏表面(例如,触敏显示器系统112)并置排列或邻近,并且任选地通过竖直地(例如,向设备100的表面内/外)或侧向地(例如,在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中,至少一个触觉输出发生器传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地,加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行:美国专利公开No.20050190059,名称为“Acceleration-based Theft Detection System for PortableElectronic Devices”和美国专利公开No.20060017692,名称为“Methods AndApparatuses For Operating A Portable Device Based On An Accelerometer”,这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中,基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除加速度计168之外还包括磁力仪(未示出)和GPS(或GLONASS或其他全球导航系统)接收器(未示出),以用于获取关于设备100的位置和取向(例如,纵向或横向)的信息。
在一些实施方案中,存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外,在一些实施方案中,存储器102(图1A)或370(图3)存储设备/全局内部状态157,如图1A和图3中所示。设备/全局内部状态157包括以下中的一者或多者:活动应用程序状态,其指示哪些应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域;传感器状态,包括从设备的各个传感器和输入控制设备116获得的信息;以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如,Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动器,并且促进各种硬件部件和软件部件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信,并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如,通用串行总线(USB)、火线等)适于直接耦接到其他设备,或间接地通过网络(例如,互联网、无线LAN等)进行耦接。在一些实施方案中,外部端口是与(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如,30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如,触摸板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作,诸如确定是否已经发生了接触(例如,检测手指按下事件)、确定接触强度(例如,接触的力或压力,或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如,检测一个或多个手指拖动事件),以及确定接触是否已经停止(例如,检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变),所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如,单指接触)或者多点同时接触(例如,“多点触摸”/多个手指接触)。在一些实施方案中,接触/运动模块130和显示控制器156检测触摸板上的接触。
在一些实施方案中,接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如,确定用户是否已“点击”图标)。在一些实施方案中,根据软件参数来确定强度阈值的至少一个子集(例如,强度阈值不是由特定物理致动器的激活阈值来确定的,并且可在不改变设备100的物理硬件的情况下被调节)。例如,在不改变触控板或触摸屏显示器硬件的情况下,触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外,在一些具体实施中,向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如,通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测由用户进行的手势输入。触敏表面上的不同手势具有不同的接触模式(例如,所检测到的接触的不同运动、计时和/或强度)。因此,任选地通过检测特定接触模式来检测手势。例如,检测手指轻击手势包括检测手指按下事件,然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如,在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例,在触敏表面上检测手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件,包括用于改变所显示的图形的视觉冲击(例如,亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用,术语“图形”包括可被显示给用户的任何对象,其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中,图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码,在必要的情况下还一起接收坐标数据和其他图形属性数据,并且然后生成屏幕图像数据,以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件,该指令由触觉输出发生器167用于响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如,联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置,并提供该信息以供在各种应用程序中使用(例如提供给电话138以供在基于位置的拨号中使用;提供给相机143作为图片/视频元数据;以及提供给提供基于位置的服务的应用,诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集:
·联系人模块137(有时称为通讯录或联系人列表);
·电话模块138;
·视频会议模块139;
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·健身支持模块142;
·用于静态图像和/或视频图像的相机模块143;
·图像管理模块144;
·视频播放器模块;
·音乐播放器模块;
·浏览器模块147;
·日历模块148;
·桌面小程序模块149,其任选地包括以下各项中的一者或多者:天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6;
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150;
·搜索模块151;
·视频和音乐播放器模块152,其合并视频播放器模块和音乐播放器模块;
·备忘录模块153;
·地图模块154;以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134,联系人模块137任选地用于管理通讯录或联系人列表(例如,存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中),包括:向通讯录添加一个或多个姓名;从通讯录删除姓名;将电话号码、电子邮件地址、物理地址或其他信息与姓名关联;将图像与姓名关联;对姓名进行归类和分类;提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或IM 141进行的通信;等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话,以及当会话完成时断开或挂断。如上所述,无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138,视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电子邮件客户端模块140包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,即时消息模块141包括用于以下操作的可执行指令:输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如,使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中,所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用,“即时消息”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块,健身支持模块142包括用于创建健身(例如,具有时间、距离和/或卡路里燃烧目标)的可执行指令;与健身传感器(运动设备)进行通信;接收健身传感器数据;校准用于监视健身的传感器;为健身选择和播放音乐;以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144,相机模块143包括用于以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征,或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、和相机模块143,图像管理模块144包括用于排列、修改(例如,编辑)、或以其他方式操控、加标签、删除、呈现(例如,在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,浏览器模块147包括用于根据用户指令来浏览互联网,包括搜索、链接至、接收和显示网页或其部分,以及链接至网页的附件和其他文件的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如,日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如,天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如,用户创建的桌面小程序149-6)。在一些实施方案中,桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中,桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如,将网页的用户指定部分转变为桌面小程序)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,搜索模块151包括用于根据用户指令来搜索存储器102中与一个或多个搜索条件(例如,一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式诸如MP3或AAC文件存储的所记录的音乐和其他声音文件的可执行指令,以及用于显示、呈现或以其他方式回放视频(例如,在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中,设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,备忘录模块153包括用于根据用户指令来创建和管理备忘录、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如,驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据,以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括用于执行以下操作的指令:允许用户访问、浏览、接收(例如,通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件,以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中,使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。在线视频应用程序的其他描述可见于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请No.60/936,562和2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国专利申请No.11/968,067,这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如,本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如,指令集)不必以独立的软件程序、过程或模块实现,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如,视频播放器模块任选地与音乐播放器模块组合成单个模块(例如,图1A中的视频和音乐播放器模块152)。在一些实施方案中,存储器102任选地存储上述模块和数据结构的子组。此外,存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中,设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触摸板作为用于操作设备100的主要输入控制设备,任选地减少设备100上的物理输入控制设备(例如,下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触摸板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中,触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中,使用触摸板来实现“菜单按钮”。在一些其他实施方案中,菜单按钮是物理下压按钮或者其他物理输入控制设备,而不是触摸板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中,存储器102(图1A)或存储器370(图3)包括事件分类器170(例如,在操作系统126中)以及相应的应用程序136-1(例如,前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中,应用程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中,设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的,并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中,应用程序内部状态192包括附加信息,诸如以下各项中的一者或多者:当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列,以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如,触敏显示器112上的用户触摸,作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中,事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应,外围设备接口118传输事件信息。在其他实施方案中,外围设备接口118仅当存在显著事件(例如,接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中,事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时,命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如,在其中检测到触摸的最低水平视图任选地被称为命中视图,并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定,所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下,命中视图是发起子事件(例如,形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别,命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中,活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图,并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中,即使触摸子事件完全被局限到与一个特定视图相关联的区域,分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如,事件识别器180)。在包括活动事件识别器确定模块173的实施方案中,事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中,事件分配器模块174在事件队列中存储事件信息,该事件信息由相应事件接收器182进行检索。
在一些实施方案中,操作系统126包括事件分类器170。另选地,应用程序136-1包括事件分类器170。在又一个实施方案中,事件分类器170是独立模块,或者是存储在存储器102中的另一个模块(诸如,接触/运动模块130)的一部分。
在一些实施方案中,应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191,其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常,相应应用程序视图191包括多个事件识别器180。在其他实施方案中,事件识别器180中的一个或多个事件识别器是独立模块的一部分,该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中,相应事件处理程序190包括以下各项中的一者或多者:数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地,应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外,在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179),并且根据事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中,事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息任选地还包括子事件的速率和方向。在一些实施方案中,事件包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向取向,或反之亦然),并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该比较来确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施方案中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中,事件(187)中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中,事件1(187-1)的定义是被显示对象上的双击。例如,双击包括被显示对象上的预先确定时长的第一触摸(触摸开始)、预先确定时长的第一抬离(触摸结束)、被显示对象上的预先确定时长的第二触摸(触摸开始)以及预先确定时长的第二抬离(触摸结束)。在另一个示例中,事件2(187-2)的定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中,事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中,事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在触敏显示器112上显示三个用户界面对象的应用程序视图中,当在触敏显示器112上检测到触摸时,事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如,事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中,相应事件(187)的定义还包括延迟动作,该延迟动作延迟事件信息的递送,直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时,该相应事件识别器180进入事件不可能、事件失败或事件结束状态,在此之后忽略基于触摸的手势的后续子事件。在这种情况下,对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中,相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中,元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中,元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中,当事件的一个或多个特定子事件被识别时,相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中,相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中,事件识别器180抛出与所识别的事件相关联的标记,并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中,事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反,子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中,数据更新器176创建并更新在应用程序136-1中使用的数据。例如,数据更新器176对联系人模块137中所使用的电话号码进行更新,或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中,对象更新器177创建并更新在应用程序136-1中使用的对象。例如,对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息,并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中,事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178,或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中,它们被包括在两个或更多个软件模块中。
应当理解,关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入,并不是所有用户输入都是在触摸屏上发起的。例如,任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下;触摸板上的接触移动,诸如轻击、拖动、滚动等;触笔输入;设备的移动;口头指令;检测到的眼睛移动;生物特征输入;和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中,用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮,诸如“home”或菜单按钮204。如前所述,菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地,在一些实施方案中,菜单按钮被实现为被显示在触摸屏112上的GUI中的软键。
在一些实施方案中,设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁过程。在另选的实施方案中,设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165,和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中,设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如,家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一条或多条通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330,该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如,类似于上文参考图1A所述的触觉输出发生器167)、传感器359(例如,光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于上文参考图1A所述的接触强度传感器165))。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM,或其他随机存取固态存储器设备;并且任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中,存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或其子集。此外,存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如,设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390,而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如,指令集)不必被实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中,存储器370任选地存储上述模块和数据结构的子组。此外,存储器370任选地存储上文未描述的附加模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,用户界面400包括以下元件或者其子集或超集:
·无线通信诸如蜂窝信号和Wi-Fi信号的信号强度指示符402;
·时间404;
·蓝牙指示符405;
·电池状态指示符406;
·具有针对常用应用程序的图标的托盘408,该图标诸如:
ο电话模块138的被标记为“电话”的图标416,该图标416任选地包括未接来电或语音信箱的数量的指示符414;
ο电子邮件客户端模块140的被标记为“邮件”的图标418,该图标418任选地包括未读电子邮件的数量的指示符410;
ο浏览器模块147的标记为“浏览器”的图标420;以及
ο视频和音乐播放器模块152(也称为iPod(苹果公司(AppleInc.)的商标)模块152)的被标记为“iPod”的图标422;以及
·其他应用的图标,诸如:
οIM模块141的被标记为“消息”的图标424;
ο日历模块148的被标记为“日历”的图标426;
ο图像管理模块144的被标记为“照片”的图标428;
ο相机模块143的被标记为“相机”的图标430;
ο在线视频模块155的被标记为“在线视频”的图标432;
ο股市桌面小程序149-2的被标记为“股市”的图标434;
ο地图模块154的被标记为“地图”的图标436;
ο天气桌面小程序149-1的被标记为“天气”的图标438;
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440;
ο健身支持模块142的被标记为“健身支持”的图标442;
ο备忘录模块153的标记为“备忘录”的图标444;以及
ο设置应用程序或模块的被标记为“设置”的图标446,该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是,图4A中示出的图标标签仅是示例性的。例如,视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中,相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中,特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如,触摸屏显示器112)分开的触敏表面451(例如,图3的平板电脑或触摸板355)的设备(例如,图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如,传感器359中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例,但是在一些实施方案中,设备检测与显示器分开的触敏表面上的输入,如图4B中所示。在一些实施方案中,触敏表面(例如,图4B中的451)具有与显示器(例如,450)上的主轴(例如,图4B中的453)对应的主轴(例如,图4B中的452)。根据这些实施方案,设备检测在与显示器上的相应位置对应的位置(例如,在图4B中,460对应于468并且462对应于470)处与触敏表面451的接触(例如,图4B中的460和462)。这样,当触敏表面(例如,图4B中的451)与多功能设备的显示器(例如,图4B中的450)分开时,由设备在该触敏表面上检测到的用户输入(例如,接触460和462以及它们的移动)被该设备用于操纵该显示器上的用户界面。应当理解,类似的方法任选地用于本文所述的其他用户界面。
另外,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例,但是应当理解的是,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如,基于鼠标的输入或触笔输入)替代。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中,设备500可包括相对于设备100和300(例如,图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中,设备500具有在下文中称为触摸屏504的触敏显示屏504。作为触摸屏504的替代或补充,设备500具有显示器和触敏表面。与设备100和300的情况一样,在一些实施方案中,触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如,触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于触摸的强度来对触摸作出响应,这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中:2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列No.PCT/US2013/040061,发布为WIPO专利公开No.WO/2013/169849;以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for TransitioningBetween Touch Input to Display Output Relationships”的国际专利申请序列No.PCT/US2013/069483,发布为WIPO专利公开No.WO/2014/105276,该每个专利申请据此全文以引用方式并入。
在一些实施方案中,设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中,设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中,设备500可包括参考图1A、图1B和图3所述的部件中的一些或全部部件。设备500具有总线512,该总线将I/O部分514与一个或多个计算机处理器516和存储器518操作性地耦接。I/O部分514可连接到显示器504,该显示器可具有触敏部件522并且任选地具有强度传感器524(例如,接触强度传感器)。此外,I/O部分514可与通信单元530连接,用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备500可包括输入机构506和/或508。例如,输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中,输入机构508任选地是按钮。
在一些示例中,输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器,诸如GPS传感器532、加速度计534、定向传感器540(例如,罗盘)、陀螺仪536、运动传感器538和/或其组合,所有这些设备均可操作地连接到I/O部分514。
个人电子设备500的存储器518可包括用于存储计算机可执行指令的一个或多个非暂态计算机可读存储介质,该可执行指令在由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下述技术,包括过程700、900、1100、1300和1500(图7、图9、图11、图13和图15)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中,存储介质是暂态计算机可读存储介质。在一些示例中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置,而是可包括多种配置中的其他部件或附加部件。
如本文所用,术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如,图像(例如,图标)、按钮和文本(例如,超链接)任选地各自构成示能表示。
如本文所用,术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中,光标充当“焦点选择器”,使得当光标在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如,图3中的触摸板355或图4B中的触敏表面451)上检测到输入(例如,按压输入)的情况下,该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如,图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中,在触摸屏上所检测到的接触充当“焦点选择器”,使得当在触摸屏显示器上在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如,由接触进行的按压输入)时,该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中,焦点从用户界面的一个区域移动到用户界面的另一个区域,而无需光标的对应移动或触摸屏显示器上的接触的移动(例如,通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮);在这些具体实施中,焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式,焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如,通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如,在触敏表面(例如,触摸板或触摸屏)上检测到按压输入时,焦点选择器(例如,光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的,接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中,特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如,在检测到接触之后,在检测到接触抬离之前,在检测到接触开始移动之前或之后,在检测到接触结束之前,在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如,0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者:接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10%处的值、接触的强度的半最大值、接触的强度的90%最大值等。在一些实施方案中,在确定特征强度时使用接触的持续时间(例如,在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中,将特征强度与一组一个或多个强度阈值进行比较,以确定用户是否已执行操作。例如,该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中,特征强度未超过第一阈值的接触导致第一操作,特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作,而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中,使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如,是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
图5C示出了利用多个强度传感器524A-524D检测触敏显示屏504上的多个接触552A-552E。图5C还包括强度图,其相对于强度单位示出了强度传感器524A-524D的当前强度测量值。在该示例中,强度传感器524A和524D的强度测量值均是9个强度单位,并且强度传感器524B和524C的强度测量值均是7个强度单位。在一些具体实施中,累积强度是多个强度传感器524A-524D的强度测量值之和,在该示例中是32个强度单位。在一些实施方案中,每个接触都被分配了相应强度,即累积强度的一部分。图5D示出了基于其与力554中心的距离而向接触552A-552E分配累积强度。在该示例中,接触552A、552B和552E中的每个接触都被分配以累积强度的8个强度单位的接触的强度,并且接触552C和552D的中每个接触都被分配以累积强度的4个强度单位的接触的强度。更一般地,在一些具体实施中,每个接触j都根据预定义的数学函数Ij=A·(Dj/ΣDi)被分配相应强度Ij,其为累积强度A的一部分,其中Dj是相应接触j距力中心的距离,并且ΣDi是所有相应接触(例如,i=1到最后)距力中心的距离之和。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5C至图5D所述的操作。在一些实施方案中,接触的特征强度基于接触的一个或多个强度。在一些实施方案中,强度传感器用于确定单个特征强度(例如,单个接触的单个特征强度)。应当指出,强度图不是所显示用户界面的部分,而是包括在图5C至图5D中以辅助读者。
在一些实施方案中,识别手势的一部分以用于确定特征强度。例如,触敏表面任选地接收连续的轻扫接触,该连续的轻扫接触从起始位置过渡并到达结束位置,在该结束位置处,接触强度增加。在该示例中,接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分,而不是整个轻扫接触(例如,仅结束位置处的轻扫接触的部分)。在一些实施方案中,在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑算法。例如,平滑化算法任选地包括以下各项中的一种或多种:不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下,这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷,以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中,轻按压强度阈值对应于这样的强度:在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中,深按压强度阈值对应于这样的强度:在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中,当检测到特征强度低于轻按压强度阈值(例如,并且高于标称接触检测强度阈值,比标称接触检测强度阈值低的接触不再被检测到)的接触时,设备将根据接触在触敏表面上的移动来移动焦点选择器,而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲,除非另有陈述,否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中,接触检测强度阈值为零。在一些实施方案中,接触检测强度阈值大于零。
在本文中所述的一些实施方案中,响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作,其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中,响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如,相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值,并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。
图5E至图5H示出了对手势的检测,手势包括与接触562的强度从低于图5E中的轻按压强度阈值(例如,“ITL”)的强度增大到高于图5H中的深按压强度阈值(例如,“ITD”)的强度对应的按压输入。在所显示的包括预定义区域574中显示的应用图标572A-572D的用户界面570上,在与应用2对应的应用图标572B上方显示光标576时,在触敏表面560上检测利用接触562执行的手势。在一些实施方案中,在触敏显示器504上检测到手势。强度传感器检测触敏表面560上的接触的强度。该设备确定接触562的强度在深按压强度阈值(例如,“ITD”)以上达到峰值。在触敏表面560上保持接触562。响应于检测到手势,并且根据在手势期间强度升高到深按压强度阈值(例如,“ITD”)以上的接触562,显示最近为应用程序2打开的文档的缩比表示578A-578C(例如,缩略图),如图5F至图5J所示。在一些实施方案中,与一个或多个强度阈值相比,强度是接触的特征强度。应当指出,针对接触562的强度图不是所显示用户界面的部分,而是包括在图5E至图5H中以辅助读者。
在一些实施方案中,表示578A-578C的显示包括动画。例如,表示578A一开始显示于应用图标572B的附近,如图5F所示。随着动画的进行,表示578A向上移动,并在应用图标572B附近显示表示578B,如图5G中所示。然后,表示578A向上移动,578B朝表示578A向上移动,并且在应用图标572B附近显示表示578C,如图5H中所示。表示578A-578C在图标572B上方形成阵列。在一些实施方案中,动画根据接触562的强度进展,如图5F-图5G中所示,其中表示578A-578C出现并随着接触562的强度向深按压强度阈值(例如,“ITD”)增大而向上移动。在一些实施方案中,动画进展所依据的强度是接触的特征强度。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5E至图5H所述的操作。
图5I示出了根据本公开的一些实施方案的用于设备580的示例性架构的框图。在图5I的实施方案中,媒体内容或其他内容任选地由设备580经由网络接口582接收,该网络接口任选地为无线连接或有线连接。一个或多个处理器584任选地执行存储在存储器586或存储装置中的任何数量的程序,该程序任选地包括用于执行本文所述的方法和/或过程(例如,方法700、900、1100、1300和1500)中的一个或多个的指令。
在一些实施方案中,显示控制器588使得本公开的各种用户界面显示在显示器594上。另外,到设备580的输入任选地由遥控器590经由遥控器接口592提供,该遥控器接口任选地为无线或有线连接。在一些实施方案中,到设备580的输入由多功能设备591(例如,智能电话)提供,在该多功能设备上正在运行将该多功能设备配置为模拟远程控制功能的远程控制应用程序,如将在下文更详细地描述的。在一些实施方案中,多功能设备591对应于图1A和图2中的设备100、图3中的设备300以及图5A中的设备500中的一者或多者。应当理解,图5I的实施方案不意味着限制本公开的设备的特征,并且有利于本公开所述的其他特征的其他部件也任选地包括于图5I的架构中。在一些实施方案中,设备580任选地对应于图1A和图2中的多功能设备100、图3中的设备300以及图5A中的设备500中的一者或多者;网络接口582任选地对应于图1A和图2中的RF电路108、外部端口124和外围设备接口118以及图3中的网络通信接口360中的一者或多者;处理器584任选地对应于图1A中的处理器120和图3中的CPU 310中的一者或多者;显示控制器588任选地对应于图1A中的显示控制器156和图3中的I/O接口330中的一者或多者;存储器586任选地对应于图1A中的存储器102和图3中的存储器370中的一者或多者;遥控器接口592任选地对应于图1A中的外围设备接口118和I/O子系统106(和/或其部件)和图3中的I/O接口330中的一者或多者;遥控器590任选地对应于和/或包括以下中的一者或多者:图1A中的扬声器111、触敏显示器系统112、麦克风113、光学传感器164、接触强度传感器165、触觉输出发生器167、其他输入控制设备116、加速度计168、接近传感器166和I/O子系统106,以及图3中的键盘/鼠标350、触摸板355、触觉输出发生器357和接触强度传感器359,以及图4中的触敏表面451;并且显示器594任选地对应于图1A和图2中的触敏显示器系统112和图3中的显示器340。
图5J示出了根据本公开的一些实施方案的遥控器590的示例性结构。在一些实施方案中,遥控器590任选地对应于图1A和图2中的多功能设备100、图3中的设备300以及图5A中的设备500中的一者或多者。遥控器590任选地包括触敏表面593,其类似于图4中的触敏表面451。在一些实施方案中,触敏表面593是边对边(edge-to-edge)(例如,其延伸至遥控器590的边缘,使得在触敏表面593与遥控器590的一个或多个边缘之间几乎不存在或不存在遥控器590的表面,如图5J所示)。如本公开中前文所述,触敏表面593任选地能够感测接触以及接触强度(例如,点击触敏表面593)。此外,触敏表面593任选地包括用于提供物理按钮点击功能性的机械致动器(例如,触敏表面593是“可点击的”以向设备580提供对应的输入)。遥控器590还任选地包括按钮594、595、596、597、598和599。按钮594、595、596、597、598和599任选地是机械按钮或机械按钮替代形式,这些机械按钮或机械按钮替代形式能够感测与此类按钮的接触或对其的按压,以在例如设备580上发起对应动作。在一些实施方案中,用户对“菜单”按钮594的选择在当前执行的应用程序或当前显示的用户界面中向后导航设备580(例如,向后到在当前显示的用户界面之前显示的用户界面),或者将设备580导航到比当前显示的用户界面高一个级别的用户界面。在一些实施方案中,用户对“home”按钮595的选择将设备580从显示在设备580上的任何用户界面导航到主菜单、home菜单或根菜单用户界面(例如,到设备580的主屏幕,其任选地包括在设备580上可访问的一个或多个应用程序)。在一些实施方案中,用户对“播放/暂停”按钮596的选择在播放和暂停设备580上的当前播放内容项之间来回切换(例如,如果在选择“播放/暂停”按钮596时内容项正在设备580上播放,则任选地暂停内容项,并且如果在选择“播放/暂停”按钮596时内容项在设备580上暂停,则任选地播放内容项)。在一些实施方案中,用户对“+”597或“-”598按钮的选择分别增大或减小由设备580再现的音频的音量(例如,当前在设备580上播放的内容项的音量)。在一些实施方案中,用户对“音频输入”按钮599的选择允许用户向设备580提供音频输入(例如,语音输入),任选地向该设备上的语音助理提供音频输入。在一些实施方案中,遥控器590包括麦克风,用户在选择“音频输入”按钮599时经由该麦克风向设备580提供音频输入。在一些实施方案中,遥控器590包括用于检测关于该遥控器的运动的信息的一个或多个加速度计。
在一些实施方案中,设备采用强度滞后以避免有时被称为“抖动”的意外输入,其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如,滞后强度阈值比按压输入强度阈值低X个强度单位,或滞后强度阈值是按压输入强度阈值的75%、90%或某个合理比例)。因此,在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值,并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。类似地,在一些实施方案中,仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入,并且响应于检测到按压输入(例如,根据环境,接触强度增大或接触强度减小)来执行相应操作。
为了容易解释,任选地,响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述:接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外,在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中,任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
如本文所用,“已安装的应用”是指已下载到电子设备(例如,设备100、300和/或500)上并准备好在设备上启动(例如,变为打开)的软件应用。在一些实施方案中,下载的应用利用安装程序而变为已安装的应用,安装程序从下载的软件包提取程序部分并将提取的部分与计算机系统的操作系统集成。
如本文所用,术语“打开的应用”或“执行中的应用”是指具有保持状态信息(例如,作为设备/全局内部状态157和/或应用内部状态192的一部分)的软件应用。打开的或执行中的应用是任选地以下类型的应用中的任一者:
·当前显示于正使用应用的设备的显示屏上的活动应用;
·后台应用(或后台进程),其当前未显示但该应用的一个或多个进程正由一个或多个处理器处理;以及
·没有运行但具有被存储在存储器(分别有易失性和非易失性的)中并可用于恢复应用的执行的状态信息的暂停的或休眠的应用。
如本文所用,术语“关闭的应用”是指不具有保持状态信息的软件应用(例如,关闭的应用的状态信息不被存储在设备的存储器中)。因此,关闭应用包括停止和/或移除应用的应用进程以及从设备的存储器移除应用的状态信息。一般来讲,当在第一应用中时,打开第二应用并不关闭第一应用。在显示第二应用并且第一应用停止显示时,第一应用变为后台应用。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
用户界面和相关联的过程
自动内容流式传输
用户以许多不同方式与电子设备进行交互,包括使用电子设备来呈现内容,诸如音频内容或视频内容。在一些实施方案中,第一电子设备能够将内容流式传输到第二电子设备以使用第二电子设备来呈现内容。下文所述的实施方案提供了第一电子设备在流式传输模式下操作以使用内容应用程序在第二电子设备上呈现内容的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图6A至图6X示出了第一电子设备在用于利用内容应用程序将内容流式传输到第二电子设备的流式传输模式下操作的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图7A至图7J描述的过程。
图6A至图6H示出了当电子设备应在流式传输模式下操作以将内容流式传输到流式传输目的地的置信度未达到第一预先确定的置信度阈值或第二预先确定的置信度阈值时电子设备500的操作。图6A示出了包括触摸屏504的示例性设备500。电子设备任选地与图例602中指示的其他电子设备(包括第一显示设备602a、第二显示设备602b和扬声器602c)通信。电子设备500与其他电子设备602a-602c之间的通信链路允许电子设备500相对于电子设备602a-602c中的一个或多个电子设备进入流式传输模式,以利用内容应用程序将内容流式传输到相应电子设备,如本文将描述的。
如图6A所示,电子设备500呈现home屏幕用户界面。home屏幕用户界面包括可选选项452,该可选选项当被选择(例如,利用接触603)时使得电子设备500呈现第一内容应用程序。用户(例如,利用接触603)选择可选选项452。当用户选择选项452时,电子设备500基于一个或多个标准确定电子设备500应进入流式传输模式以利用第一内容应用程序将内容自动流式传输到流式传输目的地(例如,电子设备602a-602c中的一个电子设备)的置信度604低于第一预先确定的阈值,该一个或多个标准诸如所选择的应用程序的类型、用户已将内容从第一电子设备流式传输到可用流式传输目的地中的一个可用流式传输目的地的次数,以及当应用程序被选择时第一电子设备当前是否正在将内容流式传输到流式传输目的地。大于第一预先确定的阈值的第二预先确定的阈值任选地也基于类似的标准。
图6B示出了呈现第一内容应用程序的用户界面的电子设备500。用户界面包括可通过第一内容应用程序获得的内容项的表示606。因为电子设备500应进入流式传输模式的置信度不满足第一预先确定的置信度阈值或第二预先确定的置信度阈值中的任一者,所以电子设备500不进入流式传输模式。与内容应用程序一起播放的任何内容将在电子设备500自身上自动播放,而不是被自动流式传输到流式传输目的地。
如图6C所示,用户(例如,利用接触603)选择内容项的表示606。如图6D所示,响应于用户的选择,电子设备500呈现包括视频内容608的内容。
图6E示出了当电子设备500以横向取向取向时视频内容608的呈现。在呈现视频内容608时,电子设备500还呈现用于控制内容的回放的多个可选选项,包括流式传输选项610a、暂停选项610b、刷动条610c、向前跳转选项610d、向后跳转选项610e、音量条610f和关闭视频内容608的全屏横向视图的选项610g。
如图6F所示,用户(例如,利用接触603)选择流式传输选项610a。作为响应,如图6G所示,电子设备呈现多个可选选项,该多个可选选项当被选择时使得电子设备500将内容流式传输到多个可用流式传输目的地中的一个目的地,该多个可选选项包括用于流式传输到第一显示设备的选项612a、用于流式传输到第二显示设备的选项612b、用于流式传输到扬声器的选项612c,以及用于放弃流式传输内容并改为继续在电子设备500自身上呈现内容的选项612d。用户(例如,利用接触603)选择用于将内容流式传输到第一显示设备的选项612a。
响应于用户的选择,第一电子设备停止自身呈现视频内容(改为将视频内容流式传输到第一显示设备602a),并且呈现多个回放控制选项,如图6H所示。回放控制选项包括流式传输菜单选项614a、暂停选项614b、刷动条614c、向前跳转选项614d、向后跳转选项614e、音量条614f和用于停止显示回放控制选项的选项614g。也就是说,电子设备500呈现控件614a-614g,这些控件对应于当电子设备500在电子设备500自身上播放内容时呈现的控件610a-610g。然而,当在流式传输模式下操作时,控件614a-614g大于当电子设备500呈现内容时呈现的控件610a-610g,这是因为当内容被流式传输到另一个电子设备时不需要在显示器504上留出空间来呈现该内容。如图例602所示,电子设备500当前正在第一显示器602a上流式传输内容,包括流式传输音频内容和视频内容。
图6I至图6O示出了当电子设备500应在流式传输模式下操作的置信水平超过第一预先确定的置信阈值但不超过更高的第二预先确定的置信阈值时电子设备500的操作。在图6I中,电子设备500呈现home屏幕用户界面,并且用户(例如,利用接触603)选择第一流式传输应用程序452。在该示例中,当用户选择第一流式传输应用程序452时,电子设备500确定应相对于流式传输目的地发起流式传输模式的置信度604超过第一预先确定的阈值,但不超过第二预先确定的阈值。
如图6J所示,响应于图6I所示的用户的选择和置信水平,电子设备500呈现内容应用程序用户界面和用于选择流式传输目的地的菜单616,以便电子设备500在处于流式传输模式时利用内容应用程序将内容流式传输到该流式传输目的地。菜单616包括用于选择第一显示器作为流式传输目的地的选项616a、用于选择第二显示器作为流式传输目的地的选项616b,以及用于放弃进入流式传输模式并改为在电子设备500上播放内容的选项616c。用户(例如,利用接触603)选择用于发起流式传输模式的选项616a,其中第一显示器作为流式传输目的地。
如图6K所示,响应于用户的选择,电子设备500进入流式传输模式以将内容流式传输到第一显示器602a,如图例602所示。电子设备500呈现其正在以流式传输模式操作的指示618a。下文参考图10A至图11O更详细地描述流式传输模式的视觉指示。用户(例如,利用接触603)选择内容项的表示606。响应于用户的选择,电子设备500将所选择的内容流式传输到第一显示设备。
如图6L所示,图例602指示第一电子设备正在将内容流式传输到第一显示设备602a,并且第一显示设备602a呈现音频内容和视频内容。在将内容流式传输到第一显示设备602a时,电子设备500呈现上文参考图6H所述的多个回放控制选项614a-614g。
在图6M中,在电子设备500确定电子设备500应进入流式传输模式的置信度604在第一预先确定的阈值与第二预先确定的阈值之间的情况下,用户再次(例如,利用接触603)选择用于呈现内容应用程序的选项452。
响应于用户的选择,如图6N所示,电子设备500呈现包括用于选择流式传输目的地的菜单616的内容应用程序,电子设备当在流式传输模式下操作时将利用该内容应用程序将内容流式传输到该流式传输目的地。如图6N所示,用户(例如,利用接触603)选择选项616c,该选项用于放弃发起流式传输模式并改为在设备500自身上播放来自内容应用程序的内容。
如图6O所示,响应于用户的选择,电子设备500呈现内容应用程序而不进入流式传输模式。如图例602所示,电子设备不将内容流式传输到可用流式目的地中的任一个目的地,并且不被配置为将内容自动流式传输到可用流式传输目的地中的任一个目的地。如果用户将选择内容项的表示616,则内容将在电子设备500上播放,诸如在图6E中。如图6O所示,电子设备500不呈现流式传输模式视觉指示符(例如,图6K所示的流式传输模式视觉指示符618),因为其不再在流式传输模式下操作。
图6P至图6R示出了当电子设备应在流式传输模式下操作的置信度超过第一预先确定的置信度阈值和第二预先确定的置信度阈值时电子设备500的操作。图6P示出了home屏幕用户界面。用户(例如,利用接触603)选择用于呈现内容应用程序的选项452。电子设备500确定应发起与第一显示设备602a的流式传输模式的置信度604a、应发起与第二显示设备602b的流式传输模式的置信度604b以及应发起与扬声器设备602c的流式传输模式的置信度604c。在一些情况下,针对每个可用流式传输目的地的置信度不同于针对其他剩余可用流式传输目的地的置信度,因为相对于流式传输目的地中的每个流式传输目的地的过去用户行为可能不同。例如,如果用户已利用内容应用程序将内容流式传输到第一显示设备602a的次数多于用户已利用内容应用程序将内容流式传输到第二显示设备602b的次数,则电子设备500应进入与第一显示设备602a的流式传输模式的置信度604a高于电子设备500应进入与第二显示设备602b的流式传输模式的置信度604b。如图6P所示,应发起与第一显示设备602a的流式传输模式的置信度604a超过第一预先确定的阈值和第二预先确定的阈值,而应发起与第二显示设备602b或扬声器设备602c的流式传输模式的置信度604b和604c低于第一预先确定的阈值。
响应于用户的选择和所确定的置信度604a-604c,电子设备呈现内容应用程序,该内容应用程序包括正在发起流式传输模式以利用该内容应用程序将内容流式传输到第一显示设备的指示620(例如,因为相对于第一显示设备602a的置信度高于第二阈值,并且因为相对于第一显示设备602a的置信度高于相对于其他潜在回放目的地的置信度—在一些实施方案中,相反地,如果相对于第二显示设备602b的置信度高于第二阈值并且高于相对于其他潜在回放目的地的置信度,则设备500将任选地已自动发起针对第二显示设备602b而不是第一显示设备602a的流式传输模式)。
图6R示出了已发起流式传输模式后的内容应用程序用户界面。电子设备500呈现其正在流式传输模式下操作的指示618a。如图6R的图例602所示,电子设备500被配置为利用内容应用程序将内容自动流式传输到第一显示设备602a。如果用户要选择内容项的表示606,则电子设备500将以类似于参考图6L所述的方式将内容流式传输到第一显示设备602a。
图6S示出了home屏幕用户界面。用户(例如,利用接触603)选择用于呈现即时消息应用程序的选项424。如图6T所示,响应于用户的选择,电子设备500呈现即时消息应用程序并且不发起流式传输模式,因为该即时消息应用程序任选地不是具有呈现内容或流式传输内容的主要功能的应用程序。
在图6U中,电子设备500正在将内容流式传输到第一显示设备602a,如图例602所示。电子设备500呈现电子设备500正在流式传输模式下操作并且当前正在将内容流式传输到回放目的地(例如,第二显示设备602a)的视觉指示618b。如先前所提及的,将参考图10A至图11G更详细地描述关于与流式传输模式对应的各种视觉指示618的附加细节。
在图6V中,电子设备500呈现home屏幕用户界面,同时继续将内容流式传输到第一显示设备602a(例如,响应于用户在设备500将内容流式传输到第一显示设备602a时退出内容应用程序)。home屏幕用户界面包括电子设备500处于流式传输模式并且当前正在将内容流式传输到回放目的地(例如,第一显示设备602a)的指示618b。用户(例如,利用接触603)选择用于在电子设备500上呈现第二内容应用程序的选项442。电子设备500确定电子设备500应在流式传输模式下操作以利用第二内容应用程序自动流式传输内容的置信度604超过第二预先确定的阈值,这是部分地因为电子设备500已在流式传输模式下操作以利用第一内容应用程序将内容流式传输到第一显示设备602a。
如图6W所示,响应于用户的选择,电子设备500呈现第二内容应用程序的用户界面。用户界面包括电子设备500将在流式传输模式下操作以利用第二内容应用程序将内容自动流式传输到第一显示设备602a的指示622。电子设备500继续呈现电子设备500正在流式传输模式下操作并且当前正在将内容流式传输到回放目的地的指示618b。
图6X示出了即时消息应用程序用户界面(例如,响应于用户退出第二内容应用程序,以及在设备500正在将内容流式传输到第一显示设备602a时请求显示即时消息应用程序)。如图6X的图例602所示,电子设备500正在流式传输模式下操作并且正在将内容流式传输到第一显示设备602a。电子设备500在显示即时消息用户界面时不呈现流式传输模式视觉指示符,因为电子设备500正在使用内容应用程序诸如第一内容应用程序或第二应用程序将内容流式传输到第一显示设备,而不是该即时消息应用程序,并且因为该即时消息应用程序任选地不是主要目的是提供内容或流式传输内容的应用程序。
图7A至图7J是示出在用于利用内容应用程序将内容流式传输到第二电子设备的流式传输模式下操作第一电子设备的方法700的流程图。方法700任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5J所述。方法700中的一些操作任选地被组合,和/或一些操作的次序任选地被改变。
如下所述,方法700提供了在用于利用内容应用程序将内容流式传输到第二电子设备的流式传输模式下操作第一电子设备的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,具有存储器和一个或多个处理器的第一电子设备(例如,包括触摸屏的电子设备500、智能电话、媒体播放器、平板电脑或可穿戴设备;包括一个或多个输入设备诸如键盘、触控板或触摸屏或与该一个或多个输入设备通信的个人计算机;或者与显示器诸如电视、扬声器通信的机顶盒;以及包括触摸面板或触摸屏的遥控器)经由该一个或多个输入设备接收与在显示器上显示第一应用程序的请求对应的输入(702),诸如图6A所示的接触603。在一些示例中,第一应用程序任选地是内容应用程序,诸如视频或音频回放或流式传输应用程序。在一些实施方案中,输入是在第一电子设备上启动、打开或以其他方式显示内容应用程序的请求,诸如选择用于在第一电子设备上显示内容应用程序的图标。
在一些实施方案中,响应于接收到输入(704),第一电子设备在显示器上显示第一应用程序(706),诸如图6B所示的内容应用程序。在一些示例中,第一电子设备任选地呈现第一应用程序的用户界面。在一些实施方案中,用户界面包括内容项(例如,视频内容或音频内容)的多个表示,该多个表示当被选择时使得相应的内容项被呈现给用户。根据确定满足一个或多个标准,第一电子设备执行关于从第一电子设备上的第一应用程序到第二电子设备的内容流式传输的动作(708),诸如显示图6J所示的流式传输目的地菜单616。
在一些示例中,该一个或多个标准任选地包括基于用户已将内容从第一电子设备流式传输到第二电子设备的次数、用户已利用第一应用程序将内容流式传输到任何回放目的地(例如,第二电子设备或具有内容回放能力的其他电子设备)的次数,以及/或者第一应用程序是否为内容消费应用程序(例如,电子设备能够在其中播放内容诸如音乐、视频、电影、电视节目等的应用程序)而满足的标准。在一些实施方案中,关于内容流式传输的动作是在第一电子设备上发起与第二电子设备的内容流式传输模式(例如,使得在第一电子设备上播放的内容将被从第一电子设备流式传输到第二电子设备以用于回放),或者在与第一电子设备通信的显示器上显示提示,以提示选择包括第二电子设备的一个或多个可用回放目的地中的回放目的地以在第一电子设备上相对于所选择的回放目的地发起内容流式传输模式。内容流式传输模式任选地包括将第一电子设备和第二电子设备配置为将所选择的内容项从第一电子设备上的第一应用程序(或从第一电子设备上的不同内容应用程序)流式传输到第二电子设备(例如,通过将内容从第一电子设备流式传输到第二电子设备来在第二设备上播放该内容,任选地具有使用第一电子设备控制回放的能力)。在处于内容流式传输模式时,当第一电子设备检测到用于播放内容项的用户输入时,任选地将该内容项流式传输到回放目的地以播放内容(例如,而不是在第一电子设备自身上播放内容)。
在一些实施方案中,根据确定不满足该一个或多个标准,诸如图6A所示的置信度604,第一电子设备放弃执行关于从第一电子设备上的第一应用程序到第二电子设备的内容流式传输的动作(710),诸如图6B所示。
在一些示例中,如果不满足标准,则第一电子设备任选地不发起内容流式传输模式或呈现选择回放目的地以发起内容流式传输模式的提示。当第一电子设备不在内容流式传输模式下操作时,响应于用于播放内容项的用户输入,第一电子设备任选地在第一电子设备自身上播放所选择的内容,而不是将内容流式传输到回放目的地。在一些实施方案中,当第一电子设备不在内容流式传输模式下操作时,用户能够选择用于将所选择的内容流式传输到回放目的地的选项,该选项在一些实施方案中还发起内容流式传输模式。发起内容流式传输模式任选地使得随后选择的内容也被流式传输到回放目的地,而无需用户重新启用内容流式传输模式。在一些实施方案中,在未进入内容流式传输模式的情况下流式传输内容。在一些实施方案中,所选择的内容被流式传输到回放目的地,但是随后选择的内容不被流式传输,而是在第一电子设备上本地播放,除非并且直到用户肯定地向第一电子设备提供另一输入以使得随后选择的内容被流式传输到第二(或其他)电子设备。
当满足标准时响应于用户提供用于在第一电子设备上显示应用程序的输入而自动执行内容流式传输动作的上述方式,允许第一电子设备在用户可能希望执行从第一电子设备到第二电子设备的内容流式传输的情况下自动执行内容流式传输动作,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过响应于呈现第一应用程序的输入而执行内容流式传输动作,而无需进一步的输入来执行内容流式传输动作),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,当满足第一组一个或多个标准时或者当满足第二组一个或多个标准时(诸如,图6I中的第一置信度604阈值,或者图6P中的第二置信度604阈值),满足该一个或多个标准(712)。在一些示例中,第一组标准任选地对应于中等置信度标准,并且第二组一个或多个标准任选地对应于高置信度标准。在一些示例中,第一组一个或多个标准和/或第二组一个或多个标准任选地包括基于用户已将内容从第一电子设备流式传输到第二电子设备的次数、用户已利用第一应用程序将内容流式传输到任何回放目的地(例如,第二电子设备或具有内容回放能力的其他电子设备)的次数、第一电子设备当前是否正在将内容流式传输到第二电子设备(例如,使用第二应用程序),以及/或者第一应用程序是否为内容消费应用程序(例如,电子设备能够在其中播放内容诸如音乐、视频、电影、电视节目等的应用程序)而满足的标准。在一些实施方案中,第一组一个或多个标准对应于应启用到第二电子设备的自动化内容流式传输的第一置信水平(714),诸如图6I所示的第一置信604阈值。在一些示例中,第一置信水平任选地是中等置信度。例如,第一组一个或多个标准包括:当用户已将内容从第一电子设备流式传输到第二电子设备的次数满足第一预先确定的阈值时满足的标准,当用户已利用第一应用程序将内容流式传输到任何回放目的地(例如,第二电子设备或具有内容回放能力的其他电子设备)的次数满足第一预先确定的阈值时满足的标准,当第一电子设备当前正在(例如,使用第二应用程序)将内容流式传输到第二电子设备时满足的标准,以及/或者当第一应用程序是内容消费应用程序(例如,电子设备能够在其中播放内容诸如音乐、视频、电影、电视节目等的应用程序)时满足的标准。在一些实施方案中,为了满足对应于第一置信水平的第一组一个或多个标准,并非必须满足所有上述标准。例如,满足预先确定数量(例如,3个)的可能标准使第一一个或多个标准得到满足,或者任选地对该一个或多个标准进行加权,并且当满足足够的标准“权重”时,第一一个或多个标准得到满足。在一些实施方案中,第二组一个或多个标准对应于应启用到第二电子设备的自动化内容流式传输的第二置信水平,该第二置信水平高于第一置信水平(716),诸如图6P所示的第二置信水平604a阈值。在一些示例中,第二置信水平任选地是高置信度。在一些实施方案中,第二标准涵盖第一标准并添加有另外的标准,使得第二标准是要满足的比第一标准更高的阈值。例如,第二组一个或多个标准包括:当用户已将内容从第一电子设备流式传输到第二电子设备的次数满足第二预先确定的阈值时满足的标准,当用户已利用第一应用程序将内容流式传输到任何回放目的地(例如,第二电子设备或具有内容回放能力的其他电子设备)的次数满足第二预先确定的阈值时满足的标准,当第一电子设备当前正在(例如,使用第二应用程序)将内容流式传输到第二电子设备时满足的标准,以及/或者当第一应用程序是内容消费应用程序(例如,电子设备能够在其中播放内容诸如音乐、视频、电影、电视节目等的应用程序)时满足的标准。在一些实施方案中,为了满足对应于第一置信水平的第一组一个或多个标准,并非必须满足所有上述标准。例如,满足预先确定数量(例如,4个)的可能标准使第一一个或多个标准得到满足,或者任选地对该一个或多个标准进行加权,并且当满足足够的标准“权重”时,第一一个或多个标准得到满足。与第二组一个或多个标准相关联的第二阈值任选地高于与第一组一个或多个标准相关联的第一阈值。任选地,需要满足以满足第二组一个或多个标准的标准的子集的数量高于要满足以满足第一组一个或多个标准的标准的子集的数量,或者任选地,需要满足以便满足第二组一个或多个标准的标准“权重”的量高于需要满足以满足第一组一个或多个标准的标准“权重”的量。在一些实施方案中,根据确定满足第一组一个或多个标准,关于从第一电子设备上的第一应用程序到第二电子设备的内容流式传输的动作包括在显示器上显示提示(诸如流式传输目的地菜单616),该提示包括用于将第二电子设备指定为第一电子设备的内容流式传输目的地的可选选项616a或616b(718),诸如图6N所示。在一些实施方案中,提示还包括用于将其他电子设备指定为流式传输目的地的可选选项,以及用于在第一电子设备自身上本地播放内容而不进入流式传输模式的可选选项。响应于检测到对应于流式目的地的可选选项中的一个可选选项的选择,第一电子设备任选地进入流式传输模式以将内容流式传输到所选择的流式传输目的地。在一些实施方案中,诸如在图6Q中,根据确定满足第二组一个或多个标准,关于从第一电子设备上的第一应用程序到第二电子设备的内容流式传输的动作包括在用于将内容从第一电子设备流式传输到第二电子设备的内容流式传输模式下自动操作第一电子设备(720)。在一些示例中,自动操作任选地包括在显示第一应用程序的输入之后无需进一步的用户输入。在一些实施方案中,第一电子设备进入流式传输模式,这使得电子设备响应于呈现内容的用户输入而将该内容自动流式传输到第二电子设备。
识别两组标准的上述方式允许第一电子设备根据满足哪些标准来执行关于从第一电子设备到第二电子设备的内容流式传输的不同动作,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过使电子设备的动作符合应用的标准),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,该一个或多个标准包括当第一应用程序是流式传输内容应用程序诸如图6Q所示的内容应用程序时满足的标准(722)。在一些示例中,流式传输内容应用程序任选地是主要目的是提供内容诸如音频内容和视频内容(包括电视节目和电影)的应用程序。
当第一应用程序是流式传输内容应用程序时,执行关于从第一电子设备到第二电子设备的内容流式传输的动作的上述方式允许当第一应用程序支持内容流式传输时,第一电子设备执行关于从第一电子设备到第二电子设备的流式传输的动作,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在呈现第一应用程序时执行动作,而无需进一步的用户输入来实现这一点),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,根据确定第一应用程序被指定为第一类型的应用程序,第一应用程序是流式传输内容应用程序,诸如图6Q所示的流式传输应用程序,并且根据确定第一应用程序被指定为与第一类型的应用程序不同的第二类型的应用程序,第一应用程序不是流式传输内容应用程序(724),诸如图6X所示的即时消息应用程序。在一些实施方案中,应用程序类型由第三方指定,诸如电子设备的操作系统、应用程序商店或第一应用程序的开发者或发布者。
因此,在一些实施方案中,哪些应用程序被认为是流式传输内容应用程序以及哪些应用程序被认为不是流式传输内容应用程序是由除电子设备的用户或电子设备自身之外的实体预先确定和设置的。基于应用程序指定来确定第一应用程序是否为流式传输内容应用程序的上述方式允许第一电子设备有效地确定第一应用程序是否为流式传输内容应用程序,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过利用现有应用程序分类来确定是否执行关于流式传输内容的动作),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,该一个或多个标准包括当第一电子设备已用于将内容流式传输到第二电子设备超过预先确定的次数时满足的标准(726),诸如图6P所示的置信度604a。在一些示例中,预先确定的次数任选地为3次、5次、7次或一些其他次数。在一些实施方案中,用户将内容从第一电子设备流式传输到第二电子设备的次数越多,当第一电子设备与第二电子设备通信时,第一电子设备应将内容自动流式传输到第二电子设备的置信度越高。
基于第一电子设备已将内容流式传输到第二电子设备的次数来执行关于将内容从第一电子设备流式传输到第二电子设备的动作的上述方式允许在第一电子设备在过去已多次流式传输到第二电子设备的情况下,第一电子设备将内容自动流式传输到第二电子设备,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过自动执行在过去已多次执行的动作),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6V中,该一个或多个标准包括当在接收到与在第一电子设备上显示第一应用程序442的请求对应的输入603时第一电子设备500正在将内容流式传输到第二电子设备602a时满足的标准(728)。在一些实施方案中,当接收到在第一电子设备上显示第一应用程序的请求时,第一电子设备正在使用第二应用程序将内容流式传输到第二电子设备。
基于第一电子设备是否已经正在将内容流式传输到第二电子设备来执行关于将内容从第一电子设备流式传输到第二电子设备的动作的上述方式允许第一电子设备继续将内容从多个应用程序流式传输到第二电子设备,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过保持为流式传输模式,而无需另外的用户输入来实现这一点),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6N中,执行关于从第一电子设备500上的第一应用程序到第二电子设备602a的内容流式传输的动作包括显示提示616,该提示包括用于将第二电子设备602a指定为第一电子设备500的内容流式传输目的地的可选选项616a(730)。在一些示例中,除了用于将第二电子设备指定为第一电子设备的内容流式传输目的地的选项之外,提示任选地还包括:当被选择时使得电子设备相对于作为流式传输目的地的不同电子设备发起流式传输模式的可选选项,以及当被选择时使得第一电子设备在第一电子设备自身上本地呈现内容的可选选项(例如,而不是进入流式传输模式)。
显示包括用于指定内容流式传输目的地的可选选项的提示的上述方式允许第一电子设备被配置为在内容开始播放之前流式传输内容,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过减少用户错误并因此减少校正用户错误所需的输入使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6N中,提示包括用于将与第二电子设备602a不同的第三电子设备602b指定为第一电子设备500的内容流式传输目的地的可选选项616b(732)。在一些示例中,第二电子设备和第三电子设备任选地是显示设备、机顶盒设备、扬声器设备或被配置为呈现内容诸如音频内容和视频内容的其他类型的设备。
提供用于流式传输目的地的多个选项的上述方式允许第一电子设备让用户选择哪个电子设备用作流式传输目的地,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过一次呈现多个选项),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6N中,提示616包括用于放弃指定第一电子设备500的内容流式传输目的地的可选选项616c(734)。在一些实施方案中,响应于检测到对用于放弃指定内容流式传输目的地的可选选项的选择,第一电子设备将响应于请求呈现内容的输入而在第一电子设备上本地播放内容,而不是将内容流式传输到内容回放目的地。
呈现用于放弃指定流式传输目的地的选项的上述方式允许第一电子设备在第一电子设备自身上播放内容,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6K中,在满足该一个或多个标准并且第一电子设备500正在显示器504上显示第一应用程序诸如内容应用程序时(736),电子设备500经由该一个或多个输入设备接收用于经由第一应用程序播放内容项606的输入603(738)。在一些实施方案中,电子设备接收对第一应用程序中的内容项的选择或对用于播放第一内容项的输入(诸如第一应用程序用户界面或另一个用户界面(诸如系统用户界面)中呈现的选项)的选择。在一些实施方案中,其他输入是可能的。在一些实施方案中,诸如在图6K至图6L中,响应于经由第一应用程序接收到用于播放内容项606的输入603(740),根据确定从提示616指定了相应的内容流式传输目的地602a,第一电子设备500发起用于将内容项流式传输到相应的内容流式传输目的地602a以用于回放的过程(742)。在一些实施方案中,当第一电子设备由于用户在所显示的提示中选择了除第一电子设备之外的内容回放目的地而正在流式传输模式下操作时,内容被流式传输到相应的内容流式传输目的地并呈现在相应的内容流式传输目的地上。在一些实施方案中,诸如在图6C至图6D中,根据确定没有从提示616指定内容流式传输目的地,第一电子设备500在第一电子设备500上播放内容项608(744)。在一些实施方案中,由于用户未在所显示的提示中选择除第一电子设备之外的内容回放目的地,第一电子设备不进入流式传输模式,并且在第一电子设备上播放内容。
基于选择或放弃选择流式传输目的地的用户输入在第二电子设备或第一电子设备上呈现内容的上述方式允许第一电子设备向用户提供如何呈现内容的选项,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6Q至图6R中,执行关于从第一电子设备500上的第一应用程序到第二电子设备602a的内容流式传输的动作包括在用于将内容从第一电子设备500流式传输到第二电子设备602a的内容流式传输模式下自动操作第一电子设备500(746)。在一些示例中,自动操作任选地包括在显示第一应用程序的输入之后无需进一步的用户输入。在一些实施方案中,响应于检测到用于打开第一应用程序的用户输入,电子设备任选地打开第一应用程序,并且在没有来自用户的进一步输入的情况下进入用于利用第一应用程序将内容从第一电子设备流式传输到第二电子设备的流式传输模式。在处于流式传输模式时,响应于用于呈现内容的用户输入,内容被自动流式传输到第二电子设备。如图6Q所示,在进入流式传输模式时,电子设备500呈现指示正在进入流式传输模式的横幅620。当电子设备是平板电脑时,横幅呈现在全屏显示的应用程序的中心。当电子设备是平板电脑并且应用程序以分屏视图呈现时,横幅呈现在屏幕的中心或居中在内容应用程序的用户界面中(例如,在具有针对内容应用程序的用户界面的显示器的一侧上)。
在流式传输模式下自动操作第一电子设备的上述方式允许第一电子设备将内容自动流式传输到回放目的地,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过流式传输内容,而无需另外的用户输入来将第一电子设备配置为流式传输内容),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6P至图6R中,响应于接收到输入603(748),根据确定满足该一个或多个标准604a,第一电子设备500在显示器504上显示第一电子设备500正在用于将内容从第一电子设备500流式传输到第二电子设备602a的内容流式传输模式下操作的视觉指示618a(750)。在一些示例中,第一电子设备正在内容流式传输模式下操作的视觉指示任选地呈现在电子设备的系统指示符区域中。在一些实施方案中,当呈现流式传输模式视觉指示符时,由第一电子设备执行过程1100的一个或多个步骤。
呈现流式传输模式视觉指示符的上述方式允许第一电子设备向用户传达其正在流式传输模式下操作,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过使用户清楚了解内容在播放时是否将被流式传输),这还通过减少用户错误并因此减少校正用户错误所需的输入使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6K至图6L,当第一电子设备500正在内容流式传输模式下操作并且第一电子设备500正在显示器504上显示第一应用程序时(752),第一电子设备500经由该一个或多个输入设备接收用于经由第一应用程序播放内容项606的输入603(754)。在一些示例中,电子设备任选地接收用户选择内容项的表示或用户选择用于播放内容项的可选选项的指示。在一些实施方案中,诸如在图6K至图6L中,响应于经由第一应用程序接收到用于播放内容项606的输入603,第一电子设备500发起(756)用于将内容项流式传输到第二电子设备602a以用于回放的过程。在一些实施方案中,电子设备发起该过程,而无需接收用于将内容从第一电子设备流式传输到第二电子设备的另外的输入。
响应于在第一电子设备正在流式传输模式下操作时检测到用于播放内容的用户输入而流式传输该内容的上述方式允许第一电子设备在第二电子设备上呈现内容,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在可能更适于呈现内容的电子设备上呈现内容),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6U至图6V中,当第一电子设备500正在内容流式传输模式下操作并且第一电子设备500正在显示器504上显示第一应用程序时,第一电子设备经由该一个或多个输入设备接收与停止显示第一应用程序并显示第二应用程序442的请求对应的输入603(758)。在一些示例中,输入任选地包括一个或多个输入的序列,诸如用于关闭第一电子设备上的第一应用程序的用户界面的输入,接着是用于在第一电子设备上呈现第二应用程序的用户界面的用户输入。在一些实施方案中,诸如在图6V至图6W中,响应于接收到与停止显示第一应用程序并显示第二应用程序的请求对应的输入603(760),第一电子设备500在显示器504上显示第二应用程序(762),诸如图6W所示的第二内容应用程序。在一些实施方案中,第一电子设备在显示器上呈现第二应用程序的用户界面。在一些实施方案中,诸如在图6V至图6W中,根据确定满足一个或多个第二标准604,第一电子设备500保持第一电子设备500在用于将内容从第一电子设备上的第二应用程序(诸如图6W所示的第二内容应用程序)流式传输到第二电子设备602a的内容流式传输模式下的操作(764)。在一些示例中,该一个或多个第二标准任选地包括当第二应用程序是流媒体应用程序时满足的标准。第一电子设备任选地保持为流式传输模式,并且被配置为利用第二应用程序将内容从第一电子设备流式传输到第二电子设备。在一些实施方案中,诸如在6S至图6T中,根据确定不满足该一个或多个第二标准,第一电子设备500放弃保持第一电子设备在用于将内容从第一电子设备上的第二应用程序(诸如图6T所示的即时消息应用程序)流式传输到第二电子设备602a的内容流式传输模式下的操作(766)。在一些示例中,第一电子设备任选地不利用第二应用程序将内容从第一电子设备流式传输到第二电子设备。在一些实施方案中,第一电子设备保持为流式传输模式以继续利用第一应用程序将内容从第一电子设备流式传输到第二电子设备。
确定是否在流式传输模式下操作第一电子设备以利用第二应用程序流式传输内容的上述方式允许第一电子设备在适当时针对多个应用程序使用流式传输模式,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在满足标准时保持被配置为流式传输内容,而无需进一步的用户输入来再次设置流式传输模式),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6X中,当第一电子设备显示第二应用程序诸如图6X所示的即时消息应用程序时,第一电子设备500继续将内容从第一应用程序流式传输到第二电子设备602a(768)。在一些实施方案中,第一电子设备保持为流式传输模式以利用第一应用程序将内容流式传输到第二电子设备。在一些实施方案中,诸如在图6X中,第一电子设备500在显示器上显示第二应用程序(诸如图6X所示的即时消息应用程序)包括在显示器上不显示用于将内容从第一电子设备流式传输到第二电子设备602a的内容流式传输模式的视觉指示(770)。在一些实施方案中,第一电子设备在处于流式传输模式时呈现流式传输模式视觉指示符,同时呈现系统用户界面或流式传输内容应用程序(例如,第一应用程序)的用户界面。在一些实施方案中,呈现流式传输模式视觉指示符包括执行过程1100的一个或多个步骤。第二应用程序任选地是非流式传输应用程序,诸如社交媒体应用程序、即时消息应用程序、生产力应用程序、游戏应用程序或主要目的不是呈现音频内容或视频内容诸如电视节目或电影的一些其他应用程序。根据确定第一电子设备正在呈现非流式传输应用程序的用户界面,第一电子设备任选地不呈现流式传输模式视觉指示符。
当第一电子设备呈现流式传输内容应用程序时呈现流式传输模式视觉指示以及当第一电子设备呈现非流式传输内容应用程序时不呈现流式传输模式视觉指示的上述方式允许第一电子设备通过暗示在非流式传输应用程序中播放的内容将被流式传输到第二电子设备来避免产生混淆,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过向用户提供明确指示以减少用户错误),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6U至图6V中,当第一电子设备500正在内容流式传输模式下操作并且第一电子设备正在显示器504上显示第一应用程序诸如图6U所示的内容应用程序,包括显示第一电子设备正在用于将内容从第一电子设备流式传输到第二电子设备602a的内容流式传输模式下操作的视觉指示618b时,第一电子设备经由该一个或多个输入设备接收与停止显示第一应用程序并显示第一电子设备的系统用户界面的请求对应的输入(772),诸如图6V所示的home屏幕用户界面。在一些实施方案中,显示第一电子设备的操作系统的用户界面,而不是第一电子设备上的用户安装的应用程序的用户界面。在一些实施方案中,第一电子设备使用过程1100的一个或多个步骤来显示第一电子设备正在内容流式传输模式下操作的视觉指示。流式传输模式视觉指示符任选地显示在用户界面的系统指示符区域中。在一些实施方案中,诸如在图6V中,响应于接收到与停止显示第一应用程序并显示第一电子设备的系统用户界面(诸如图6A所示的home屏幕用户界面)的请求对应的输入(774),第一电子设备保持第一电子设备在用于将内容从第一电子设备流式传输到第二电子设备602a的内容流式传输模式下的操作(776),如图6V的图例602所示。在一些实施方案中,第一电子设备继续将内容流式传输到第二电子设备,并且第二电子设备继续呈现内容。在一些实施方案中,诸如在图6V中,第一电子设备500在显示器504上保持显示第一电子设备正在用于将内容从第一电子设备流式传输到第二电子设备602a的内容流式传输模式下操作的视觉指示618b(778)。在一些示例中,在第一电子设备继续将内容流式传输到第二电子设备时并且在第一电子设备呈现系统用户界面时,第一电子设备任选地继续在系统指示符区域中呈现流式传输模式视觉指示符。
当第一电子设备呈现系统用户界面时继续呈现流式传输模式视觉指示符的上述方式允许第一电子设备向用户传达在显示系统用户界面时内容继续被流式传输,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6C至图6D中,在不满足该一个或多个标准(例如,图6A所示的置信度604)时,第一电子设备500经由该一个或多个输入设备接收与经由第一应用程序播放内容项606的请求对应的输入603(780)。在一些实施方案中,第一电子设备不在流式传输模式下操作。在一些实施方案中,诸如在图6C至图6E中,响应于接收到与经由第一应用程序播放内容项606的请求对应的输入603,第一电子设备500在第一电子设备500上播放第一应用程序中的内容项608(782)。在一些实施方案中,第一电子设备使用第一电子设备自身来呈现内容,而不是将该内容流式传输到流式传输目的地。
在第一电子设备上播放内容的上述方式允许第一电子设备向用户提供如何呈现内容的选项,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图6C中,在显示器504上显示第一应用程序时,第一电子设备500经由该一个或多个输入设备接收与经由第一应用程序播放内容项606的请求对应的输入603(784)。在一些实施方案中,电子设备检测对内容项的表示的选择或检测对用于播放内容项的可选选项的选择。在一些实施方案中,诸如在图6D中,响应于接收到与经由第一应用程序播放内容项608的请求对应的输入,第一电子设备经由第一应用程序播放内容项608(786)。在一些实施方案中,诸如在图6E中,在经由第一应用程序播放内容项608时,第一电子设备500在显示器504上显示用于控制内容项608的回放的回放用户界面元素610a-610g(788)。在一些实施方案中,诸如在图6H中,根据确定第一电子设备500正在将内容项流式传输到第二电子设备602a,回放用户界面元素包括具有第一显示格式的一个或多个回放控件614a-614g(790)。
在一些实施方案中,第二电子设备呈现内容项。回放控件任选地以全屏格式呈现,这些回放控件包括播放/暂停选项、快进选项、后退选项、音量控制选项、语言和字幕选项以及用于显示远程控制用户界面的选项。在一些实施方案中,当回放控件以全屏格式呈现时,第一电子设备不同时显示内容项。第一显示格式的回放控件任选地继续由第一电子设备在第一应用程序用户界面中显示,直到用户解除回放控件或解除第一应用程序,或者直到显示器变得不活动(例如,由于自从上次用户输入以来经过了预先确定的时间量或由于用于停用显示器的用户输入)。也就是说,在一些实施方案中,第一显示格式的回放控件不会自动解除。
在一些实施方案中,诸如在图6F中,根据确定第一电子设备500未将内容项流式传输到第二电子设备602a并且正在第一电子设备处播放内容项,回放用户界面元素包括具有与第一显示格式不同的第二显示格式的一个或多个回放控件610a-610g(792)。在一些实施方案中,第一电子设备在显示回放控件时显示内容项。回放控件任选地沿显示器的边缘(例如,底部边缘)设置。第二显示格式的回放控件任选地小于(例如,可选选项中的一个或多个可选选项小于)第一显示格式的回放控件。在一些实施方案中,回放控件包括播放/暂停选项、快进选项、后退选项、音量控制选项以及语言和字幕选项。回放控件任选地不包括远程用户界面选项。在一些实施方案中,响应于在第一电子设备处检测到用户输入,暂时呈现回放控件,并且在预先确定的时间量(例如,0.5秒、1秒、2秒或一些其他时间量)之后,电子设备停止显示回放控件。
根据内容是否在第一电子设备上播放或者内容是否被流式传输到第二电子设备而以不同格式呈现回放控件的上述方式允许第一电子设备当第一电子设备不呈现内容时将更多空间用于回放控件并且当第一电子设备正在呈现内容的同时呈现回放控件和内容,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
应当理解,对图7A至图7J中的操作进行描述的特定顺序仅仅是示例性的,并且并非旨在指示所述顺序是操作可以被执行的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法900、1100、1300和1500)所述的其他过程的细节同样以类似的方式适用于上文结合图7A至图7J所述的方法700。例如,上文参考方法700所述的电子设备在流式传输模式下的操作任选地具有本文参考本文所述的其他方法(例如,方法900、1100、1300和1500)所述的回放控制选项的呈现和流式传输模式的视觉指示的呈现等的特性中的一个或多个特性。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5J所述)或专用芯片。此外,上文参考图7A至图7J描述的操作任选地由图1A至图1B中所示的部件来实现。例如,显示操作706、718、730、750、758、762、770、772、774、778、788、790和792、接收操作702、738、754、758、772、780和784以及发起操作742和756任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
回放控制元素
用户以许多不同方式与电子设备进行交互,包括使用电子设备来呈现内容,诸如音频内容或视频内容。在一些实施方案中,第一电子设备能够将内容流式传输到第二电子设备以使用第二电子设备来呈现内容。下文所述的实施方案提供了第一电子设备呈现回放控制元素的方式,该回放控制元素包括用于当电子设备在流式传输模式下操作以将内容流式传输到回放目的地的时控制流式传输目的地上的回放的可选选项。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图8A至图8S示出了电子设备呈现用于在该电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放的可选选项的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图9A至图9F描述的过程。
图8A示出了包括触摸屏504的示例性设备500。电子设备与图例802中指示的其他电子设备(包括第一显示设备802a、第二显示设备802b和扬声器802c)通信。电子设备500与其他电子设备802a-802c之间的通信链路允许电子设备500相对于电子设备802a-802c中的一个或多个电子设备进入流式传输模式,以利用内容应用程序将内容流式传输到相应电子设备,如本文将描述的。
图8A示出了呈现唤醒屏幕用户界面的电子设备500。当第一电子设备500从显示器任选地关闭或不呈现用户界面的待机模式转变时,呈现唤醒屏幕用户界面。唤醒屏幕用户界面包括与第一显示设备802a相关联的第一回放控制元素804a和与扬声器802c相关联的第二回放控制元素804c。如图8A的图例802所示,电子设备当前未将内容流式传输到第一显示设备802a或第二显示设备802b,并且当前正在将音频内容流式传输到扬声器802c。
因此,与第一显示设备802a相关联的第一回放控制元素804a指示当前没有内容正在第一显示设备上播放。第一回放控制元素804a包括可选择以显示远程用户界面的远程选项806,如将在下文中参考图8D至图8E描述的。
第二回放控制元素804c包括当被选择时根据用户的选择修改扬声器802c上的内容的回放的多个可选选项。第二回放控制元素804c包括在扬声器802c上播放的内容的名称的指示808a、与在扬声器上播放的内容相关联的专辑封面808b、刷动条808c、向后跳转选项808d、向前跳转选项808e、暂停选项808f、音量减小选项808g、音量增大选项808h和音量条08i。应当理解,在一些实施方案中,刷动条08c包括内容中的回放位置和直到内容结束为止的剩余时间量的文本指示。提供音量条808i是因为扬声器802c被配置为与电子设备500共享其当前音量水平,从而允许电子设备500利用音量条808i向用户呈现音量水平。在一些实施方案中,除了选择元素808g和808h以改变音量之外或不是选择这些元素以改变音量,音量条808i可由用户直接操纵以改变扬声器802c的音量水平(例如,通过向左/向右拖动音量条808i中的当前音量位置)。如图8A所示,与扬声器802c相关联的回放控制元素804c包括与第一显示设备802a相关联的回放控制元素804a中未包括的多个控件和信息。回放控制元素804c处于扩展状态,并且回放控制元素804a处于折叠状态。如果用户要选择折叠的回放控制元素804a,则该元素将变成扩展的以显现适用于控制第一显示设备802a的控件和信息,并且回放控制元素804c将被替换为包括更少控件和/或更少信息的折叠版本。
图8B示出了控制用户界面。控制用户界面是包括用于控制第一电子设备的一个或多个功能诸如音量、亮度和/或网络连接(例如,Wi-Fi、蓝牙和/或蜂窝数据连接)的一个或多个可选选项的系统用户界面。控制用户界面包括连接控件810a、屏幕取向控件810b、免打扰控件810c、屏幕镜像控件810d、亮度控件810e、音量控件810f和回放控制元素810g。如图8B的图例802所示,电子设备500当前正在将内容流式传输到第一显示设备802a,并且当前不将内容流式传输到第二显示设备802b或扬声器802c。
因为电子设备500正在将内容流式传输到第一显示设备802a,所以回放控制元素810g包括与第一显示设备802a上的内容的回放相关联的信息和可选选项。回放控制元素810g包括在第一电子设备802a上播放的内容的名称的指示812a、向前跳转选项812b、向后跳转选项812c和暂停选项812d。如图8B所示,用户(例如,利用接触803)选择回放控制元素810g。接触803具有超过预先确定的阈值的强度846a或时间846b中的一者或多者。
如图8C所示,响应于用户的选择,电子设备500呈现对应于第一显示设备802a、第二显示设备802b和扬声器802c的回放控制元素804a-804c。与扬声器802c相关联的回放控制元素804c包括扬声器未播放内容的指示。与第二显示设备802b相关联的回放控制元素804b包括第二显示设备802b未播放内容的指示和远程选项816。
与第一显示设备802a相关联的回放控制元素804a包括在第一显示设备上播放的内容的名称的指示814a、与在第一显示设备上播放的内容相关联的艺术作品814b、刷动条814c、向后跳转选项814d、向前跳转选项814e、暂停选项814f、音量减小选项814g、音量增大选项814h、远程选项814i,以及语言和字幕选项814j。与第一显示设备802a相关联的回放控制元素804a包括音量减小和音量增大选项814g-814h,但不包括音量条,因为第一显示设备802a任选地不与电子设备500共享其音量水平。因此,电子设备500任选地不能呈现第一显示设备802a的绝对音量水平。应当理解,在一些实施方案中,刷动条814c包括内容中的回放位置和直到内容结束为止的剩余时间的文本指示。
如图8D所示,用户(例如,利用接触803)选择远程选项814i。响应于用户的选择,电子设备500呈现远程控制用户界面,如图8E所示。
图8E示出了远程控制用户界面。远程控制用户界面包括触摸板区域818a、播放/暂停选项818b、菜单选项818c、内容应用程序选项818d和语音输入选项818e。触摸板区域818a允许用户利用触摸输入来导航呈现在第一显示设备802a上的用户界面。播放/暂停选项818b在第一显示设备802a上播放暂停的内容并暂停播放内容。菜单选项818c使得呈现在第一显示设备802a上的用户界面导航回来。内容应用程序818d选项在第一显示设备802a上呈现内容应用程序用户界面。语音输入选项818e使得电子设备500接受语音输入以控制第一显示设备802a。
如图8E所示,用户(例如,利用接触803和接触的移动)输入输入以导航回到具有回放控制元素804a-804c的先前用户界面。响应于用户的输入,电子设备500呈现回放控制元素804a-804c,如图8F所示。在一些实施方案中,接触803的移动对应于从触摸屏504的底部边缘向上的轻扫,在其他情况下,该向上的轻扫任选地使得设备500显示其home屏幕,如稍后将更详细地描述的。
图8F示出了分别与第一显示设备802a、第二显示设备802b和扬声器802c相关联的回放控制元素804a-804c。如图8F所示,用户(例如,利用接触803)选择语言和字幕选项814j。响应于用户的选择,电子设备500呈现语言和字幕菜单,如图8G所示。
图8G示出了语言和字幕菜单820。语言和字幕菜单820包括用于改变在第一显示设备802a上播放的音频内容的语言的多个可选选项822a-822d,以及用于改变与在第一显示设备上播放的内容一起呈现的字幕的语言的多个可选选项824a-824c。响应于对选项822a-d或824a-824c中的一者的选择,第一电子设备500控制第一显示设备802a以根据用户输入修改内容。语言和字幕菜单820还包括“完成”选项826,该选项当被选择时使得电子设备停止显示语言和字幕菜单。如图8G所示,用户(例如,利用接触803)选择“完成”选项826。响应于用户的选择,电子设备500停止显示语言和字幕菜单820并显示回放控制元素804a-804c,如图8H所示。
图8H示出了与第一显示设备802a、第二显示设备802b和扬声器802c相关联的回放控制元素804a-804c。如图8H的图例802所示,电子设备500将内容流式传输到第一显示设备802a。第二显示设备802b也正在播放内容(例如,从电子设备500流式传输的内容、从不同电子设备流式传输的内容或在第二显示设备802b上本地播放的内容)。与第二显示设备802b相关联的回放控制盘面804b当前处于其折叠状态,并且包括在第二显示设备802b上播放的内容的标题的指示817。回放控制元素804b不包括用于呈现远程控制用户界面的可选选项,因为有内容正在第二显示设备802b上播放,并且回放控制元素804b包括哪个内容正在第二显示设备802b上播放的指示817。回放控制元素804c也不包括用于呈现远程控制用户界面的可选选项,因为与显示设备802a-802b不同,扬声器802c不利用远程控制器来控制,因此该扬声器也不利用远程控制用户界面来控制。
图8I示出了智能家居应用程序用户界面。智能家居应用程序用户界面包括与用户家中的各种智能电器和附件相关联的多个可选选项828a-828i。这些选项包括前门选项828a、卧室灯选项828b、客厅灯选项828c、办公室灯选项828d、浴室灯选项828e、厨房灯选项828f、第一显示设备802a选项828g、第二显示设备802b选项828h和扬声器802c选项828i。智能家居用户界面还包括电子设备500正在流式传输模式下操作以流式传输内容的指示830。如图8I的图例802所示,电子设备500正在将内容流式传输到第一显示设备802a。
如图8I所示,用户(例如,利用接触803)选择与第一显示设备802a相关联的选项828g。接触803具有超过相应预先确定的阈值的强度846a或时间846b中的一者或多者。响应于用户的选择,电子设备500呈现与第一显示设备802a相关联的回放控制元素,如图8J所示。
图8J示出了与第一显示设备802a相关联的回放控制元素804a。与第一显示设备802a相关联的回放控制元素804a包括在第一显示设备上播放的内容的名称的指示814a、与在第一显示设备上播放的内容相关联的艺术作品814b、刷动条814c、向后跳转选项814d、向前跳转选项814e、暂停选项814f、音量减小选项814g、音量增大选项814h、远程选项814i,以及语言和字幕选项814j。应当理解,在一些实施方案中,刷动条814c包括内容中的回放位置和直到内容结束为止的剩余时间的文本指示。
在显示与第一显示设备802a相关联的回放控制元素804a时,电子设备500还呈现第一显示设备的名称和设备类型的指示832,以及可选择以呈现与第一显示设备802a相关联的选项菜单的设置选项834。如刷动条814c所示,在第一显示设备802a上播放的内容内的回放位置靠近内容的结尾。
图8K示出了内容项到达结尾后的回放控制元素804a。如图8K的图例802所示,电子设备500被配置为将内容流式传输到第一显示设备802a,但是第一显示设备802a当前未播放内容。回放控制元素804a包括可选选项,该可选选项当被选择时使得电子设备500将与所选择的选项相关联的内容流式传输到第一显示设备802a,因为播放的内容已经结束,因此用户可能有兴趣观看下一个其他内容。选项包括用于播放刚刚完成播放的内容的电视连续剧中的下一集的选项836a和用于播放与刚刚完成播放的内容相关联的额外内容的选项836b。其他类型的内容选项是可能的。
响应于解除图8K所示的回放控制元素804a的用户输入,电子设备500呈现智能家居应用程序用户界面,如图8L所示。如图8L的图例802所示,电子设备500正在将内容流式传输到第一显示设备802a。在显示智能家居应用程序用户界面时,电子设备500接收用于解除智能家居用户界面并呈现home屏幕用户界面的用户输入(例如,接触803和接触的移动),如图8M所示。图8L所示的用于导航到home屏幕用户界面的用户输入与用于解除远程应用程序以显示回放控制元素804a-804c的输入手势相同,如图8E至图8F所示。
图8M示出了响应于在图8L中检测到的用户输入而示出的home屏幕用户界面。电子设备在呈现home屏幕用户界面时呈现流式传输模式的指示830。在呈现home屏幕用户界面时,电子设备500检测用于呈现语音助理用户界面的用户输入。响应于该输入,电子设备500呈现语言助理用户界面,如图8N所示。
图8N示出了语言助理用户界面。在呈现语音助理用户界面时,电子设备500任选地呈现流式传输模式的指示830。然而,在一些实施方案中,不呈现流式传输模式的指示830,并且在其位置呈现时钟或另一个系统指示符图标。电子设备500检测说出“电视上正在播放什么?”的语音输入。响应于检测到语音输入,电子设备更新语音助理用户界面以包括所检测到的语音输入的文本,如图8O所示。
图8O示出了语音助理用户界面。虽然图8O将语音助理用户界面示出为包括流式传输模式的指示830,但在一些实施方案中,不呈现流式传输模式的指示830,并且在其位置呈现时钟或另一个系统指示符图标。语音助理用户界面包括所检测到的语音输入的指示838—“电视上正在播放什么?”。响应于语音输入,电子设备呈现并说出在第一显示设备802a上播放的内容的标题,并呈现与第一显示设备802a相关联的回放控制元素804a,如图8P所示。
图8P示出了包括与第一显示设备802a相关联的回放控制元素804a的语音助理用户界面。虽然图8P将语音助理用户界面示出为包括流式传输模式的指示830,但在一些实施方案中,不呈现流式传输模式的指示830,并且在其位置呈现时钟或另一个系统指示符图标。语音助理用户界面还包括在第一显示设备802a上播放的内容的指示840。电子设备500在其显示指示840和回放控制元素804a时播放陈述“电视节目A正在显示器A上播放”的音频。如果用户询问在另一个电子设备(例如,扬声器802c)上播放的内容,而不是询问“电视上正在播放什么?”,则图8P所示的语音助理用户界面将包括与另一个电子设备相关联的回放控制元素(例如,与扬声器802c相关联的回放控制元素804c)。
图8Q示出了home屏幕用户界面。如图8Q的图例802所示,电子设备500正在将内容流式传输到第一显示设备802a。在呈现home屏幕用户界面时,电子设备500呈现电子设备正在流式传输模式下操作的指示830。用户(例如,利用接触803)选择用于呈现内容应用程序的选项452,如图8R所示。
图8R示出了内容应用程序用户界面。在呈现内容应用程序用户界面时,电子设备500呈现流式传输模式的视觉指示830。如图8R所示,用户(例如,利用接触803)选择流式传输模式的指示830。响应于用户的选择,电子设备500呈现与第一显示设备802a相关联的回放控制元素804a。在一些实施方案中,各种用户界面(例如,唤醒屏幕、控制用户界面、智能家居应用程序、语音助理用户界面,响应于选择流式传输模式的视觉指示)所示的一个或多个回放控制盘面804a-804c共享一些或所有特性和/或特征。即,可在多个不同的用户界面或情况下呈现相同的回放控制元素。
图9A至图9F是示出呈现用于在电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放的可选选项的方法900的流程图。方法900任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5J所述。方法900中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法900提供了呈现用于在电子设备将内容流式传输到流式传输目的地时控制该流式传输目的地上的内容回放的可选选项的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,具有存储器和一个或多个处理器的第一电子设备(例如,包括触摸屏的电子设备500、智能电话、媒体播放器或可穿戴设备;包括一个或多个输入设备诸如键盘、触控板或触摸屏或与该一个或多个输入设备通信的个人计算机;或者与显示器诸如电视、扬声器通信的机顶盒;以及包括触摸面板或触摸屏的遥控器)经由该一个或多个输入设备接收与显示用于经由第一电子设备控制内容回放的用户界面(诸如图8A所示的唤醒屏幕用户界面)的请求对应的输入(902)。
在一些实施方案中,电子设备呈现可选选项,该可选选项当被激活时使得电子设备呈现一个或多个内容回放控件。例如,该可选选项任选地是回放目的地的可选表示。在一些实施方案中,回放目的地当前正在播放内容,同时操作地耦接到第一电子设备使得第一电子设备能够用于控制回放(例如,第一电子设备正在将可在第一电子设备上访问的内容(例如,本地存储在第一电子设备上或从流式内容服务器流式传输到第一电子设备的内容)从第一电子设备流式传输到回放目的地)。在一些实施方案中,回放目的地当前未播放来自第一电子设备的内容,而是操作地耦接到第一电子设备使得第一电子设备能够发起并控制回放目的地上的内容回放。该可选选项任选地呈现在系统用户界面诸如控制用户界面(该控制用户界面包括与在第一电子设备处执行的若干操作相关的信息和控件(例如,无线连接信息和控件、屏幕取向信息和控件、音量信息和控件、显示亮度信息和控件、到各种应用程序诸如手电筒、定时器、计算器和相机等的快捷方式,以及媒体回放信息和控件))、电子设备的锁定屏幕或唤醒屏幕(例如,即使当电子设备尚未被认证为由该电子设备的用户完全使用时也可见的并且/或者当设备从低功率状态唤醒时显示的用户界面)、家居应用程序(其被配置为控制各种“智能”家居设备诸如灯、灌溉、锁、温度控制、电器和媒体回放设备)或电子设备的数字助理用户界面中。
在一些实施方案中,诸如在图8A中,响应于接收到输入,第一电子设备500在显示器上显示用户界面,该用户界面包括用于控制第一回放目的地802c处的内容回放的第一回放控制元素804c(904)。在一些实施方案中,第一回放控制元素包括播放/暂停选项、向前跳转选项、向后跳转选项、音量控制选项、回放目的地选择选项、刷动条、语言/字幕选项和远程控制选项中的一者或多者。第一回放控制元素任选地还包括关于正在播放的媒体内容的信息或没有媒体内容正在播放的指示以及标识回放目的地的视觉指示。在一些实施方案中,第一回放目的地是第一电子设备自身(例如,第一回放控制元素用于控制第一电子设备上的内容回放),并且在一些实施方案中,第一回放目的地是另一个电子设备。在一些实施方案中,第一回放控制元素用于控制从第一电子设备递送到第二电子设备的内容的回放。
在一些实施方案中,诸如在图8A中,根据确定第一回放目的地802a被配置为利用远程控制设备来控制,第一回放控制元素804a包括可选择以在显示器上显示对应于远程控制设备的远程控制用户界面(诸如图8E所示的远程控制用户界面)的可选选项806,以用于控制第一回放目的地(906)。
在一些实施方案中,第一回放目的地是能够利用物理专用远程控制器或连接到电视的机顶盒控制的显示设备,其中该机顶盒能够利用物理专用远程控制器来控制。在一些示例中,远程控制用户界面任选地包括与第一回放控制元素或包括在专用远程控制设备上的物理控制机构(例如,按钮、触敏表面、开关等)相同或不同的控制元素。例如,远程控制用户界面任选地包括播放/暂停选项、“菜单”选项(例如,该选项当被选择时,使得第一回放目的地导航到菜单或在与第一回放目的地通信的显示器上呈现的菜单的菜单分级结构中向上导航)、回放目的地选择选项(例如,该选项当被选择时,使得第一电子设备呈现用户界面以用于选择不同回放目的地)、语音输入选项(例如,该选项当被选择时,使得第一电子设备使用由第一电子设备处的麦克风检测到的来自用户的语音输入来控制第一回放目的地),以及触控板区域,用户能够在该触控板区域中输入触摸输入以向第一回放目的地提供定向输入(例如,以改变对第一回放目的地的选择或当前聚焦)。在一些实施方案中,远程控制用户界面与回放控制元素的不同之处在于,该远程控制用户界面包括与回放控制元素不同的控制元素(例如,包括触控板区域、“菜单”选项和语音命令选项,以及/或者不包括语言/字幕选项、音量控制选项、向前跳转选项和/或向后跳转选项等)并且/或者在与第一电子设备通信的显示器上占据不同量的空间。例如,第一回放控制元素任选地比远程控制用户界面占据更小量的屏幕区域。在一些实施方案中,远程控制用户界面被显示为覆盖在包括第一回放控制元素的用户界面上方。
在一些实施方案中,诸如在图8A中,根据确定第一回放目的地802c未被配置为利用远程控制设备来控制,第一回放控制元素804c不包括可选择以在显示器上显示远程控制用户界面的可选选项(908)。
在一些实施方案中,第一回放目的地是不能够利用物理专用远程控制器来控制的智能扬声器(例如,第一回放控制元素包括一个或多个其他控制元素,诸如播放/暂停选项、向前跳转选项、向后跳转选项、音量控制选项、回放目的地选择选项、刷动条和/或语言/字幕选项,而不包括可选择以显示远程控制用户界面的选项)。
响应于确定第一回放目的地被配置为利用远程控制设备来控制而呈现远程控制选项的上述方式允许第一电子设备在第一回放目的地与远程控制器兼容时呈现虚拟远程控制器,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过呈现用于控制第一回放目的地的多个用户界面,使得用户能够选择适合他们希望执行的操作的控制用户界面),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8D至图8E中,电子设备经由该一个或多个输入设备接收选择第一回放控制元素804a中的可选选项814i的输入603(910)。在一些实施方案中,该可选选项当被选择时使得第一电子设备呈现远程控制用户界面。在一些实施方案中,诸如在图8D至图8E中,响应于接收到选择第一回放控制元素804a中的可选选项814i的输入603,电子设备500在显示器504上显示图8E所示的远程控制用户界面,其中该远程控制用户界面包括触摸输入区域818a和一个或多个控件802b-802e,该触摸输入区域被配置为响应于在触摸输入区域中检测到的触摸输入而控制第一回放目的地802a,该一个或多个控件被配置为响应于对该一个或多个控件的选择而控制第一回放目的地802a(912)。在一些实施方案中,该一个或多个控件包括播放/暂停选项、菜单选项、语音输入选项和内容应用程序选项。在一些实施方案中,响应于检测到对内容应用程序选项的选择,第一电子设备使得内容应用程序(例如,呈现用于回放的内容的应用程序)显示在第一回放目的地上。在触摸输入区域处接收到的触摸输入任选地使得回放目的地移动光标、改变多个项目中的哪个项目被选择、滚动呈现在回放目的地上的内容或执行其他操作。在一些实施方案中,如果电子设备锁定和/或进入睡眠模式,则远程控制用户界面在电子设备被锁定时将是可访问的。
呈现用于控制回放目的地的可选选项和触摸输入区域的上述方式允许第一电子设备在其将内容流式传输到回放目的地时用作远程控制器,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过以用户可能熟悉的布局呈现控件),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8E中,在显示远程控制用户界面时,第一电子设备500经由该一个或多个输入设备接收相应输入803(914)。在一些实施方案中,输入对应于用于当在第一电子设备呈现除远程控制用户界面之外的用户界面时接收到输入时呈现home屏幕的输入。在一些实施方案中,响应于接收到相应输入803,第一电子设备500停止显示图8E所示的远程控制用户界面,并且显示用于经由第一电子设备500控制内容回放的用户界面(诸如在图8F中),其中第一电子设备500被配置为:当在第一电子设备正在显示除远程控制用户界面之外的用户界面(诸如图8L所示的智能家居应用程序用户界面)时检测到相应输入时,响应于检测到该相应输入(例如,图8L所示的输入603)而显示第一电子设备500的操作系统的home屏幕,诸如图8M所示的主屏幕(916)。在一些实施方案中,输入包括轻扫,诸如从第一电子设备的触摸屏的底部边缘向上的轻扫。用于经由第一电子设备控制内容回放的用户界面任选地不同于远程控制用户界面。例如,用于控制内容回放的用户界面和远程控制用户界面任选地包括不同的可选选项、具有不同的布局或具有其他差异。
响应于在第一电子设备呈现远程用户界面时接收到的输入而呈现用于经由第一电子设备控制内容回放的用户界面的上述方式允许第一电子设备以多种不同布局呈现回放控件,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过允许用户选择最适于他们希望输入的输入的回放控件布局),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8A中,根据确定第一回放目的地802c向第一电子设备500提供绝对音量信息,第一回放控制元素804c包括用于控制第一回放目的地处的音量水平的绝对音量控制元素808i,其中该绝对音量控制元素指示第一回放目的地的当前音量水平(918)。在一些实施方案中,回放控制元素包括表示从最小值到最大值的可能回放音量范围的条(其中当前音量被标记)或音量的类似视觉指示。在一些实施方案中,邻近用于升高和降低回放音量的可选选项呈现当前音量的指示。在一些实施方案中,诸如在图8C中,根据确定第一回放目的地802a不向第一电子设备提供绝对音量信息,第一回放控制元素804a包括用于控制第一回放目的地处的音量水平的相对音量控制元素814g-814h,其中该相对音量控制元素不指示第一回放目的地的当前音量水平(920)。在一些示例中,第一电子设备任选地不指示回放目的地的回放音量。在一些实施方案中,回放控制元素包括用于升高和降低回放音量的可选选项而不具有当前回放音量水平的指示。在一些实施方案中,音量控件呈现在详细回放控制元素中,但不呈现在顶层回放控制元素中。当回放目的地上没有播放任何内容时,任选地不显示音量控件。
在回放目的地向第一电子设备提供绝对音量信息时呈现当前回放音量的指示的上述方式允许第一电子设备通知用户当该信息可获得时当前回放音量是多少,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性,这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8F至图8G中,根据确定第一回放目的地802a包括显示设备,第一回放控制元素804a包括当被选择时使得第一电子设备500在显示器504上显示用于第一回放目的地的语言和字幕选项820的可选选项814j(922)。在一些示例中,语言和字幕选项任选地呈现在回放控制元素中,该回放控制元素包括用于在有内容正在第一回放目的地上播放时控制第一回放目的地上的回放的多个可选选项。响应于检测到对语言和字幕选项的选择,第一电子设备任选地呈现用于改变内容中的音频内容的语言和/或改变与内容一起呈现的字幕的语言的一个或多个可选选项,包括关闭字幕的选项。在一些实施方案中,语言和字幕选项不呈现在当第一电子设备呈现用于不同回放目的地的详细回放控制元素时或者在没有内容正在第一回放目的地上播放时呈现的折叠回放控制元素中。在一些实施方案中,诸如在图8A中,根据确定第一回放目的地802c不包括显示设备,第一回放控制元素804c不包括当被选择时使得第一电子设备500在显示器504上显示用于第一回放目的地的语言和字幕选项的可选选项(924)。在一些示例中,当第一回放目的地是扬声器或不包括显示器的另一个电子设备时,回放控制元素任选地不包括语言/字幕选项。
在显示用于显示设备的第一回放控制元素时呈现语言和字幕选项的上述方式允许第一电子设备在回放目的地和/或内容支持这些选项时向用户呈现修改回放语言和/或字幕选项的能力,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在适用于时向用户提供语言和字幕选项而无需另外的输入来访问控件,并且通过在语言和字幕选项不相关时节省屏幕空间),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,当在显示器上显示第一回放控制元素时(926):当经由第一电子设备在第一回放目的地处播放内容项时,第一电子设备将第一回放控制元素显示为包括一个或多个回放控件并且包括该可选选项,以用于控制第一回放目的地(928)。在一些实施方案中,第一回放控制元素包括可选选项,这些可选选项包括播放/暂停选项、向前跳转选项、向后跳转选项、音量控制选项,以及用于改变用于当前正在播放的内容的流式传输目的地的可选选项。在一些实施方案中,第一回放控制元素还包括字幕和语言选项以及当被选择时使得第一电子设备显示远程控制用户界面的可选选项。在一些实施方案中,诸如在图8J至图8K中,在显示具有一个或多个回放控件814c-814j的第一回放控制元素804a时,电子设备检测内容项的回放的结束(930)。在一些实施方案中,内容项一直播放到内容项结束。在一些实施方案中,诸如在图8K中,响应于检测到内容项的回放的结束,第一电子设备500用推荐内容项的一个或多个表示836a-836b替换第一回放控制元素804a中的一个或多个回放控件814c-814j(932)。在一些示例中,推荐内容项的表示任选地包括集合中包括的内容的表示,该集合包括内容项(例如,电视连续剧中的下一集)或相关的内容(例如,相同的类型、提供商、创作者、艺术家或基于第一电子设备处的内容消费历史推荐的内容)。在一些实施方案中,推荐内容项的表示可选择以在回放目的地上呈现相应内容项。
当播放完内容项时呈现推荐内容的表示的上述方式允许第一电子设备建议供用户在内容项完成之后消费的内容项,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过向用户呈现用于呈现更多内容的可选选项,而无需用户导航内容应用程序以找到他们希望消费的内容的表示),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,第一回放控制元素具有扩展状态和折叠状态(934)。在一些实施方案中,扩展状态比折叠状态包括用于控制流式传输目的地上的回放的更多选项。在一些实施方案中,第一电子设备能够呈现用于与第一电子设备通信的各种回放目的地的多个折叠的回放控制元素,同时一次呈现一个扩展的回放控制元素。在一些实施方案中,诸如在图8J中,在扩展状态下,第一回放控制元素804a包括可选择以显示远程控制用户界面的可选选项814i,而不管内容项是否正在第一回放目的地802a处播放(936)。在一些示例中,远程控制用户界面任选地是包括用于控制回放目的地上的回放的可选选项和触摸输入区域的用户界面。在一些实施方案中,远程控制用户界面和回放控制元素在布局、用于控制回放的可选选项的数量以及包括用于控制回放的哪些可选选项方面不同。在一些实施方案中,诸如在图8H中,在折叠状态下(938),根据确定内容项正在第一回放目的地802b处播放,第一回放控制元素804b不包括可选择以显示远程控制用户界面的可选选项(940)。在一些示例中,第一电子设备任选地呈现关于在回放目的地上播放的内容的信息,诸如内容标题和/或与该内容相关联的图像,而不是呈现用于显示远程控制用户界面的可选选项。在一些实施方案中,诸如在图8F中,根据确定内容项未在第一回放目的地802b处播放,第一回放控制元素804b确实包括可选择以显示远程控制用户界面的可选选项816(942)。在一些示例中,第一回放控制元素任选地包括用于呈现远程控制用户界面的可选选项,并且任选地不呈现关于当前正在回放目的地上播放的内容的信息,因为没有内容正在该回放目的地上播放。
在没有内容正在第一回放目的地上播放时呈现用于呈现远程控制用户界面的可选选项的上述方式允许第一电子设备向用户提供快捷方式以呈现远程控制用户界面,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过使用户更容易在当前在回放目的地上没有内容正在播放时使用远程控制用户界面来选择要在该回放目的地上播放的内容),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8F中,第一回放目的地802a当前正在播放内容项,并且第一回放控制元素804a包括可选择以显示远程控制用户界面的可选选项814i,以及可选择以在显示器504上显示与第一回放目的地的当前播放内容项对应的语言和字幕选项的可选选项814j(944)。在一些示例中,第一回放控制元素任选地与用于使用电子设备控制其他操作的附加控制元素同时呈现。例如,控制用户界面任选地包括第一回放控制元素和用于控制第一电子设备的功能(诸如,第一电子设备的音量和亮度,以及第一电子设备的一个或多个网络连接(例如,蜂窝连接、Wi-Fi、蓝牙))的一个或多个控制元素。又如,智能家居控制用户界面任选地包括第一回放控制元素和用于控制智能家用电器诸如灯、喷水器、厨房电器、温控器和家庭安全系统的控制元素。又如,唤醒屏幕任选地包括回放控制元素和通知的一个或多个表示,该一个或多个表示当被选择时使得电子设备呈现与通知相关联的用户界面。
在用于控制当前正在回放目的地上播放的内容的回放控制元素中呈现远程控制选项以及语言和字幕选项的上述方式允许第一电子设备向用户提供用于控制当前播放内容的选项,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过向用户提供用于控制当前播放内容的回放的可选选项,而无需用户输入另外的输入来实现这一点),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8A中,包括第一回放控制元素804c的用户界面是第一电子设备500的唤醒屏幕用户界面(946)。在一些示例中,当第一电子设备从显示器任选地关闭或不呈现用户界面的待机模式转变时,任选地呈现唤醒屏幕用户界面。在一些实施方案中,唤醒屏幕包括在第一电子设备处接收到的通知、时钟或其他信息的表示。在一些实施方案中,唤醒屏幕用户界面是可见的,而无需输入用于认证和解锁第一电子设备的认证(例如,生物识别信息、口令、密码)。
在唤醒屏幕上呈现第一回放控制元素的上述方式允许第一电子设备在第一电子设备转变离开睡眠模式时立即向用户提供对回放元素的访问权限,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过呈现回放控制元素,而无需设备认证或导航到包括回放控制元素的不同用户界面),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8P中,包括第一回放控制元素804a的用户界面是第一电子设备500的语音输入用户界面,并且第一电子设备响应于提供给该语音输入用户界面的语音输入而在该语音输入用户界面中显示第一回放控制元素(948)。在一些示例中,响应于与当前正在播放的内容相关的语音输入(例如,“扬声器上正在播放什么?”),第一电子设备任选地在语音助理用户界面中呈现回放控制元素。在一些实施方案中,语音助理响应语音输入(例如,通过提供关于扬声器上正在播放什么的信息),并且同时呈现第一回放元素。
在语音助理用户界面中呈现回放控制元素的上述方式允许第一电子设备向用户呈现在利用语音助理执行相对于内容的动作之后控制内容回放的能力,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过呈现用户可能想要使用的控件,而无需用于呈现控件的进一步输入),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8R至图8S中,响应于检测到对显示在显示器504上的流式传输模式状态指示符830的选择,显示包括第一回放控制元素804a的用户界面,流式传输模式状态指示符指示第一电子设备500正在其中第一电子设备被配置为将内容从第一电子设备流式传输到第二电子设备802a的流式传输模式下操作(950)。在一些示例中,流式传输模式状态指示符任选地显示在显示器的系统指示符区域中,该系统指示符区域包括第一电子设备的一个或多个状态的一个或多个其他视觉指示符。在一些实施方案中,第一电子设备根据方法1100的一个或多个步骤呈现流式传输模式状态指示符。在一些实施方案中,只有当有内容从第一电子设备流式传输到回放目的地时,响应于检测到对流式传输模式状态指示符的选择,第一电子设备才呈现回放控制元素。当第一电子设备未将内容流式传输到回放目的地时,响应于检测到对流式传输模式状态指示符的选择,第一电子设备呈现对应于一个或多个回放目的地的多个可选选项,用户可选择该多个可选选项以改变用于后续流式传输的回放目的地或不选择回放目的地(例如,而是在第一电子设备自身上播放内容)。
响应于对流式传输模式状态指示符的选择而呈现回放控制元素的上述方式允许第一电子设备提供用于在第一电子设备处呈现一个或多个其他用户界面时呈现回放控制元素的快捷方式,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过减少使得第一电子设备呈现回放控制元素所需的输入的数量),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8I至图8J中,响应于在第一电子设备500上的智能家居应用程序中检测到对第一回放目的地802a的表示828g的选择803,显示包括第一回放控制元素804a的用户界面,该智能家居应用程序被配置为控制包括第一回放目的地的一个或多个电子设备在与第一电子设备的用户相关联的家庭中的操作(952)。在一些示例中,除了第一回放目的地和/或第一回放控制元素的表示之外,智能家居应用程序任选地包括用于控制智能家用电器(诸如灯、温控器、厨房电器、家庭安全系统、喷水器系统等)的附加控制元素。
在智能家居应用程序中呈现回放控制元素的上述方式允许第一电子设备向用户呈现用于控制智能家居(包括一个或多个回放目的地)的多个方面的元素,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过同时呈现可一起使用的回放控制元素),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图8B至图8C中,响应于检测到对用于经由第一电子设备500控制内容项的回放的相应回放控制元素810g的选择803,显示包括第一回放控制元素804a的用户界面,相应回放控制元素810g显示在用于控制第一电子设备的除内容回放之外的多个功能的控制用户界面中(954)。在一些示例中,控制用户界面任选地包括用于控制第一电子设备的一个或多个设置的一个或多个控制元素。例如,控制用户界面包括音量控件、亮度控件和一个或多个网络连接控件(例如,Wi-Fi、蜂窝数据和蓝牙)。在一些实施方案中,控制用户界面包括当被选择时使得第一电子设备呈现回放控制元素的可选选项。该可选选项任选地包括当前在回放目的地上播放的内容(例如,标题、相关联的艺术作品等)的表示。
在控制用户界面中呈现回放控制元素的上述方式允许第一电子设备同时呈现用于控制第一电子设备的多个方面(包括媒体回放)的控件,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在包括用于呈现回放控制元素的选项的同一用户界面中呈现常用控件),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
应当理解,对图9A至图9F中的操作进行描述的特定次序仅仅是示例性的,并非意图表明所描述的次序是可执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、1100、1300和1500)所述的其他过程的细节同样以类似的方式适用于上文结合图9A至图9F所述的方法900。例如,上文参考方法900所述的回放控制选项的呈现任选地具有本文参考本文所述的其他方法(例如,方法700、1100、1300和1500)所述的流式传输模式操作和流式传输模式的视觉指示的呈现等的特性中的一个或多个特性。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5J所述)或专用芯片。此外,上文参考图9A至图9F所述的操作任选地由图1A至图1B中所描绘的部件来实施。例如,显示操作904、912、914、916、922、924、928、948、950、952和954以及接收操作902、910和914任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
流式传输模式视觉指示符
用户以许多不同方式与电子设备进行交互,包括使用电子设备来呈现内容,诸如音频内容或视频内容。在一些实施方案中,第一电子设备能够将内容流式传输到第二电子设备以使用第二电子设备来呈现内容。下文所述的实施方案提供了第一电子设备呈现其正在流式传输模式下操作以将内容流式传输到第二电子设备的视觉指示的方式。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图10A至图10O示出了电子设备呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图11A至图11G所述的过程。
图10A示出了包括触摸屏504的示例性设备500。电子设备与图例1002中指示的其他电子设备(包括第一显示设备1002a、第二显示设备1002b和扬声器1002c)通信。电子设备500与其他电子设备1002a-1002c之间的通信链路允许电子设备500相对于电子设备1002a-1002c中的一个或多个电子设备进入流式传输模式,以利用内容应用程序将内容流式传输到相应电子设备,如本文将描述的。
图10A示出了home屏幕用户界面。home屏幕用户界面包括当被选择时使得电子设备呈现与所选择的选项相关联的应用程序的用户界面的多个可选选项424至450。home屏幕用户界面在显示器顶部包括系统指示符区域,该系统指示符区域包括时钟和多个指示图标。如图10A所示,用户(例如,利用接触1003)选择用于呈现内容应用程序用户界面的选项。当用户选择内容应用程序时,电子设备500确定电子设备应进入流式传输模式以利用内容应用程序将内容流式传输到第一显示设备1002a的置信度1004超过第二预先确定的阈值。上文参考图6A至图7J描述了进入流式传输模式的置信度和其他细节。
响应于用户的选择,电子设备500呈现内容应用程序用户界面,如图10B所示。内容应用程序包括内容项1008的表示和电子设备正进入流式传输模式以利用内容应用程序将内容流式传输到第一显示设备1002a的指示1006。
如图10C所示,一旦电子设备500进入流式传输模式以利用内容应用程序将内容流式传输到第一显示设备1002a,电子设备500就向内容应用程序用户界面呈现电子设备500正在流式传输模式下操作的视觉指示1010a。视觉指示1010a出现在系统指示符区域中先前显示时钟的位置中,如图10A至图10B所示。如图10C的图例1002所示,电子设备500被配置为将内容流式传输到第一显示设备1002a,但内容尚未在第一显示设备上播放。如图10C所示,用户(例如,利用接触1003)选择内容项的表示1008。响应于用户的选择,电子设备将内容流式传输到第一显示设备1002a,如图10D所示。
如图10D的图例1002所示,电子设备500将内容流式传输到第一显示设备1002a。流式传输模式的视觉指示1010b被更新为具有与当内容未被流式传输时呈现的视觉指示1010a不同的视觉特性。例如,该视觉特性是闪烁模式、“反弹”效果或特定颜色。视觉指示1010b指示已在第一显示设备1002a上发起内容回放。
图10E示出了内容继续在第一显示设备1002a上播放时的内容应用程序用户界面。内容应用程序用户界面包括电子设备500处于流式传输模式并且当前正在播放内容的视觉指示1010c。视觉指示1010c具有与视觉指示1010a或视觉指示1010b不同的视觉特性。例如,视觉指示1010c可具有与其他指示1010a或1010b不同的颜色、动画或闪烁模式。
如图10F所示,在设备500正在将内容流式传输到显示设备1002a时,用户(例如,利用接触1003)选择流式传输模式的视觉指示1010c。响应于用户的选择,电子设备500呈现与第一显示设备1002a相关联的回放控制元素1014,如图10G所示。
图10G示出了与第一显示设备1002a相关联的回放控制元素1014。与第一显示设备1002a相关联的回放控制元素1014包括在第一显示设备上播放的内容的名称的指示1014a、与在第一显示设备上播放的内容相关联的艺术作品1014b、刷动条1014c、向后跳转选项1014d、向前跳转选项1014e、暂停选项1014f、音量减小选项1014g、音量增大选项1014h、远程选项1014i、语言和字幕选项1014j,以及音量条1012k。上文参考图8A至图9F更详细地描述了回放控制元素。与第一显示设备1002a相关联的回放控制元素1014包括音量减小和音量增大选项1014g-1014h以及音量条1012k,因为第一显示设备1002a与电子设备500共享其音量水平,从而允许电子设备500指示第一显示设备1002a的音量水平。应当理解,在一些实施方案中,刷动条1014c包括内容中的回放位置和直到内容结束为止的剩余时间的文本指示。
图10H示出了内容应用程序用户界面。在呈现内容应用程序用户界面时,电子设备500检测用于停止显示内容用户界面并显示home屏幕用户界面的输入(例如,接触1003和接触的移动)。接触1003的移动与图8E和图8L所示的输入相同。响应于用户输入,电子设备500停止显示内容应用程序用户界面并显示home屏幕用户界面,如图10I所示。
图10I示出了home屏幕用户界面。如图10I的图例1002所示,电子设备500正在将内容流式传输到第一显示设备1002a。在显示home屏幕用户界面时,电子设备500显示流式传输模式的视觉指示1010c,因为设备500当前正在流式传输模式下将内容流式传输到第一显示设备1002a。用户(例如,利用接触1003)选择用于呈现即时消息应用程序用户界面的选项424。响应于用户的选择,电子设备500呈现即时消息应用程序用户界面,如图10J所示。
图10J示出了即时消息应用程序用户界面。如图10J的图例1002所示,电子设备500正在流式传输模式下操作以将内容流式传输到第一显示设备1002a。虽然电子设备500正在流式传输模式下流式传输内容,但流式传输模式的视觉指示不呈现在即时消息应用程序用户界面中,因为即时消息应用程序任选地不是内容应用程序并且任选地不能用于将内容流式传输到回放目的地,诸如第一显示设备1002a。
图10K示出了内容应用程序用户界面。如图10K的图例1002所示,电子设备500正在流式传输模式下操作以将内容流式传输到第一显示设备1002a,但当前没有内容正在第一显示设备1002a上播放。电子设备500呈现电子设备正在流式传输模式下操作的视觉指示1010a。电子设备500检测用于停止显示内容应用程序并显示home屏幕用户界面的输入(例如,接触1003和接触的移动)。接触1003的移动与图8E、图8L和图10H所示的输入相同。响应于用户输入,电子设备500停止显示内容应用程序用户界面并显示home屏幕用户界面,如图10L所示。
如图10L所示,电子设备500呈现home屏幕用户界面。如图10L的图例1002所示,电子设备500正在流式传输模式下操作以将内容流式传输到第一显示设备1002a,但当前没有内容正在第一显示设备1002a上播放。电子设备500不呈现流式传输模式的视觉指示,因为内容当前未被流式传输到回放目的地。如图10L所示,用户(例如,利用接触1003)选择用于呈现内容应用程序用户界面的选项452。响应于用户的选择,电子设备500呈现内容应用程序用户界面,如图10M所示。
图10M示出了内容应用程序用户界面。如图10M的图例1002所示,电子设备500仍然在流式传输模式下操作以将内容流式传输到第一显示设备1002a,但当前没有内容正在第一显示设备1002a上播放。用户(例如,利用接触1003)选择流式传输模式的视觉指示1010a。响应于用户的选择,电子设备500呈现流式传输目的地选择菜单1016,如图10N所示。
图10N示出了流式传输目的地选择菜单1016。流式传输目的地选择菜单1016包括用于当电子设备在流式传输模式下操作以流式传输内容时改变电子设备的回放目的地的多个可选选项1018a-1018d。与第一显示设备1002a相关联的选项1018a包括第一显示设备当前被配置为流式传输目的地的指示。菜单1016还包括用于将第二显示设备1002b配置为流式传输目的地的选项1018b、用于将扬声器1002c配置为流式传输目的地的选项1018c,以及用于退出流式传输模式并改为在电子设备500自身上回放内容的选项1018d。如图10N所示,用户(例如,利用接触1003)选择用于退出流式传输模式的选项1018d。响应于用户的选择,电子设备500退出流式传输模式。
图10O示出了响应于图10N中的用户输入而示出的内容应用程序用户界面。如图例1002所示,电子设备500不在流式传输模式下操作。因此,电子设备500不呈现流式传输模式的视觉指示。如果用户要选择内容项的表示1008,则内容将在电子设备500自身上播放,而不是在流式传输目的地1002a-1002c中的一者上播放。
图11A至图11G是示出在电子设备上呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示的方法1100的流程图。方法1100任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5J所述。方法1100中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1100提供了在电子设备上呈现该电子设备正在流式传输模式下操作以将内容流式传输到回放目的地的视觉指示的方式。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,诸如在图10A中,具有存储器和一个或多个处理器的第一电子设备(例如,包括触摸屏的电子设备500、智能电话、媒体播放器或可穿戴设备;包括一个或多个输入设备诸如键盘、触控板或触摸屏或与该一个或多个输入设备通信的个人计算机;或者与显示器诸如电视、扬声器通信的机顶盒;以及包括触摸面板或触摸屏的遥控器)经由该一个或多个输入设备接收与在显示器上显示用户界面的请求对应的输入1003(1102)。在一些示例中,输入任选地是对当被激活时使得电子设备呈现应用程序用户界面或系统用户界面(例如,home屏幕、设置用户界面、控制用户界面等)的选项的选择、在与第一电子设备通信的触摸屏或触摸面板上执行的与呈现系统用户界面或应用程序用户界面对应的手势,以及/或者认证或解锁输入或输入序列。例如,该输入任选地是对使得内容应用程序被显示在第一电子设备上的内容回放应用程序的图标的选择。
在一些实施方案中,诸如在图10B中,响应于接收到输入,第一电子设备500在显示器504上显示用户界面(诸如图10B所示的内容应用程序的用户界面),其中该用户界面包括系统指示符区域和与该系统指示符区域分开的第二区域(1104)。在一些示例中,系统指示符区域任选地包括与电子设备的功能相关的一个或多个视觉指示,诸如一个或多个无线连接视觉指示、电池电量指示、时钟等。在一些实施方案中,第二区域是呈现应用程序用户界面或系统用户界面的用户界面元素的地方。第二区域任选地比系统指示符区域包含更大的显示器区域。在一些实施方案中,系统指示符区域位于显示器的边缘(例如,顶部边缘)处。当用户从一个应用程序或系统用户界面导航到另一个应用程序或系统用户界面时(例如,这因此使得第二区域中显示的内容根据应用程序的改变而改变),任选地继续呈现系统指示符区域。在一些实施方案中,当第一电子设备正在以全屏视图呈现内容时,停止显示系统指示符区域,但在一些实施方案中并非如此。
在一些实施方案中,诸如在图10C中,根据确定第一电子设备500正在其中第一电子设备被配置为将内容从第一电子设备流式传输到第二电子设备1002a的流式传输模式下操作,第一电子设备在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010a(1106)。在一些实施方案中,流式传输模式使得第一电子设备能够响应于用于播放内容的用户输入而将内容传输到回放目的地。回放目的地任选地是第二电子设备,诸如显示设备、与显示器和/或一个或多个扬声器通信的机顶盒或扬声器系统。在处于流式传输模式时,响应于对内容项的选择或在第一电子设备处接收到的用于开始回放内容项的输入,内容自动呈现在回放目的地上(例如,通过从第一电子设备传输到第二电子设备),而无需指定应流式传输内容的进一步用户输入。例如,一旦启用流式传输模式,用户就能够选择要在回放目的地上呈现的内容项。在仍然处于流式传输模式时,响应于选择不同内容项的用户输入或提供用于开始第二内容项的回放输入,在回放目的地上呈现不同的内容项,而无需用户再次指定应在第二电子设备/回放目的地处播放内容,而不是在第一电子设备处播放内容。因此,流式传输模式实现了不中断的内容流式传输和回放用户体验。在一些实施方案中,流式传输模式视觉指示符包括文本或图像以指示流式传输模式被激活。流式传输模式视觉指示符任选地替换在发起流式传输模式之前在系统指示符区域中呈现的一个或多个视觉指示符。在一些实施方案中,在发起流式传输模式之前在系统指示符区域中呈现的视觉指示符继续与流式传输模式视觉指示符同时呈现在系统指示符区域中。
在一些实施方案中,诸如在图10O中,根据确定第一电子设备500不在流式传输模式下操作,第一电子设备放弃在用户界面的系统指示符区域中显示流式传输模式视觉指示符(1108)。在一些示例中,在第一电子设备未处于流式传输模式时,在第一电子设备处接收到的用于播放内容项的用户输入任选地使得第一电子设备在第一电子设备自身上呈现内容,而不是在回放目的地上呈现内容。在一些实施方案中,在第一电子设备未处于流式传输模式时,不显示流式传输模式视觉指示符,这向用户传达内容将在第一电子设备自身上而不是在回放目的地上播放。
在用户界面的系统指示符区域中呈现流式传输模式的视觉指示的上述方式允许第一电子设备响应于用于呈现内容的用户输入而向用户传达第一电子设备被配置为在回放目的地上呈现内容,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过防止用户无意地将内容呈现在回放目的地上并且不得不在内容已开始播放之后校正错误),这还通过减少用户错误并因此减少校正用户错误所需的输入使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10C中,在第一电子设备500处于流式传输模式并且在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010a时(1110),第一电子设备经由该一个或多个输入设备接收与发起内容项1008的回放的请求对应的第二输入603(1112)。在一些实施方案中,对内容项的表示的选择或对可选选项的选择(当该表示或该可选选项被选择时)使得播放内容项。内容项任选地为音频内容或视频内容。在一些实施方案中,诸如在图10D中,响应于接收到第二输入(1114),第一电子设备将内容项从第一电子设备500流式传输到第二电子设备1002a以使得第二电子设备呈现该内容项(1116)。在一些示例中,第一电子设备任选地将内容项传输到第二电子设备。在一些实施方案中,第一电子设备经由网络连接(例如,互联网连接)从第三电子设备(例如,服务器)接收内容项,但在一些实施方案中,内容项存储在第一电子设备上。在一些实施方案中,诸如在图10D中,第一电子设备500在用户界面的系统指示符区域中显示具有与内容项的回放的发起对应的第一视觉特性的流式传输模式视觉指示符1010b(1118)。在一些实施方案中,第一视觉特性是暂时的,并且是响应于接收到用于播放内容项的输入而呈现的。随着内容项继续呈现,流式传输模式视觉指示符任选地继续呈现而不具有第一视觉特性。第一视觉特性任选地是在内容项开始流式传输时呈现的闪烁视觉特性,或者是视觉指示符被瞬时放大然后减小至其原始尺寸的反弹效果。其他视觉特性诸如(例如,瞬时)改变流式传输模式视觉指示符的颜色或尺寸是可能的。
响应于检测到内容回放的发起而改变流式传输模式视觉指示符的外观的上述方式允许第一电子设备向用户传达内容即将呈现在第二电子设备上,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过确认将流式传输所选择的内容),这还通过减少用户错误并因此减少校正用户错误所需的输入使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10E中,在第一电子设备500处于流式传输模式并且在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010c时(1120),根据确定内容项正从第一电子设备500流式传输到第二电子设备1002a,流式传输模式视觉指示符1010c被显示为具有与内容项的当前回放对应的第二视觉特性(1122)。在一些示例中,第二视觉特性任选地为闪烁或其他动画视觉特性。其他视觉特性诸如流式传输模式视觉指示符的颜色或尺寸是可能的。在一些实施方案中,与内容项的当前回放对应的视觉特性不同于与发起内容项的回放对应的视觉特性。在一些实施方案中,诸如在图10C中,根据确定内容项未从第一电子设备500流式传输到第二电子设备1002a,流式传输模式视觉指示符1010a被显示为具有与第二视觉特性不同的第三视觉特性,该第三视觉特性与没有内容的当前回放对应(1124)。在一些示例中,第三视觉特性任选地为闪烁或其他动画视觉特性,或者没有闪烁或动画。其他视觉特性诸如流式传输模式视觉指示符的颜色或尺寸是可能的。与没有内容的当前回放对应的第三视觉特性任选地不同于与发起内容的回放对应的第一视觉特性和/或与当前内容的回放对应的第二视觉特性。
响应于检测到内容被流式传输到第二电子设备而改变流式传输模式视觉指示符的视觉特性的上述方式允许第一电子设备向用户有效地传达内容正在第二电子设备上而不是在第一电子设备上播放,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过自动呈现流式传输模式的状态,而无需另外的用户输入来实现这一点),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10J中,当第一电子设备500正在流式传输模式下操作时(1126),根据确定第一电子设备500正在显示非流式传输应用程序的用户界面(诸如图10J所示的即时消息应用程序用户界面),第一电子设备500放弃在用户界面的系统指示符区域中显示流式传输模式视觉指示符(1128)。在一些示例中,非流式传输应用程序任选地是主要目的不是呈现媒体内容诸如音频内容和视频内容(诸如电视节目、电影等)的应用程序。例如,即时消息应用程序、社交网络应用程序、游戏应用程序、购物应用程序、生产力应用程序和新闻应用程序是非流式传输应用程序。其他类型的应用程序任选地包括在非流式传输应用程序中。当电子设备呈现非流式传输应用程序的用户界面时,任选地即使当电子设备正在流式传输模式下操作时以及任选地即使当内容正从第一电子设备流式传输到第二电子设备时(例如,经由与当前显示的应用程序不同的应用程序),也任选地不显示流式传输模式视觉指示符。在一些实施方案中,诸如在图10H中,根据确定第一电子设备500正在显示流式传输内容应用程序的用户界面(诸如图10H所示的内容应用程序用户界面),第一电子设备500在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010c(1130)。在一些实施方案中,流式传输内容应用程序任选地是主要目的是呈现媒体内容诸如音频内容和视频内容(诸如电视节目、电影等)的应用程序。在一些实施方案中,即使当第一电子设备在使用第二流式传输内容应用程序将内容流式传输到第二电子设备时呈现第一流式传输内容应用程序的用户界面时,也呈现流式传输模式视觉指示符。
在第一电子设备呈现非流式传输应用程序时放弃呈现流式传输模式视觉指示符的上述方式允许第一电子设备向用户传达非流式传输模式应用程序用户界面未进行到第二电子设备的流式传输,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在呈现用户可能不希望从其进行流式传输的用户界面时呈现流式传输模式视觉指示符来避免使用户混淆),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10I中,在第一电子设备500处于流式传输模式时(1132),根据确定第一电子设备500正在显示系统用户界面(诸如图10I所示的home屏幕用户界面)(1134),根据确定内容项正从第一电子设备流式传输到第二电子设备1002a,第一电子设备在系统用户界面的系统指示符区域中显示流式传输模式视觉指示符1010c(1136)。在一些实施方案中,系统用户界面是电子设备的操作系统的用户界面,诸如home屏幕、控制用户界面或设置用户界面。在一些实施方案中,第一电子设备在呈现系统用户界面的同时使用流式传输内容应用程序将内容流式传输到第二电子设备。在一些实施方案中,诸如在图10L中,根据确定内容项未从第一电子设备500流式传输到第二电子设备1002a,第一电子设备放弃显示流式传输模式视觉指示符(1138)。在一些实施方案中,第一电子设备处于流式传输模式,但当前不将内容项流式传输到第二电子设备。在处于流式传输模式时,如果第一电子设备检测到用于播放内容项的输入,则任选地将该内容项流式传输到第二电子设备以用于回放。
在系统用户界面中在内容被流式传输时呈现流式传输模式视觉指示符以及在内容未被流式传输时放弃呈现流式传输模式视觉指示符的上述方式允许第一电子设备确认在呈现系统用户界面时流式传输正在发生,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过在内容未被流式传输时放弃呈现流式传输模式视觉指示符,第一电子设备避免了向用户暗示系统用户界面正呈现在第二电子设备上),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10G中,当第一电子设备500正在流式传输模式下操作时(1140),根据确定第一电子设备500正在显示用于控制从第一电子设备流式传输到第二电子设备的内容的回放的系统用户界面,诸如在图10G中,第一电子设备500放弃在系统用户界面的系统指示符区域中显示流式传输模式视觉指示符(1142)。在一些示例中,用于控制从第一电子设备流式传输到第二电子设备的内容的回放的系统用户界面任选地是包括回放控制元素的用户界面,该回放控制元素包括当被选择时控制回放的一个方面(例如,播放、暂停、音量、快进、后退等)的一个或多个可选选项,而不是从其流式传输内容的应用程序中所示的控制元素。在一些实施方案中,系统用户界面包括根据方法900的一个或多个步骤呈现的回放控制元素。在一些实施方案中,诸如在图10I中,根据确定第一电子设备500正在显示第二用户界面(诸如图10I中所示的home屏幕),该第二用户界面不是用于控制从第一电子设备流式传输到第二电子设备的内容的回放的系统用户界面,第一电子设备在第二用户界面的系统指示符区域中显示流式传输模式视觉指示符1010c(1144)。在一些示例中,第二用户界面任选地是除用于控制内容的回放的系统用户界面之外的系统用户界面或内容流式传输应用程序用户界面中的一者。
在呈现用于控制正被流式传输的内容的回放的系统用户界面时放弃显示流式传输模式视觉指示符的上述方式允许第一电子设备在曾显示流式传输模式视觉指示符的空间中显示其他信息,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过呈现附加信息,这是因为假定用户理解如果他们正在回放控制用户界面处控制回放,则第一电子设备处于流式传输模式),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10M中,在第一电子设备500处于流式传输模式时并且在显示器的系统指示符区域中显示流式传输模式视觉指示符1010a时(1146),第一电子设备经由该一个或多个输入设备接收与对流式传输模式视觉指示符的选择对应的第二用户输入1003(1148)。在一些实施方案中,用户在流式传输模式视觉指示符的位置处轻击第一电子设备的触摸屏,使用由鼠标或触控板控制的光标来选择流式传输模式视觉指示符,输入与流式传输模式视觉指示符对应的键盘快捷方式,或者提供与选择流式传输模式视觉指示符对应的语音命令。在一些实施方案中,诸如在图10F至图10G中,响应于接收到第二用户输入1003(1150),根据确定内容项正从第一电子设备500流式传输到相应电子设备1002a,第一电子设备在显示器上显示用于控制相应电子设备1002a处的内容回放的回放控制元素1014(1152)。在一些示例中,回放控制元素任选地包括当被选择时使得第一电子设备修改或控制第二电子设备上的流式传输的内容的回放方面的一个或多个可选选项。在一些实施方案中,回放控制元素包括可选选项,诸如播放/暂停选项、快进选项、后退选项、语言/字幕选项、音量控制选项等。在一些实施方案中,第一电子设备根据方法900的一个或多个步骤显示回放控制元素。在一些实施方案中,诸如在图10M至图10N中,根据确定内容项未从第一电子设备500流式传输到另一个电子设备1002a,第一电子设备在显示器上显示用于选择要将内容从第一电子设备流式传输到的相应回放目的地的用户界面(1154),诸如图10N所示的用户界面。在一些示例中,用户界面任选地包括当被选择时将第一电子设备配置为将内容流式传输到所选择的回放目的地的多个可选选项。第一电子设备任选地根据方法700的一个或多个步骤呈现回放目的地的菜单。在一些实施方案中,第二电子设备是可选回放目的地以及其他机顶盒、显示器、扬声器或其他设备中的一者。在一些实施方案中,用户界面还包括可选选项,该可选选项当被选择时使得第一电子设备在第一电子设备上本地播放内容,而不是将内容流式传输到流式传输目的地。
响应于检测到对流式传输模式视觉指示符的选择而呈现与流式传输内容相关的用户界面的上述方式允许第一电子设备在内容被流式传输时提供回放控件,并且在内容未被流式传输时提供用于选择回放目的地的可选选项,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过根据内容是否被流式传输提供到相关的流式传输相关控件的快捷方式),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,在显示图10G所示的回放控制元素1014时,第一电子设备500经由该一个或多个输入设备接收与停止显示该回放控制元素的请求对应的第三用户输入(1156)。在一些实施方案中,第三用户输入与用于导航到电子设备home屏幕的用户输入相同,诸如从第一电子设备的触摸屏的底部向上的轻扫。在一些实施方案中,第三用户输入与用于显示当前正在第一电子设备上运行的应用程序的表示的用户输入相同。其他输入是可能的。在一些实施方案中,诸如在图10H中,响应于接收到第三用户输入(1158),第一电子设备停止显示回放控制元素(1160)。在一些实施方案中,当停止显示回放控制元素时,第一电子设备呈现控制用户界面。控制用户界面是任选地包括用于控制第一电子设备的一个或多个功能诸如音量、亮度和/或网络连接(例如,Wi-Fi、蓝牙和/或蜂窝数据连接)的一个或多个可选选项的系统用户界面。在一些实施方案中,诸如在图10H中,第一电子设备继续在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010c(1162)。在一些实施方案中,在显示控制用户界面或另一个用户界面时,第一电子设备在系统指示符区域中显示流式传输模式视觉指示符。
在停止显示回放控制元素时继续呈现流式传输模式视觉指示符的上述方式允许第一电子设备确认在停止显示回放控制元素之后内容仍然在被流式传输,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过确认内容仍然在被流式传输,而无需另外的用户输入来生成确认),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10H中,系统指示符区域包括多个视觉指示符,该多个视觉指示符包括流式传输模式视觉指示符1010c,每个视觉指示符指示电子设备的相应状态(1164)。在一些示例中,系统指示符区域任选地位于显示器的边缘处。在一些实施方案中,视觉指示符包括网络连接指示符(例如,蜂窝、Wi-Fi或蓝牙连接指示符)、电池指示符和时钟。
在显示器的系统指示符区域中呈现流式传输模式视觉指示符的上述方式允许第一电子设备呈现流式传输模式视觉指示符,同时呈现应用程序的用户界面诸如流式传输内容应用程序用户界面或系统用户界面,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过提供对流式传输模式的连续确认),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,诸如在图10B至图10C中,在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010a之前,第一电子设备显示在系统指示符区域中的第一位置处指示电子设备的第一状态的第一视觉指示符(例如,图10B所示的时钟)(1166),其中显示流式传输模式视觉指示符包括:停止在系统指示符区域中显示第一视觉指示符(1168);以及在系统指示符区域中的第一位置处显示流式传输模式视觉指示符(1170)。在一些实施方案中,第一视觉指示符是网络连接视觉指示符、电池视觉指示符、时钟或另一个视觉指示符中的一者。在一些实施方案中,流式传输模式视觉指示符替换在系统指示符区域中显示的其他视觉指示符中的一个视觉指示符。然而,在一些实施方案中,流式传输模式视觉指示符不替换系统指示符区域的视觉指示符,而是与所有其他系统指示符区域视觉指示符一起显示。
用流式传输模式视觉指示符替换第一视觉指示符的上述方式允许第一电子设备节省显示空间,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过为其他显示内容诸如流式传输内容应用程序用户界面或系统用户界面分配显示空间),这还通过使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。
在一些实施方案中,当第一电子设备正在流式传输模式下操作并且正在用户界面的系统指示符区域中显示流式传输模式视觉指示符1010a时,诸如在图10M中,第一电子设备检测从在流式传输模式下操作第一电子设备到不在流式传输模式下操作第一电子设备的转变(1172),诸如图10N所示的对选项1018d的选择(例如,利用接触1003)。在一些实施方案中,第一电子设备退出流式传输模式。当不在流式传输模式下操作时,响应于用于播放内容项的用户输入,第一电子设备在第一电子设备自身上本地播放内容,而不是将内容流式传输到流式传输目的地,诸如第二电子设备。在一些实施方案中,响应于选择用于退出流式传输模式或选择第一电子设备自身作为内容的回放目的地的选项的用户输入,退出流式传输模式。在一些实施方案中,诸如在图10O中,响应于检测到转变,第一电子设备停止在用户界面的系统指示符区域中显示流式传输模式视觉指示符(1174)。在一些实施方案中,在第一电子设备未处于流式传输模式时,不管在第一电子设备上呈现何种类型的用户界面,都不显示流式传输模式视觉指示符。
在第一电子设备退出流式传输模式时停止显示流式传输模式视觉指示符的上述方式允许第一电子设备向用户传达第一电子设备何时处于流式传输模式以及第一电子设备何时未处于流式传输模式,这简化了用户与电子设备之间的交互并且增强了电子设备的可操作性(例如,通过弄清楚如果播放所选择的内容,则所选择的内容是否将被流式传输),这还通过减少用户错误并因此减少校正用户错误所需的输入使得用户能够更快速且有效地使用电子设备而减少了电力并且延长了电子设备的电池寿命。。
应当理解,对图11A至图11G中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1300和1500)所述的其他过程的细节同样以类似的方式适用于上文结合图11A至图11G所述的方法1100。例如,上文参考方法1100所述的流式传输模式的指示任选地具有本文参考本文所述的其他方法(例如,方法700、900、1300和1500)所述的流式传输模式操作和回放控制选项的呈现等的特性中的一个或多个特性。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5J所述)或专用芯片。此外,上文参考图11A至图11G所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1104、1106、1108、1118、1122、1124、1128、1130、1136、1138、1142、1144、1152和1154以及接收操作1102、1112、1148和1156任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
设备特定的远程控件
用户以许多不同方式与电子设备进行交互,包括使用电子设备来呈现内容,诸如音频内容或视频内容。在一些实施方案中,第一电子设备能够远程控制第二电子设备。在一些实施方案中,第一电子设备能够使用相同的用户界面来远程控制不同类型的电子设备。下文所述的实施方案提供了第一电子设备呈现包括用于控制另一个电子设备的可选选项的控制元素的方式。在一些实施方案中,控制元素是设备特定的,并且可基于正被控制的设备的类型而向用户呈现不同的选项。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图12A至图12FF示出了电子设备呈现用于控制另一个电子设备的可选选项的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图13A至图13H描述的过程。
图12A示出了包括触摸屏504的示例性电子设备500。在一些实施方案中,电子设备500与其他电子设备诸如电子设备1204通信。在一些实施方案中,电子设备500与包括多个显示设备(例如,智能电视)和/或多个扬声器的多个电子设备进行通信。在一些实施方案中,电子设备1204包括与显示器(例如,诸如设备580)通信的机顶盒。电子设备500与其他电子设备之间的通信链路允许电子设备500远程控制这些电子设备中的一个或多个电子设备,如本文将描述的。在一些实施方案中,除此之外或另选地,通信链路允许电子设备500将内容流式传输到相应的电子设备,如上文相对于图8A所述。为了便于描述,除非另有说明,否则下文的描述将通过假设电子设备500与第二电子设备通信来开始。应当理解,第二电子设备表示能够与上述电子设备500通信的任何或所有电子设备。
图12A示出了在触摸屏504上呈现控制用户界面1200的电子设备500。控制用户界面1200是系统用户界面(例如,不是来自安装在电子设备500上的分立应用程序的用户界面),该系统用户界面类似于图8B所述的用户界面,包括用于控制电子设备500的一个或多个功能诸如音量、亮度和/或网络连接(例如,Wi-Fi、蓝牙和/或蜂窝数据连接)的一个或多个可选选项。控制用户界面1200包括连接控件1210a、屏幕取向控件1210b、免打扰控件1210c、屏幕镜像控件1210d、亮度控件1210e、音量控件1210f和回放控制元素1210g。如图12A所示,连接电子设备500(或以其他方式与其通信)的被标记为“显示器A”的电子设备(例如,不同于电子设备1204的另一个电子设备(未示出))当前正在播放“电视节目A”。如上所述,“显示器A”任选地是与显示器(例如,集成显示器或外部显示器)、独立显示器、智能显示设备(例如,智能电视)或任何其他类型的具有显示功能的电子设备通信的机顶盒。
在一些实施方案中,当“显示器A”电子设备正在显示内容时,回放控制元素1210g包括与内容“电视节目A”的回放相关联的信息和可选选项。回放控制元素1210g包括在“显示器A”上播放的内容的名称的指示1212a、向前跳转选项1212b、向后跳转选项1212c和暂停选项1212d。如图12A所示,控制用户界面1200任选地包括远程控制可选选项1210h(例如,示能表示和/或虚拟按钮)。在一些实施方案中,对远程控制可选选项1210h的选择使得显示用于远程控制第二电子设备(例如,诸如电子设备500与其通信的上述电子设备)的用户界面。
在一些实施方案中,第二电子设备可以是可将内容从电子设备500流式传输到的设备。在一些实施方案中,第二电子设备从第三方接收内容以用于显示和/或显示存储在本地存储器上的内容。在一些实施方案中,第二电子设备是与显示器通信的机顶盒(例如,在一些实施方案中,显示器与机顶盒设备集成)。在一些实施方案中,第二电子设备是电子设备1204并且正在显示home屏幕用户界面1206。在一些实施方案中,不管第二电子设备是否正从电子设备500接收内容、是否正从第三方接收内容,或者不接收任何内容,电子设备500都能够经由远程控制用户界面远程控制第二电子设备,如下文将进一步详细描述的。
在图12B中,电子设备500接收选择远程控制可选选项1210h的用户输入1203。在一些实施方案中,用户输入是轻击、长按压或强度大于强度阈值的接触。如图12C所示,响应于接收到选择远程控制可选选项1210h的用户输入,电子设备500在触摸屏504上显示远程控制用户界面1220。在一些实施方案中,远程控制用户界面1220包括虚拟触摸板区域1227和控制选项区域1228。在一些实施方案中,远程控制用户界面1220包括设备选择用户界面1221。
在一些实施方案中,虚拟触摸板区域1227是远程控制用户界面1220上的矩形区域,其中可接受触摸屏504上的用户输入以将用户输入发送到或传输到正由远程控制用户界面(例如,第二电子设备)控制的电子设备。在一些实施方案中,虚拟触摸板区域1227模拟物理远程控制设备(例如,遥控器590)或用于控制第二电子设备的其他类型的设备上的物理触摸板。例如,虚拟触摸板区域1227中的轻击输入可使得向第二电子设备传输轻击命令。在一些实施方案中,轻扫手势可使得向第二电子设备传输轻扫命令。在一些实施方案中,电子设备500解释用户输入,将该用户输入转换成命令(例如,导航命令、选择命令等),并且将所转换的命令传输到第二电子设备,而不是传输原始触摸输入数据(例如,轻击或轻扫)。例如,虚拟触摸板区域1227中的轻击输入任选地被电子设备500解释为选择输入,并且选择命令任选地被传输到第二电子设备。在一些实施方案中,虚拟触摸板区域1227支持多种不同类型的输入和手势,如下文将进一步详细描述的。
在一些实施方案中,控制选项区域1228包括用于在第二电子设备上执行(或以其他方式导致)动作的一个或多个可选选项(例如,示能表示和/或虚拟按钮)。在一些实施方案中,由控制选项区域1228中的按钮执行的功能是更适于快捷方式按钮而不是虚拟触摸板(例如,菜单按钮、搜索按钮等)的功能。在一些实施方案中,由控制选项区域1228中的选项执行的功能是最常用的功能。在一些实施方案中,控制选项区域1228包括五个可选控制选项1229-1、1229-2、1229-3、1229-4和1229-5。在一些实施方案中,控制选项1229-1可选择以在第二电子设备上显示菜单,控制选项1229-2可选择以显示统一媒体浏览应用程序(例如,如果受控设备上存在统一媒体浏览应用程序),控制选项1229-3可选择以发起语音助理(类似于相对于图8N至图8O所述的语音助理),控制选项1229-4可选择以暂停或播放当前在第二电子设备上显示的内容的回放,并且控制选项1229-5可选择以在受控设备上引发搜索功能。在一些实施方案中,控制选项1229-1另选地使得显示先前显示的用户界面、先前显示的内容项或先前菜单选项(例如,执行“返回”功能)。在一些实施方案中,控制选项1229-1基于第二电子设备的上下文来执行“菜单”动作或“返回”功能。在一些实施方案中,控制选项区域1228中显示的可选选项模仿第二电子设备的物理远程控制设备(例如,遥控器590)上可用的物理按钮。
在一些实施方案中,接收到选择控制选项区域1228中的控制选项的用户输入引起触觉反馈。在一些实施方案中,该触觉反馈是在触摸按下选项时提供给用户的振动机构。在一些实施方案中,当用户从选项抬离时提供触觉。在一些实施方案中,针对抬离和触摸按下(例如,在频率、强度等方面)提供不同的反馈。在一些实施方案中,其他反馈机构诸如听觉或视觉反馈是可能的。例如,任选地提供可听音调作为反馈。在一些实施方案中,视觉反馈可由所选择按钮任选地移动、弹出、反弹、扩展、收缩或以其他方式改变组成。在一些实施方案中,视觉反馈包括瞬时扩展并随后改变所选择按钮的颜色的视觉效果。在一些实施方案中,所选择按钮的瞬时扩展任选地基于输入的力而扩展(例如,当用户向按钮提供更大的力时,按钮变大)。在一些实施方案中,如果可选按钮与可切换功能或动作相关联,则所选择按钮的颜色保持不变。应当理解,上述反馈机制也可用于响应与虚拟触摸板区域1227交互的用户输入(例如,触摸按下和/或抬离时的触觉反馈和/或音频反馈和/或视觉效果)。
在一些实施方案中,当第一次显示远程控制用户界面1220时,远程控制用户界面1220任选地包括设备选择用户界面1221并指示用户选择要控制的设备(例如,“选择电视”文本标签)。在一些实施方案中,设备选择用户界面1221包括要选择的可用设备的下拉列表。在一些实施方案中,设备选择用户界面1221填充有在电子设备500附近内可控制的所有设备。在一些实施方案中,这些设备包括与电子设备500在同一Wi-Fi网络上的那些设备。在一些实施方案中,这些设备包括经由蓝牙连接到电子设备500的那些设备。在一些实施方案中,其他无线通信协议可使得设备是可控制的并且被列在设备选择用户界面1221中。在一些实施方案中,远程控制用户界面1220任选地基于先前的使用(例如,较近期控制的设备优先于稍远期控制的设备)、与电子设备500的接近度或对某些类型的设备的超过其他类型的设备的偏好(例如,如果可控设备是不同类型的设备)从可控设备列表中自动选择设备。在一些实施方案中,机顶盒优于其他类型的设备,或者支持更多远程控制特征的设备优于支持更少远程控制特征的设备。在一些实施方案中,在显示设备选择用户界面1221时发现设备选择用户界面1221中列出的设备。在一些实施方案中,设备选择用户界面1221中的设备取自电子设备500通过连续监测可控设备来连续更新的设备列表。应当理解,“连续地”包括以一定频率轮询可控设备。
在图12C中,设备选择用户界面1221包括两个设备。在一些实施方案中,第一可控设备1224-1是被标记为“卧室”的设备(例如,由用户标记的和/或由系统基于可控设备1224-1的位置和/或与设备1224-1相关联的标签自动确定的)。在一些实施方案中,可控设备1224-1是如图标1226-1所指示的第一类型的可控设备。例如,图标1226-1显示电视的表示,该表示指示可控设备1224-1是电视(例如,智能电视)。在一些实施方案中,第二可控设备1224-2是被标记为“客厅”的第二类型的设备,诸如机顶盒。在一些实施方案中,与可控设备1224-2相关联的图标1226-2显示机顶盒的表示。在一些实施方案中,图标1226-1和1226-2任选地示出了相应设备的图片或照片(即,而不是显示表示设备类型的图标)。
在一些实施方案中,电子设备500接收从设备选择用户界面1221上的可控设备的下拉列表中选择可控设备1224-2的用户输入1203(例如,轻击输入)。响应于从可控设备的下拉列表中选择可控设备1224-2的用户输入1203,远程控制用户界面1220任选地被重新配置为控制可控设备1224-2,如图12D所示。为了便于描述,可控设备1224-2是上述电子设备1204。
在一些实施方案中,响应于接收到选择可控设备1224-2的用户输入1203,设备选择用户界面1221收缩并且不再显示可控设备的下拉列表,并且仅显示正由远程控制用户界面1220控制的设备(例如,电子设备1204)。在一些实施方案中,可选标签1222指示当前正被控制的设备。在一些实施方案中,选择可选标签1222显示完整的设备选择用户界面1221,并向用户提供要选择的设备列表,如下文将进一步详细描述的。在一些实施方案中,重新配置远程控制用户界面1220可包括将控制选项区域1228中的可选选项改变为由受控设备支持的选项,如下文将更详细地描述的。
在一些实施方案中,虚拟触摸板区域1220可显示使用提示1230。在一些实施方案中,使用提示1230不是可选选项,而是显示在虚拟触摸板区域1220中以向用户指示(例如,向用户提供提示)由虚拟触摸板区域1220支持的不同功能的水印。例如,电子设备1204任选地支持离散命令和/或手势命令诸如轻击和轻扫(例如,因为电子设备1204是第一类型的设备)。因此,在一些实施方案中,所显示的使用提示与正被控制的设备的类型和由给定类型的设备支持的命令相关。在一些实施方案中,当电子设备1204是第一类型的设备时,使用提示1230任选地显示“轻扫以导航”文本提示1232,以通知用户可接受虚拟触摸板区域1220中的轻扫来引起电子设备1204上的导航。例如,根据轻扫手势的长度和速度,在轻扫方向上的可变长度导航命令被发送到电子设备1204(例如,短轻扫引起一个单元的导航,而长轻扫引起两个或更多个单元的导航)。在一些实施方案中,使用提示1230包括插入符号、箭头或三角形诸如指示符1234-1、1234-2、1234-3和1234-4,以指示虚拟触摸板区域的某些子区域中的轻击输入将被解释为离散的导航输入。例如,虚拟触摸板区域1227的左侧子区域中的轻击任选地引起单个左导航命令(例如,引起一个单元的向左导航)。在一些实施方案中,虚拟触摸板区域的中心子区域中的轻击输入被解释为选择输入(例如,“点击”输入)。
在一些实施方案中,每当显示远程控制用户界面1220时,使用提示1230被显示在虚拟触摸板区域1227中。在一些实施方案中,使用提示1230在消失之前保持显示阈值量的时间(例如,1秒、1.5秒、2秒)。在一些实施方案中,在选择要由远程控制用户界面1220控制的新设备的任何时间显示使用提示1230。在一些实施方案中,在选择要由远程控制用户界面1220控制的新类型的设备的任何时间显示使用提示1230(例如,当用户选择控制不同设备,但该不同设备的类型与先前被控制的设备的类型相同时,任选地不显示使用提示1230)。在一些实施方案中,使用提示1230被显示在虚拟触摸板区域1227中,直到电子设备500在虚拟触摸板区域1227上接收到用户输入。在一些实施方案中,使用提示1230显示在虚拟触摸板区域1227中,直到电子设备500在虚拟触摸板区域1227上接收到有效的用户输入(例如,与所支持的功能中的一个功能对应或与所显示的提示中的一个提示对应的输入)。在一些实施方案中,针对每个设备使用会话显示一次使用提示1230。在一些实施方案中,设备使用会话被定义为在用户已解锁设备之后且在设备重新锁定之前的时间。在一些实施方案中,设备使用会话被定义为设备的每次关闭或重启之间的时间(例如,当电子设备500启动时新会话开始)。在一些实施方案中,设备使用会话被定义为相应内容在电子设备1204上播放(并且在内容结束之前)的时间。在一些实施方案中,设备使用会话被定义为电子设备1204通电的时间(例如,当电子设备1204启动时新会话开始)。在一些实施方案中,设备使用会话是从用户首先发起显示远程控制用户界面1220开始并且在用户尚未执行任何进一步用户输入的阈值量的时间之后结束的时间。在一些实施方案中,针对每个设备仅显示使用提示1230一次。在一些实施方案中,使用系统标记或设置来确定是否已显示使用提示1230。在一些实施方案中,电子设备500的系统或出厂重置可使得使用提示1230在下一次显示远程控制用户界面1220时再次显示。
在一些实施方案中,长度和宽度为虚拟触摸板区域1227的长度和宽度的一半的不可见矩形限定虚拟触摸板区域的中心子区域(例如,在其中,输入被解释为选择输入)。在一些实施方案中,从矩形的拐角辐射到虚拟触摸板区域1227的拐角的不可见分界线限定虚拟触摸板区域1227的顶部、底部、左侧和右侧子区域(例如,在其中,轻击分别被解释为向上、向下、向左和向右导航)。在一些实施方案中,子区域具有不同的尺寸(例如,中心矩形的长度和宽度可以是虚拟触摸板区域的长度和宽度的三分之一,而不是虚拟触摸板区域的长度和宽度的一半),或者可以不同的方式细分。在一些实施方案中,尽管电子设备1204支持离散命令和/或手势命令,但虚拟触摸板区域1227任选地仅支持离散命令(例如,使得手势命令被忽略或在手势的开始或结束位置处被解释为离散命令)、仅支持手势命令(例如,使得任何位置中的轻击被解释为选择输入),或支持这两种类型的命令。
在图12E中,电子设备500检测虚拟触摸板区域1227中的接触1203的初始触摸按下。在一些实施方案中,电子设备1204显示home屏幕用户界面1206。在一些实施方案中,应用程序1218-1(即,统一媒体浏览应用程序)的表示(例如,应用程序图标)当前处于焦点(例如,突出显示或以其他方式暂时选择)。在图12F中,电子设备500检测在接触1203与触摸屏504连续接触时接触1203的向右移动,并且将该手势解释为向右轻扫。在一些实施方案中,响应于检测到轻扫输入,电子设备500向电子设备1204传输向右轻扫命令或向右导航命令。在一些实施方案中,响应于接收到该命令,电子设备1204执行向右导航,从而将焦点向右移位。在一些实施方案中,焦点然后从应用程序1218-1(即,统一媒体浏览应用程序)移位到应用程序1218-2(即,提供方1应用程序)。应当理解,当向右导航对应于快速或长轻扫手势时,该向右导航任选地将焦点移动多于一个单元(例如,移动到应用程序1218-3)。还应当理解,虽然仅示出了向右轻扫,但是向左、向上和向下轻扫也可能在电子设备1204上引起向左、向上和向下导航。
在图12G中,电子设备500检测虚拟触摸板区域1227的上部子区域中的轻击输入1203。在一些实施方案中,上部子区域中的轻击输入1203被解释为向上导航,并且相应的命令被发送到电子设备1204。在一些实施方案中,响应于接收到向上导航命令,焦点从应用程序1218-2(即,提供方1应用程序)移位到内容项826-2(即,项目BB)。应当理解,虽然仅示出了上部子区域中的轻击输入,但左侧子区域、下部子区域和右侧子区域中的轻击输入也可能在电子设备1204上引起向左、向上和向下导航。
在图12H中,电子设备500检测虚拟触摸板区域1227的中心子区域中的轻击输入1203。在一些实施方案中,中心子区域中的轻击输入被解释为选择输入,并且相应的命令被发送到正被控制的机顶盒。在一些实施方案中,响应于接收到选择输入,机顶盒开始或以其他方式引起内容项1219-2(例如,当前突出显示的选项)的回放,如图12I所示。例如,图12I示出了电子设备1204在媒体回放用户界面1207上显示内容项1219-2(即,“项目BB”)。
在图12J中,电子设备500检测选择可选标签1222的用户输入1203。在一些实施方案中,选择可选标签122指示用户希望显示可控设备列表(例如,以选择另一个设备来控制或查看所有潜在的可控设备)。在一些实施方案中,如上所述,可选标签1222显示当前正被控制的设备的名称(即,与电子设备1204相关联的“客厅”)。响应于选择可选标签1222的用户输入1203,显示设备选择用户界面1221,如图12K所示。在一些实施方案中,设备选择用户界面1221包括可控设备的下拉列表。在一些实施方案中,当前选择用于由远程控制用户界面控制的设备伴随有指示符(例如,复选标记或任何其他视觉指示符)以指示当前选择了相应设备。例如,可控设备1224-2(例如,与电子设备1204相关联)伴随有复选标记指示符1225以指示远程控制用户界面1220当前被配置为控制可控设备1224-2。在一些实施方案中,如上所述,可控设备列表中的每个设备伴随有图标或其他表示以指示相应设备的设备类型。例如,与可控设备1224-1相关联的图标1226-1(例如,电视图标)指示设备1224-1是能够使用远程控制用户界面1220来控制的第一类型的设备(例如,电视)。在一些实施方案中,与设备1224-2相关联的图标1226-2(例如,机顶盒图标或徽标)指示设备1224-2是能够使用远程控制用户界面1220来控制的第二类型的设备(例如,机顶盒)。
在一些实施方案中,虚拟触摸板区域1227的尺寸响应于设备选择用户界面1221的显示或扩展而收缩。在一些实施方案中,尽管虚拟触摸板区域1227具有减小的尺寸并且显示了设备选择用户界面1221,但虚拟触摸板区域1227继续接受控制电子设备1204的用户输入。在一些实施方案中,在虚拟触摸板区域1227上执行用户输入不会使得设备选择用户界面1221回缩或停止显示。在一些实施方案中,在虚拟触摸板区域1227上执行用户输入确实使得设备选择用户界面1221停止显示并且使得虚拟触摸板区域1227扩展回其原始尺寸和/或最大尺寸。
在一些实施方案中,虚拟触摸板区域仅收缩到某个最小尺寸,如图12L所示。例如,如果设备选择用户界面1221包括大量可控设备,使得选择用户界面1221的尺寸大于在设备选择用户界面1221仅包括少量可控设备时的尺寸,则虚拟触摸板区域1227任选地减小至其最小尺寸。在一些实施方案中,虚拟触摸板区域1227的最小尺寸是原始尺寸的特定比率或百分比。例如,虚拟触摸板区域1227任选地将不会减小至小于其原始尺寸和/或高度的50%(1/2)、66%(2/3)或75%(3/4)。在一些实施方案中,最小尺寸为预先确定的绝对最小高度。例如,虚拟触摸板区域1227的尺寸任选地将不会减小至小于1英寸、1.5英寸、2英寸、2.5英寸等。
图12L示出了设备选择用户界面1221中的可控设备列表为至少四个设备(例如,1224-1、1224-2、1224-3和1224-4)的实施方案。在一些实施方案中,在设备选择用户界面1221中显示四个或更多个设备使得虚拟触摸板区域1227减小至其最小尺寸。如图12L所示,当在设备选择用户界面1221中显示四个或更多个设备时,虚拟触摸板区域1227减小至其原始尺寸的一半。在一些实施方案中,设备选择用户界面1221中的一个或多个设备“溢出”能够允许用于设备选择用户界面1221的最大尺寸(由于虚拟触摸板区域1227的最小尺寸要求)。在一些实施方案中,如图12L所示,第四可控设备1224-4部分地隐藏在虚拟触摸板区域1227后面。在一些实施方案中,设备选择用户界面1221变成可滚动列表,使得向上轻扫使得列表向上滚动并且显现列表中隐藏在虚拟触摸板区域1227后面的可控设备。
在图12L中,电子设备500检测选择可控设备1224-1的轻击输入1203。如图12L所示,可控设备1224-1是与可控设备1224-2不同类型的设备。在一些实施方案中,可控设备1224-2是机顶盒,而可控设备1224-1是电视(例如,智能电视)。在一些实施方案中,响应于检测到选择可控设备1224-1的轻击输入1203,远程控制用户界面1220被重新配置为控制可控设备1224-1而不是可控设备1224-2。在一些实施方案中,重新配置远程控制用户界面1220包括在控制选项区域1228中显示不同组的可选选项,以及将虚拟触摸板区域1227配置为接受用于在与现在正被控制的不同种类的设备对应的受控设备上执行不同组的动作和/或功能的不同组的输入,诸如图12M所示。如图12M所示,为了便于描述,可控设备1224-1为电子设备1205。在一些实施方案中,电子设备1205是智能电视设备并且正在显示home屏幕界面1208,该home屏幕界面包括可选选项1218-5、1218-6、1218-7、1218-8、1219-5、1219-6、1219-7和1219-8。
图12M示出了被重新配置为控制设备电子1205的电子设备500。在一些实施方案中,虚拟触摸板界面1220显示使用提示1230。在一些实施方案中,每当选择新设备时显示使用提示1230。在一些实施方案中,每当选择新类型的设备时显示使用提示1230。在一些实施方案中,使用提示1230的显示行为类似于上文相对于图12D所述的使用提示1230的显示行为。在一些实施方案中,使用提示1230不同于图12D中显示的使用提示1230(例如,这些使用提示是针对不同类型的受控设备显示的)。在一些实施方案中,电子设备1205支持不同的命令和/或输入。例如,电子设备1205任选地仅支持离散命令并且不支持手势命令。在一些实施方案中,使用提示1230任选地显示插入符号、箭头或三角形诸如指示符1234-1、1234-2、1234-3和1234-4,以指示虚拟触摸板区域1227的某些子区域中的轻击输入将被解释为离散的导航输入(例如,顶部、左侧、底部和右侧子区域中的轻击分别被解释为向上、向下、向左和向右导航)。在一些实施方案中,使用提示1230包括矩形框1236以描述其中轻击被解释为选择输入(例如,“点击”输入)的区域。在一些实施方案中,矩形框1236仅为中心子区域的图形表示,并且该中心子区域与矩形框1236在形状和尺寸方面有所不同。
在一些实施方案中,如图12M所示,控制选项区域1228包括用于在电子设备1205上执行(或以其他方式导致)动作的一个或多个可选选项(例如,示能表示)。在一些实施方案中,被提供用于控制电子设备1205的可选选项不同于被提供用于控制电子设备1204的可选选项。在一些实施方案中,控制选项区域1228包括三个可选控制选项1229-6、1229-7和1229-8。在一些实施方案中,控制选项1229-6可选择以向电子设备1205发送“返回”命令(例如,以显示先前显示的屏幕、先前菜单等)。在一些实施方案中,控制选项1229-7暂停或恢复当前在电子设备1205上显示的内容的回放。在一些实施方案中,控制选项1229-8使得在电子设备1205上显示信息用户界面。在一些实施方案中,信息用户界面提供关于当前在受控设备上显示的内容的信息。因此,控制选项区域1228中的可选控制选项可包括不同数量和不同类型的控制选项,这取决于正由远程控制用户界面1220控制的设备的类型。
在图12N中,在虚拟触摸板区域1227的右侧子区域中接收到轻击输入1203。在一些实施方案中,右侧子区域中的轻击输入1203被解释为向右导航,并且向右导航命令被发送到电子设备1205。在一些实施方案中,虚拟触摸板区域1227的右侧子区域中的轻击输入1203使得电子设备1205上的焦点从可选选项1218-5(即,“设置”)向右移位到可选选项1218-6(即,“指南”)。
在图12O中,在虚拟触摸板区域1227的上部子区域中接收到轻击输入1203。在一些实施方案中,轻击输入1203被解释为向上导航,并且向上导航命令被发送到电子设备1205。在一些实施方案中,虚拟触摸板区域1227的上部子区域中的轻击输入1203使得电子设备1205上的焦点从可选选项1218-6(即,“指南”)向上移位到可选选项1219-6(“内容应用程序2”)。应当理解,虽然仅示出了右侧子区域和上部子区域中的轻击输入,但左侧子区域和下部子区域中的轻击输入也可能在电子设备1205上引起向左和向下导航。
在一些实施方案中,如图12P所示,在虚拟触摸板区域1227的中心区域中接收到的轻击输入1203被解释为选择输入。响应于该选择输入,电子设备1205选择可选选项1218-6,并且任选地使得执行或回放与可选选项1218-6(例如,“内容应用程序2”)相关联的内容或应用程序,如图12Q所示。
在一些实施方案中,远程控制用户界面1220包括应用程序解除指示符1202。在一些实施方案中,在应用程序解除指示符1202上执行轻扫手势使得解除当前正在电子设备500上显示的应用程序。在一些实施方案中,从应用程序解除指示符1202开始的向上轻扫使得解除远程控制用户界面1220。如图12R所示,在应用程序解除指示符1202处检测到接触1203的初始触摸按下。
在一些实施方案中,如图12S所示,在继续与触摸屏504接触时,接触1203执行向上的轻扫移动。在一些实施方案中,电子设备500显示包含远程控制用户界面的应用程序容器1240。在一些实施方案中,应用程序容器的尺寸小于远程控制用户界面1220的原始尺寸或全尺寸。在一些实施方案中,应用程序容器1240的尺寸由接触1203的轻扫手势限定。例如,如果轻扫手势小,则应用程序容器1240的尺寸基本上是全屏的,而如果轻扫手势大,则应用程序容器1240的尺寸相应地减小。在一些实施方案中,当输入在整个触摸屏504上轻扫时,应用程序解除指示符1202跟随用户的输入。在一些实施方案中,当用户在整个触摸屏504上轻扫使得应用程序容器1240的尺寸减小时,远程控制用户界面的元素诸如虚拟触摸板区域1227和控制选项区域1228中的可选控制选项的尺寸也成比例地减小。
图12T示出了在继续与触摸屏504接触时接触1203的进一步轻扫移动。在一些实施方案中,轻扫移动不是直接向上的,而是任选地为对角的、侧向的或向下的。在一些实施方案中,当接触1203在整个触摸屏504上移动时,应用程序解除指示符1202(以及因此应用程序容器1240)跟随该接触。例如,在图12T中,接触1203在右上方向上成对角线地移动。在一些实施方案中,响应于在右上方向上成对角线地移动的接触1203,应用程序容器1240进一步减小尺寸并且在相同的右上方向上移动。应当理解,如果轻扫移动在任何其他方向上移动,则应用程序容器1240将跟随在相应方向上的轻扫移动。在一些实施方案中,在竖直方向上的移动改变应用程序容器1240的尺寸(例如,用户输入的向上分量使得应用程序容器1240的尺寸减小,并且用户输入的向下分量使得应用程序容器1240的尺寸扩展)并且/或者改变应用程序容器1240的竖直位置。在一些实施方案中,在水平方向上的移动改变应用程序容器1240的水平位置,但不改变应用程序容器1240的尺寸(例如,轻扫输入的水平分量使得应用程序容器1240根据这些轻扫输入的水平分量水平移动)。在一些实施方案中,在接触1203已移动超过竖直阈值之后,电子设备500使得完全解除远程控制用户界面(和应用程序容器1240)。例如,当接触移动到触摸屏504的中间点上方时,解除远程控制用户界面。在一些实施方案中,以好像减小为最初使得显示远程控制用户界面的可选选项或图标的方式解除远程控制用户界面。例如,在解除远程控制用户界面之后,显示控制用户界面1200,并且远程控制用户界面看起来最小化为远程控制可选选项1210h。在一些实施方案中,未达到竖直阈值以完全解除远程控制用户界面的慢速轻扫或部分轻扫任选地显示应用程序选择用户界面。
在一些实施方案中,与轻扫手势使得应用程序容器1240根据轻扫手势的移动而移动相反,轻扫手势使得应用程序容器1240沿动画序列前进,在该动画序列中,应用程序容器1240减小尺寸并后退为最初使得显示远程控制用户界面的可选选项或图标。例如,在一些实施方案中,轻扫手势的向上竖直分量使得应用程序容器1240减小尺寸并且还朝向最初使得显示远程控制用户界面的可选选项或图标的位置移动。当轻扫手势达到某个阈值竖直位置时,应用程序容器1240将已最小化为看起来已消失在最初使得显示远程控制用户界面的可选选项或图标中的点。在一些实施方案中,轻扫手势的向下竖直分量使得应用程序容器1240增大尺寸并且移动远离最初使得显示远程控制用户界面的可选选项或图标的位置。换句话讲,轻扫的向上移动使沿解除动画序列前进,并且轻扫的向下移动使沿解除动画序列的前进反向。在一些实施方案中,轻扫手势的水平分量不使得应用程序容器1240的尺寸或位置有任何对应变化和/或不影响应用程序容器1240的解除动画序列。
在一些实施方案中,响应于对控制用户界面上的远程控制可选选项的选择,显示上文相对于图12C至图12T所述的远程控制用户界面,如上文相对于图12A至图12B所述。在一些实施方案中,响应于其他用户界面上的请求显示远程控制用户界面的用户输入,也显示上文相对于图12C至图12T所述的远程控制用户界面,如下文将进一步详细描述的。
例如,图12U示出了控制用户界面1200。在一些实施方案中,控制用户界面1200包括回放控制元素1210g。在一些实施方案中,回放控制元素1210g与当前正在电子设备1204上显示的内容相关联。在一些实施方案中,电子设备500接收选择回放控制元素1210g的用户输入1203。在一些实施方案中,响应于选择回放控制元素1210g的用户输入1203,电子设备500用回放控制元素1204a的显示替换控制用户界面1200的显示,如图12V所示。在一些实施方案中,回放控制元素1204a类似于相对于图8C所述的回放控制元素804a。与电子设备1204相关联的回放控制元素1204a包括在电子设备1204上播放的内容的名称的指示1214a、与在电子设备1204上播放的内容相关联的艺术作品1214b、刷动条1214c、向后跳转选项1214d、向前跳转选项1214e、暂停选项1214f、音量减小选项1214g、音量增大选项1214h、远程控制选项1214i(例如,远程控制可选选项),以及语言和字幕选项1214j。与电子设备1204相关联的回放控制元素1204a包括音量减小和音量增大选项1214g-1214h,但不包括音量条,因为电子设备1204任选地不与电子设备500共享其音量水平。因此,电子设备500任选地不能呈现电子设备1202a的绝对音量水平。应当理解,在一些实施方案中,刷动条1214c包括内容中的回放位置和直到内容结束为止的剩余时间的文本指示。在一些实施方案中,当电子设备500接收到远程选项1214i上的轻击输入1203时,显示远程控制用户界面,其类似于相对于图12C至图12T所述的远程控制用户界面。
图12W示出了用户可请求显示上述远程控制用户界面的另一种方法。具体地,图12W显示唤醒屏幕用户界面1250,其类似于相对于图8A所述的唤醒屏幕用户界面。在一些实施方案中,当第一电子设备500从显示器任选地关闭或不呈现用户界面的待机模式转变时,1250呈现唤醒屏幕用户界面。唤醒屏幕用户界面1250任选地包括与电子设备1204相关联的第一回放控制元素1204a,并且任选地包括与另一个可控设备相关联的第二回放控制元素1204c。如图12W所示,与电子设备1204相关联的第一回放控制元素1204a指示没有内容当前正在电子设备1204上播放。尽管没有内容当前正在电子设备1204上播放,但第一回放控制元素1204a包括可选择以显示远程用户界面(其类似于上文相对于图12C至图12T所述的远程用户界面)的远程控制选项1206(例如,远程控制可选选项)。例如,当电子设备500接收到远程控制选项1206上的轻击输入1203时,电子设备500任选地显示上述远程控制用户界面。
图12X至图12Y示出了用户可请求显示上述远程控制用户界面的另一种示例性方法。具体地,图12X示出了智能家居应用程序用户界面1260,其类似于相对于图8I所述的智能家居应用程序用户界面。智能家居应用程序用户界面1260包括与用户家中的各种智能电器和附件相关联的多个可选选项1268a-1268i。这些选项包括前门选项1268a、卧室灯选项1268b、客厅灯选项1268c、办公室灯选项1268d、浴室灯选项1268e、厨房灯选项1268f、第一显示设备选项1268g、第二显示设备选项1268h和扬声器选项1268i(例如,与三个电子设备相关联的选项1268g至1268i,这三个电子设备与电子设备500通信以用于流媒体、提供远程控制功能或状态监视)。在一些实施方案中,第一显示设备选项1268g与电子设备1204相关联。如图12X所示,电子设备1204当前没在播放任何内容,并且电子设备500正在显示home屏幕界面1206。在一些实施方案中,对与电子设备1204相关联的第一显示设备选项1268g的选择使得在电子设备500上显示用于电子设备1204的用户界面,诸如图12Y所示的回放控制元素1204a。在一些实施方案中,回放控制元素1204a类似于相对于图8J和图12V所述的回放控制元素。在一些实施方案中,回放控制元素1204a包括远程控制选项1214i(例如,远程控制可选选项)。在一些实施方案中,当电子设备500接收到远程控制选项1214i上的轻击输入1203时,显示远程控制用户界面,其类似于相对于图12C至图12T所述的远程控制用户界面。
图12Z示出了用户可请求显示上述远程控制用户界面的另一种示例性方法。具体地,图12Z示出了home屏幕用户界面1270,其类似于上文相对于图8M所述的home屏幕用户界面。在一些实施方案中,home屏幕用户界面1270包括远程控制应用程序1272的表示(例如,图标)。在一些实施方案中,远程控制应用程序1272是用于使用设备500来控制多个不同电子设备的应用程序(例如,不同于系统用户界面)。在一些实施方案中,接收到远程控制应用程序1272上的轻击输入1203使得显示远程控制用户界面,其类似于相对于图12C至图12T所述的远程控制用户界面。
图12AA示出了当电子设备500正在寻找和/或发现可控设备(例如,以填充可控设备列表)时的远程控制用户界面1220。在一些实施方案中,发现可控设备包括扫描连接到本地Wi-Fi网络(电子设备500也连接到本地Wi-Fi网络)的设备,以确定网络上的哪些设备是能够使用电子设备500来控制的。在一些实施方案中,其他无线通信协议(诸如Wi-FiDirect、蓝牙、NFC等)可以发现可控设备。在一些实施方案中,当电子设备500正在寻找和/或发现可控设备时,远程控制用户界面显示电子设备500正在寻找可控设备的视觉指示符1244。在一些实施方案中,当电子设备500正在寻找可控设备时并且在远程控制用户界面已被配置为控制设备之前,远程控制用户界面不包括设备选择元素(诸如来自图12D的可选标签1222)或设备选择下拉列表(诸如来自图12C的设备选择用户界面1221)(例如,因为当前没有设备正被控制或可选择为可控制的)。在一些实施方案中,虚拟触摸板区域1227不响应于用户输入。在一些实施方案中,远程控制用户界面1220包括具有可选选项的控制选项区域1228。然而,在一些实施方案中,可选选项不是可选择的,并且可选选项上的用户输入不引起任何相应动作。在一些实施方案中,可选选项变灰、散列化或以其他方式在视觉上区分开以指示当前未启用这些选项。
图12BB示出了当电子设备500已发现要控制的电子设备1204并尝试连接到电子设备1204时的远程控制用户界面。在一些实施方案中,连接到电子设备1204包括与电子设备1204建立远程控制会话。在一些实施方案中,连接到电子设备1204包括与电子设备1204进行认证以及验证设备类型和由电子设备1204支持的功能。在一些实施方案中,当电子设备500与电子设备1204连接时,远程控制用户界面1220包括电子设备500当前正在连接到设备的视觉指示符1246。在一些实施方案中,在电子设备500连接到电子设备1204时,远程控制用户界面1220包括指示电子设备500当前正在尝试连接到电子设备1204的可选标签1222。在一些实施方案中,虚拟触摸板区域1227保持不响应于用户输入。在一些实施方案中,远程控制用户界面1220包括具有可选选项的控制选项区域1228。然而,在一些实施方案中,可选选项保持为不可选择的,并且可选选项上的用户输入不会在电子设备1204上引起任何相应动作。在一些实施方案中,可选选项变灰、散列化或以其他方式在视觉上区分开以指示未启用这些选项。在一些实施方案中,当与电子设备1204的连接成功时,更新远程控制用户界面1220以启用远程控制用户界面1220的所有特征。在一些实施方案中,更新的远程控制用户界面类似于上文相对于图12D或图12M所述的远程控制用户界面并且/或者共享其特征。
图12CC示出了当电子设备500与电子设备1204连接失败时的远程控制用户界面1220。在一些实施方案中,连接失败是因为电子设备1204在连接序列期间已断开或者是因为电子设备1204和电子设备500不再在同一Wi-Fi网络上。在一些实施方案中,远程控制用户界面1220显示视觉消息1248以通知用户电子设备500与电子设备1204连接失败并且检查电子设备1204是否打开并连接到与电子设备500同一Wi-Fi网络。在一些实施方案中,即使电子设备500与电子设备1204连接失败,远程控制用户界面1220也包括指示电子设备500正在尝试连接到电子设备1204(并且当前仍然可能正在尝试连接到电子设备1204)的可选标签1222。在一些实施方案中,虚拟触摸板区域1227保持不响应于用户输入。在一些实施方案中,远程控制用户界面1220包括具有可选选项的控制选项区域1228。然而,在一些实施方案中,可选选项保持为不可选择的,并且可选选项上的用户输入不会在电子设备1204上引起任何相应动作。在一些实施方案中,可选选项变灰、散列化或以其他方式在视觉上区分开以指示未启用这些选项。
在一些实施方案中,在显示视觉消息1248时,电子设备500继续尝试连接到电子设备1204。在一些实施方案中,如果满足连接标准(例如,电子设备1204通电并且连接到同一Wi-Fi网络),并且电子设备500开始与电子设备1204连接,则远程控制用户界面1220用电子设备500当前正在连接到设备的视觉指示符1246(其类似于图12BB所述的视觉指示符)的显示替换视觉消息1248的显示。
图12DD示出了当电子设备500当前未启用Wi-Fi并且/或者未连接到Wi-Fi网络时的远程控制用户界面1220。在一些实施方案中,除非电子设备500和电子设备1204在同一Wi-Fi网络上,否则与电子设备1204的连接是不可能的。在一些实施方案中,远程控制用户界面1220显示视觉消息1249以通知用户在电子设备500上启用Wi-Fi。在一些实施方案中,远程控制用户界面1220包括Wi-Fi按钮1247,对该Wi-Fi按钮的选择使得Wi-Fi在电子设备500上被启用。在一些实施方案中,即使电子设备500尚未连接到电子设备1204,远程控制用户界面1220也包括指示电子设备500打算连接到电子设备1204的可选标签1222。在一些实施方案中,虚拟触摸板区域1220保持不响应于用户输入。在一些实施方案中,远程控制用户界面1220包括具有可选选项的控制选项区域1228。然而,在一些实施方案中,可选选项保持为不可选择的,并且可选选项上的用户输入不会在电子设备1204上引起任何相应动作。在一些实施方案中,可选选项变灰、散列化或以其他方式在视觉上区分开以指示未启用这些选项。在一些实施方案中,一旦用户启用Wi-Fi(或系统以其他方式启用Wi-Fi,诸如通过选择Wi-Fi按钮1247),电子设备500就恢复尝试与电子设备1204连接。在一些实施方案中,如果满足连接标准(例如,电子设备1204通电并且连接到同一Wi-Fi网络),并且电子设备500开始与电子设备1204连接,则远程控制用户界面用电子设备500当前正在连接到电子设备1204的视觉指示符1246(其类似于图12BB所述的视觉指示符)的显示替换视觉消息1249的显示。
图12EE至图12FF示出了在电子设备501上显示远程控制用户界面的方法。在一些实施方案中,电子设备501是与电子设备500不同类型的电子设备。在一些实施方案中,电子设备501是平板设备,而电子设备500是智能电话。在一些实施方案中,电子设备501与大显示器通信。在一些实施方案中,电子设备501包括电子设备500的所有功能和特征。图12EE示出了类似于图12A所述的控制用户界面1200的控制用户界面的显示。在一些实施方案中,当电子设备501具有较大显示器时,控制用户界面1200仅位于显示器的一部分上。例如,如图12EE所示,控制用户界面1200位于显示器的右侧。在一些实施方案中,即使控制用户界面1200位于显示器的右侧,电子设备501也可显示在显示器上中心对准(例如,在显示器的水平中心)的应用程序解除指示符1202。因此,在一些实施方案中,可经由应用程序解除指示符1202上的向上轻扫输入解除控制用户界面1200。在一些实施方案中,控制用户界面1200包括远程控制可选选项1210h。
在一些实施方案中,如图12EE所示,电子设备501接收选择远程控制可选选项1210h的用户输入1203。在一些实施方案中,响应于选择远程控制可选选项1210h的用户输入1203,电子设备501显示远程控制用户界面1220。在一些实施方案中,远程控制用户界面1220类似于相对于图12C的远程控制用户界面。在一些实施方案中,远程控制用户界面1220被显示在与控制用户界面1200相同的位置中(例如,与显示器的右侧对准)。在一些实施方案中,远程控制用户界面1220包括虚拟触摸板区域1227和具有可选选项的控制选项区域1228。在一些实施方案中,远程控制用户界面1220包括指示设备1204正由远程控制用户界面1220控制的可选标签1222。在一些实施方案中,远程控制用户界面1220的初始显示可包括使用提示1230的显示。在一些实施方案中,使用提示1230可类似于上文相对于图12D和图12M所述的使用提示,并且可基于正被控制的设备的类型而有所不同。在一些实施方案中,即使远程控制用户界面1220位于显示器的右侧,电子设备501也可显示在显示器上中心对准(例如,在显示器的水平中心)的应用程序解除指示符1202。因此,在一些实施方案中,可经由应用程序解除指示符1202上的向上轻扫输入解除远程控制用户界面1220。
图13A至图13H是示出呈现用于控制电子设备的用户界面的方法1300的流程图,该用户界面基于正由该用户界面控制的电子设备的类型来自动重新配置为支持不同的用户输入并发出不同的命令。方法1300任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5J所述。方法1300中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1300提供了呈现用于控制电子设备的用户界面的方式,该用户界面基于正由该用户界面控制的电子设备的类型来自动重新配置为支持不同的用户输入并发出不同的命令。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触摸屏(例如,包括在第一电子设备中或与第一电子设备通信的触摸屏,诸如触摸屏112)通信的第一电子设备(例如,电子设备、智能电话、平板电脑、可穿戴设备等,诸如设备100、设备300、设备500、设备501或设备591)在触摸屏上显示用于控制第二电子设备(例如,机顶盒、智能电视等,诸如设备580)的远程控制用户界面(例如,模拟远程控制设备诸如遥控器590的用户界面)(1302)(诸如在图13C中),其中该远程控制用户界面包括虚拟触摸板区域(例如,远程控制用户界面上模拟物理触摸板的区域)(1304),诸如在图12C中。
在一些实施方案中,用户任选地在虚拟触摸板区域上执行触摸交互诸如轻扫和/或轻击,以在第二电子设备上引起相应响应。例如,虚拟触摸板上的轻扫任选地被解释为导航输入,并且相应的导航信号任选地被发送到第二电子设备(例如,向上轻扫任选地被解释为向上导航等)。在一些实施方案中,虚拟触摸板上在虚拟触摸板的子区域中的轻击任选地被解释为导航输入,并且相应的导航信号任选地被发送到第二电子设备(例如,虚拟触摸板区域的顶部、左侧、右侧或底部区域处的轻击任选地分别被解释为向上、向左、向右或向下导航,并且中心区域处的轻击任选地被解释为选择输入)。
在一些实施方案中,在显示远程控制用户界面时,第一电子设备经由触摸屏接收虚拟触摸板区域中的触摸输入(例如,虚拟触摸板区域中的轻击、轻扫或其他手势)(1306)。
在一些实施方案中,响应于接收到虚拟触摸板区域中的触摸输入(1308),诸如在图12E中:根据确定第二电子设备是第一类型的设备(例如,能够接收来自在虚拟触摸板区域中检测到的输入的手势输入诸如轻扫的第一类型的机顶盒或电视),第一电子设备执行与第一类型的设备对应的第一组动作中的第一相应动作(1310),诸如图12F所示。例如,第一组动作任选地是由第一类型的机顶盒或电视支持的任何一组动作。例如,第一类型的机顶盒任选地支持在虚拟触摸板中心的轻击作为选择输入(例如,点击),在特定子区域中的轻击作为导航输入,以及定向轻扫作为导航输入或音量控制输入。在一些实施方案中,执行第一相应动作包括向第二电子设备传输命令以执行(或以其他方式使得第二电子设备执行)该相应动作(例如,经由WiFi、WiFi Direct、蓝牙、NFC、红外、RF或任何其他无线通信协议)。
在一些实施方案中,根据确定第二电子设备是与第一类型的设备不同的第二类型的设备(例如,能够接收来自在虚拟触摸板区域中检测到的输入的离散输入诸如轻击的第二类型的机顶盒或电视),第一电子设备执行与第二类型的设备对应的第二组动作中的第二相应动作,该第二组动作与第一组动作不同(1312),诸如图12N所示。
在一些实施方案中,第二类型的机顶盒或电视与手势输入诸如轻扫不兼容。在一些实施方案中,第二类型的机顶盒或电视是智能电视。在一些实施方案中,第二类型的机顶盒或电视支持移动设备流式传输协议,该移动设备流式传输协议允许第一电子设备将内容流式传输到第二类型的机顶盒或电视。在一些实施方案中,将内容从第一电子设备流式传输到第二电子设备使得第一电子设备进入流式传输模式,诸如图6A至图7J所述的流式传输模式。
例如,第二组动作任选地是由第二类型的机顶盒或电视支持的任何一组动作。在一些实施方案中,第二组动作包括第一组动作中包括的动作,并且/或者包括第一组动作中不包括的动作。在一些实施方案中,第二组动作比第一组动作包括更多或更少的动作。在一些实施方案中,第一组动作包括第二组动作中包括的动作,并且/或者包括第二组动作中不包括的动作。例如,智能电视任选地支持在虚拟触摸板中心的轻击作为选择输入(例如,点击),以及在特定子区域中的轻击作为导航输入。在一些实施方案中,第二类型的机顶盒或电视不支持手势输入(例如,定向轻扫输入)。在一些实施方案中,定向轻扫被解释为与导航输入不同的输入。在一些实施方案中,第二类型的机顶盒支持更多或更少的动作。在一些实施方案中,执行第二相应动作包括向第二电子设备传输命令以执行(或以其他方式使得第二电子设备执行)该相应动作(例如,经由WiFi、WiFi Direct、蓝牙、NFC、红外、RF或任何其他无线通信协议)。
使用第一电子设备(例如,通过显示虚拟触摸板区域,接收虚拟触摸板区域上的用户输入,以及根据正被控制的设备的类型来执行相应动作)控制第二电子设备的上述方式允许第一电子设备向用户提供有效地控制不同类型的电子设备的能力(例如,使用第一电子设备上支持控制不同类型的第二电子设备的单个用户界面,而无需用户导航到用于控制不同类型的第二电子设备的单独用户界面,并且无需用户使用专用电子设备(例如,物理遥控器)来控制第二电子设备),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供通过其控制不同类型的第二电子设备的单个用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。控制第二电子设备的上述方式还减少了与向第二电子设备提供输入相关的错误,因为第一电子设备根据第二电子设备的设备类型自动解释其在虚拟触摸板区域中检测到的输入,从而检测仅兼容命令并将其传输到第二电子设备。
在一些实施方案中,与第一类型的设备对应的第一组动作包括手势输入动作(1314),诸如在图12D中(例如,虚拟触摸板区域中的轻扫或其他手势)。例如,虚拟触摸板上的轻扫任选地被解释为导航输入,并且相应的导航信号任选地被发送到第二电子设备(例如,向上轻扫任选地被解释为向上导航等)。在一些实施方案中,到第二设备的手势输入与连续移动度量而不是离散移动度量相关联,使得输入能够具有连续值而不是离散值(例如,向右轻扫1cm与向右移动度量(如向右轻扫2cm)的一半相关联)。
在一些实施方案中,与第二类型的设备(例如,能够接收来自在虚拟触摸板区域中检测到的输入的离散输入诸如轻击的第二类型的机顶盒或电视)对应的第二组动作不包括手势输入动作(1316),诸如在图12M中。在一些实施方案中,第二类型的机顶盒或电视不支持手势输入(例如,定向轻扫输入)。在一些实施方案中,手势输入被解释为离散输入(例如,在手势的初始位置处或在手势的最终位置处的轻击输入)。
包括或不包括手势输入动作(例如,基于第二电子设备是第一类型还是第二类型)的上述方式允许第一电子设备仅向第二电子设备发送支持或兼容的命令(例如,通过使用解释用户输入的单个用户界面,将输入转换成与正被控制的设备兼容的动作,以及将相应动作传输到第二电子设备,而无需用户导航到用于控制不同类型的第二电子设备的单独用户界面,并且无需用户使用专用电子设备(例如,物理遥控器)来控制第二电子设备),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供自动调整以与第二电子设备兼容的单个用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,显示远程控制用户界面包括在虚拟触摸板区域中显示使用提示,这些使用提示指示能够从该虚拟触摸板区域执行的一组相应动作(1318),诸如在图12D中。例如,使用提示任选地是表示支持的功能的文本标签、图标或符号。例如,任选地显示文本标签以向用户指示支持轻扫手势以执行导航功能。在一些实施方案中,显示三角形、箭头或插入符号以向用户指示支持虚拟触摸板区域的子区域中的轻击输入以执行导航功能。在一些实施方案中,显示矩形图标以向用户指示支持虚拟触摸板区域中心的轻击输入以执行点击或选择功能。在一些实施方案中,当首次显示远程控制用户界面时,显示使用提示。在一些实施方案中,在首次显示远程控制用户界面之后显示使用提示阈值延迟量(例如,诸如1秒、1.5秒、2秒等)。
提供使用提示(例如,在虚拟触摸板区域中显示表示支持的功能和输入的使用提示)的上述方式允许第一电子设备向用户指示由远程控制用户界面的虚拟触摸板区域支持的功能和动作(例如,通过在虚拟触摸板区域内显示选择支持的动作),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供对支持的功能和输入的易于理解且直观的显示,而无需用户导航到另一个用户界面以发现如何操作远程控制用户界面或者虚拟触摸板区域支持哪些功能和输入),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第二电子设备是第一类型的设备,使用提示对应于第一组动作(1320),诸如在图12D中。在一些实施方案中,所显示的使用提示基于能够由虚拟触摸板区域支持和执行的动作。例如,第一类型的机顶盒或电视支持在特定子区域中的轻击和定向轻扫作为导航输入。在这种示例中,所显示的使用提示包括用户可“轻扫以导航”的文本标签以及指示用户可在虚拟触摸板区域的相应子区域中轻击以执行导航输入的方向箭头或插入符号。
在一些实施方案中,根据确定第二电子设备是第二类型的设备,使用提示对应于第二组动作(1322),诸如在图12M中。在一些实施方案中,第二类型的机顶盒或电视支持在特定子区域中的轻击而不是定向轻扫作为导航输入。在这种示例中,所显示的使用提示包括方向箭头或插入符号以指示用户可在虚拟触摸板区域的相应子区域中轻击以执行导航输入,但不包括用户可“轻扫以导航”的文本标签。在一些实施方案中,矩形图标被示出为在虚拟触摸板区域中心以向用户指示虚拟触摸板区域中心中的轻击输入可执行点击或选择输入。
提供使用提示(例如,在虚拟触摸板区域中显示表示分别与第一类型的设备和第二类型的设备兼容的功能和输入的使用提示)的上述方式允许第一电子设备向用户指示虚拟触摸板区域上由正被控制的电子设备支持的功能和动作(例如,通过显示与由第二电子设备的相应类型的设备支持的一组相应动作对应的使用提示),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供对支持的功能和输入的易于理解且直观的显示,而无需用户导航到另一个用户界面以发现如何操作远程控制用户界面或者虚拟触摸板区域上支持由正被控制的电子设备支持的哪些功能和输入),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,在虚拟触摸板区域中显示使用提示包括当首次显示远程控制用户界面时显示阈值时间量的使用提示(1324),诸如在图12D中。在一些实施方案中,使用提示在虚拟触摸板区域中显示1秒、3秒、5秒。在一些实施方案中,在阈值量的时间之后,使用提示消失或以其他方式停止显示。
显示使用提示(例如,仅显示阈值时间量的使用提示)的上述方式允许第一电子设备向用户指示虚拟触摸板区域上由正被控制的电子设备支持的功能和动作,而不会分散或以其他方式干扰用户与远程控制用户界面的交互,同时降低处理和显示使用提示的功率消耗(以及延长电池供电设备的电池寿命)(例如,通过显示阈值时间量的使用提示,然后停止显示使用提示),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供对支持的功能和输入的易于理解且直观的显示,然后停止对提示的显示,使得用户可与远程控制用户界面进行交互,而不会出现引起与用户交互的界面的提示),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,在虚拟触摸板区域中显示使用提示包括显示使用提示,直到第一电子设备在该虚拟触摸板区域中接收到初始触摸输入(1326),诸如在图12D中。在一些实施方案中,使用提示被显示在虚拟触摸板区域中,直到设备在该虚拟触摸板区域中检测到或以其他方式接收到触摸输入。例如,使用提示无限期地显示,直到用户执行轻击输入或手势。
显示使用提示(例如,显示使用提示直到接收到用户输入)的上述方式允许第一电子设备向用户指示虚拟触摸板区域上由正被控制的电子设备支持的功能和动作,而不会分散或以其他方式干扰用户与远程控制用户界面的交互,并且确保用户已经看到了使用提示(例如,通过显示使用提示,直到用户与用户界面进行交互,从而指示用户知道如何与该用户界面进行交互),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供对支持的功能和输入的易于理解且直观的显示,然后停止对提示的显示,使得用户可与远程控制用户界面进行交互,而不会出现引起与用户交互的界面的提示),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,在虚拟触摸板区域中显示使用提示包括针对第一电子设备的每个远程控制使用会话显示一次使用提示(1328),诸如在图12D中。在一些实施方案中,远程控制使用会话是用户正在使用远程控制用户界面控制或预期使用远程控制用户界面控制第二电子设备的时间段。例如,远程控制使用会话任选地在用户请求显示远程控制用户界面时开始,并且在未接收到任何另外的用户输入的阈值时间段之后自动结束。在一些实施方案中,远程控制使用会话在第二电子设备上显示的内容项完成回放之后结束。在一些实施方案中,远程控制使用会话在第二电子设备断电之后结束。在一些实施方案中,如果用户解除或以其他方式关闭远程控制用户界面,但重新请求在同一会话内显示远程控制用户界面,则任选地不显示使用提示。在一些实施方案中,如果用户在远程控制使用会话结束之后解除或以其他方式关闭远程控制用户界面并且重新请求显示远程控制用户界面,则任选地重新显示使用提示。
显示使用提示(例如,每个会话显示一次使用提示)的上述方式允许第一电子设备向用户指示虚拟触摸板区域上由正被控制的电子设备支持的功能和动作,而不会分散或以其他方式干扰用户与远程控制用户界面的交互(例如,通过每个会话显示一次使用提示,使得用户仅在用户第一次开始远程控制会话时被提示或者直到支持的功能改变才被提示),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供对支持的功能和输入的易于理解且直观的显示,并且在同一使用会话期间不显示提示,使得用户可与远程控制用户界面进行交互,而不会出现引起与用户交互的界面的提示),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,在虚拟触摸板区域中显示使用提示包括仅在第一电子设备第一次显示远程控制用户界面时显示使用提示(1330),诸如在图12D中。在一些实施方案中,仅在设备上第一次显示远程控制用户界面时才在虚拟触摸板区域中显示使用提示。在一些实施方案中,在显示一次提示之后,将不在设备上进一步显示使用提示。在一些实施方案中,重置远程控制用户界面或重置设备任选地允许重新显示使用提示。在一些实施方案中,设置标记或设置以指示已显示使用提示。
显示使用提示(例如,仅在第一电子设备上显示一次使用提示)的上述方式允许第一电子设备向用户指示虚拟触摸板区域上由正被控制的电子设备支持的功能和动作,而不会分散或以其他方式干扰用户与远程控制用户界面的交互,同时降低处理和显示使用提示所需的功率消耗(以及延长电池供电设备的电池寿命)(例如,仅在第一电子设备上显示一次使用提示),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供对支持的功能和输入的易于理解且直观的显示,并且不再次现身提示,使得用户可与远程控制用户界面进行交互,而不会出现引起与用户交互的界面的提示),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,远程控制用户界面还包括用于选择要使用该远程控制用户界面来控制的电子设备的设备选择元素(1332),诸如在图12J中(例如,下拉菜单项,其在未扩展时显示当前正由远程控制用户界面控制的设备)。
在一些实施方案中,响应于接收到选择设备选择元素的用户输入,第一电子设备在远程控制用户界面中显示能够使用该远程控制用户界面来控制的一个或多个设备的列表,该一个或多个设备包括第二电子设备(1334),诸如在图12K中。在一些实施方案中,下拉菜单响应于用户输入而扩展。在一些实施方案中,扩展的下拉菜单显示一个或多个设备的列表。在一些实施方案中,该列表包括已被确定为能够由远程控制用户界面控制的所有电子设备。在一些实施方案中,如果设备满足一个或多个标准诸如通电、在与第一电子设备相同的WiFi网络上以及支持第一电子设备所使用的远程控制通信协议,则该设备是可控制的。在一些实施方案中,下拉菜单仅显示可用电子设备的子集。在一些实施方案中,下拉菜单是可滚动来查看所有可用电子设备的。在一些实施方案中,当前所选择的设备包括在具有指示该当前所选择的设备是当前所选择的指示符(例如,具有复选标记或其他视觉指示符)的设备列表中。在一些实施方案中,设备列表包括指示与该列表中的相应设备相关联的设备类型的表示或图标。
提供可控设备列表(例如,显示一个或多个设备的列表)的上述方式允许第一电子设备向用户提供对使用远程控制用户界面来控制的多个设备的选择(例如,通过响应于请求要控制的设备的列表的用户输入而显示可控制的一个或多个设备的列表),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供可使用一个用户界面控制的设备列表,而无需用户导航到不同用户界面以控制不同设备,并且通过自动确定可控制的设备,而无需用户猜测和检查哪些设备与远程控制兼容),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备同时减少或消除用户错误并减少功率消耗而减少了电力使用并且延长了第一电子设备和二电子设备的电池寿命。
在一些实施方案中,在接收到虚拟触摸板区域中的触摸输入之前并且在显示要控制的该一个或多个设备的列表时,第一电子设备接收选择该列表中的第二电子设备的用户输入(1336),诸如在图12C中(例如,接收选择下拉菜单中的设备中的一个设备的轻击输入)。
在一些实施方案中,响应于接收到选择该列表中的第二电子设备的用户输入,第一电子设备将远程控制用户界面配置为控制第二电子设备(1338),诸如在图12D中。在一些实施方案中,用户从下拉菜单中选择的设备成为由远程控制用户界面控制的设备。在一些实施方案中,基于所选择的设备的设备类型来更新远程控制用户界面。
选择要控制的设备(例如,显示设备列表,接收从该列表中选择设备的用户输入,以及将远程控制用户界面配置为控制所选择的设备)的上述方式允许第一电子设备向用户提供使用远程控制用户界面来控制的设备的选项(例如,通过接收从设备列表中选择设备的用户输入,并将远程控制用户界面配置为控制所选择的设备),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过使用单一远程控制用户界面来控制包括不同类型的产品的多个不同设备,而无需用户导航到用于每个不同可控设备的不同用户界面),这还通过使得用户能够更快速且有效地使用第一电子和第二电子设备而减少了电力使用并且延长了第一电子和第二电子设备的电池寿命。
在一些实施方案中,显示一个或多个设备的列表包括减小远程控制用户界面中的虚拟触摸板区域的尺寸,以在该远程控制用户界面中创建显示一个或多个设备的列表的显示区域(1340),诸如在图12C中。在一些实施方案中,下拉菜单替换由虚拟触摸板区域占据的区域中的一些区域。在一些实施方案中,下拉菜单覆盖在虚拟触摸板区域上方,从而有效地减小虚拟触摸板区域的活动区域。在一些实施方案中,减小虚拟触摸板元素的尺寸以为下拉菜单腾出空间。在一些实施方案中,基于列表中设备的数量来调整一个或多个设备的列表的显示区域的尺寸。在一些实施方案中,同时显示最大数量的设备,并且超过这些设备的最大数量的任何设备均未被示出并且任选地响应于用户滚动通过列表而显示。
在一些实施方案中,当一个或多个设备的列表显示在远程控制用户界面中时,虚拟触摸板区域继续响应于触摸输入而执行第一组动作或第二组动作(1342),诸如在图12C中。在一些实施方案中,缩小尺寸的虚拟触摸板区域上的用户输入使得根据用户输入以与非缩小尺寸的虚拟触摸板区域相同的方式继续执行动作(例如,第一组动作或第二组动作)。
在允许用户选择要控制的设备时保留虚拟触摸板区域(例如,显示设备列表,同时减小虚拟触摸板区域的尺寸以为该设备列表腾出空间)的上述方式允许第一电子设备向用户提供选择要控制的设备或查看哪些设备可用于控制的能力,同时允许用户继续远程控制当前所选择的设备(例如,通过显示可控制的设备的列表,同时保持仍然响应于触摸输入的虚拟触摸板区域),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过使用单一远程控制用户界面来既显示可控制的设备的列表,又显示响应于触摸输入的虚拟触摸板区域,因此允许用户在不同的受控设备之间快速切换并向不同设备快速发送命令,而无需导航离开一个或多个设备的列表以提供触摸输入),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,减小虚拟触摸板区域的尺寸包括将该虚拟触摸板区域的尺寸减小至不小于预先确定的尺寸(1344)(例如,不小于该虚拟触摸板区域的原始尺寸的预先确定的比率(例如,不小于原始尺寸的1/2、1/3或3/4)),诸如在图12L中。在一些实施方案中,如果设备列表包括多于预先确定数量的设备使得虚拟触摸板区域被减小至其最小尺寸,则下拉菜单变为可滚动列表,并且“溢出”下拉菜单的任何设备被显示为好像在虚拟触摸板区域后面。在一些实施方案中,预先确定的尺寸是虚拟触摸板区域的原始尺寸的百分比或比率、总体屏幕尺寸的百分比或比率或虚拟触摸板区域的最小绝对尺寸。
保持虚拟触摸板区域的最小尺寸同时允许用户选择要控制的设备(例如,通过将虚拟触摸板区域的尺寸减小至不小于特定尺寸或比率)的上述方式允许第一电子设备保留虚拟触摸板区域的功能,同时向用户提供选择要控制的设备或查看哪些设备可用于控制的能力(例如,通过不将虚拟触摸板区域的尺寸减小至小于特定尺寸),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过不允许尺寸被减小超过预先确定的量来保持虚拟触摸板区域的完全可操作性和功能,同时向用户提供从其选择要控制的设备的功能列表),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,远程控制用户界面还包括用于控制第二电子设备的一个或多个示能表示(1346)(例如,菜单按钮、用于暂停或恢复在第二电子设备上显示的内容的播放/暂停按钮、语音输入按钮、搜索按钮、用于在第二电子设备上显示信息的信息按钮等),诸如在图12C中。在一些实施方案中,菜单按钮使得在电子设备上显示菜单。在一些实施方案中,菜单按钮使得显示先前显示的用户界面或先前菜单选项(例如,执行“返回”功能)。
进一步提供用于控制第二电子设备的选项(例如,通过进一步包括用于控制第二电子设备的示能表示)的上述方式允许第一电子设备向用户提供传统上不与触摸板界面相关联的功能(例如,通过包括执行触摸板界面不容易实现的不同动作和功能的按钮),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过提供控制第二电子设备的另外的功能,而无需用户使用触摸板来导航到第二电子设备上的单独界面以执行期望的功能),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第二电子设备是第一类型的设备,该一个或多个示能表示是用于执行第一组功能的第一组示能表示(1348)(例如,菜单按钮、用于暂停或恢复在第二电子设备上显示的内容的播放/暂停按钮、语音输入按钮、搜索按钮等),诸如在图12C中。在一些实施方案中,菜单按钮使得在电子设备上显示菜单。在一些实施方案中,菜单按钮使得显示先前显示的用户界面或先前菜单选项(例如,执行“返回”功能)。
在一些实施方案中,根据确定第二电子设备是第二类型的设备,该一个或多个示能表示是用于执行与第一组功能不同的第二组功能的第二组示能表示(1350)(例如,用于显示先前显示的屏幕、内容项或菜单的返回按钮、用于暂停或恢复在第二电子设备上显示的内容的播放/暂停按钮、用于在第二电子设备上显示信息的信息按钮等),诸如在图12M中。
进一步提供用于控制第二电子设备的选项(例如,通过进一步包括特定于控制第二电子设备的示能表示)的上述方式允许第一电子设备向用户提供特定于正被控制的电子设备的功能(例如,通过包括执行与正被控制的设备的类型兼容的动作的按钮),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过自动地仅提供对于正被控制的设备是兼容的和可接受的功能而不向用户提供不支持的功能,而无需用户导航到另一个用户界面以发现如何操作远程控制用户界面或正被控制的电子设备支持哪些功能),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,第一组示能表示包括用于在第二电子设备上发起搜索的搜索示能表示(1352),诸如在图12C中。在一些实施方案中,第一类型的设备支持搜索特征,并且对搜索按钮的选择在第二电子设备上发起搜索。在一些实施方案中,第一类型的设备是与显示器(例如,外部显示器或集成显示器)通信的机顶盒。在一些实施方案中,在机顶盒上发起搜索将该机顶盒导航到搜索用户界面。在一些实施方案中,对搜索示能表示的选择中断了在机顶盒上执行的任何过程(例如,浏览、内容回放等)并导航到搜索用户界面。在一些实施方案中,搜索用户界面允许用户搜索位于机顶盒上的内容。在一些实施方案中,搜索用户界面允许用户搜索可经由安装在机顶盒上的应用程序访问的内容。在一些实施方案中,搜索用户界面是统一媒体浏览应用程序的界面,并且选择搜索示能表示使该统一媒体浏览应用程序启动并在该统一媒体浏览应用程序上显示搜索用户界面。在一些实施方案中,统一媒体浏览应用程序提供用于浏览、搜索、查看或以其他方式访问第二电子设备上的内容的集中位置。统一媒体浏览应用程序任选地从多个内容提供商和/或应用程序接收内容查看信息,以查看来自安装在第二电子设备上的那些内容提供商(例如,已启用与统一媒体浏览应用程序共享内容查看信息的内容提供商,该统一媒体浏览应用程序诸如单独的CBS应用程序、单独的Fox应用程序、单独的ESPN应用程序等)的内容。在一些实施方案中,共享的内容查看信息包括可从相应内容提供商获得的内容目录(例如,包括在用户的订阅中,或能够被购买或租用),用户先前已观看的内容(例如,用户观看历史),用户当前正在观看的内容(例如,用户已开始观看并暂停或当前正在电子设备或另一设备上观看的内容),以及用户的观看偏好数据(例如,用户选择的内容评级,或由用户的观看模式确定的偏好)。在一些实施方案中,统一媒体浏览应用程序聚合所有共享信息来向用户提供更好和更有凝聚力的界面和数据集。在一些实施方案中,统一媒体浏览应用程序允许用户经由内容提供商(例如,CBS、Fox、HBO等或任何其他内容提供商)、经由统一媒体浏览应用程序自己的服务(例如,由Cupertino,California的Apple,Inc.维护的iTunes Store)或经由用户自己的帐户(例如,先前购买的、当前租用的或以其他方式拥有的内容,其可从服务器访问或本地存储在电子设备上)浏览或搜索在电子设备上可用的内容。
在一些实施方案中,第二组示能表示不包括搜索示能表示(1354),诸如在图12M中。在一些实施方案中,第二类型的设备不支持搜索特征。在一些实施方案中,第二类型的设备是电视或智能电视。例如,电视可不包括用于搜索内容的机制。在此类示例中,该组示能表示不包括搜索按钮,因为第二类型的设备不支持该功能。
提供用于在支持的设备上执行搜索的搜索选项(例如,通过包括针对第一类型的设备的搜索示能表示并且不包括针对第二类型的设备的搜索示能表示)的上述方式允许第一电子设备向用户提供利用触摸板界面难以访问的搜索功能,但是在受控设备不支持该功能的情况下不提供该功能(例如,通过包括用于仅在第二电子设备支持该功能的情况下才在第二电子设备上发起搜索的搜索按钮),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过提供搜索功能,而无需用户使用触摸板导航到第二电子设备上的单独界面以执行搜索),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,响应于接收到选择用于控制第二电子设备的该一个或多个示能表示中的一个示能表示的触摸输入,第一电子设备提供触觉反馈(例如,向用户提供振动反馈机制作为用户已选择按钮中的一个按钮的指示符)(1356),诸如在图12B中。在一些实施方案中,针对触摸输入的触摸按下和/或抬离提供反馈。在一些实施方案中,针对触摸按下提供的反馈与针对抬离提供的反馈(在频率、强度等方面)不同。在一些实施方案中,其他反馈机构诸如听觉或视觉反馈是可能的。例如,任选地提供可听音调作为反馈。在一些实施方案中,视觉反馈可由所选择按钮任选地移动、弹出、反弹、扩展、收缩或以其他方式改变组成。在一些实施方案中,视觉反馈包括瞬时扩展并随后改变所选择按钮的颜色的视觉效果。在一些实施方案中,所选择按钮的瞬时扩展任选地基于输入的力而扩展(例如,当用户向按钮提供更大的力时,按钮变大)。在一些实施方案中,如果可选按钮与可切换功能或动作相关联,则所选择按钮的颜色保持不变。
对用户的触摸输入提供触觉反馈(例如,通过响应于接收到选择按钮中的一个按钮的触摸输入而提供触觉反馈)的上述方式允许第一电子设备向用户提供用户正在正确选择按钮的反馈(例如,通过在按钮上检测到输入时提供触觉反馈),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过允许用户在观看第二电子设备上的内容时与远程控制用户界面进行交互而无需查看该远程控制用户界面,并且提供用户实际上正在选择按钮而不是在错误位置处提供输入的反馈),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,响应于显示用于控制第二电子设备的远程控制用户界面的请求而显示该远程控制用户界面(1358),诸如在图12B中。在一些实施方案中,可经由多种不同的方法访问远程控制用户界面,诸如经由执行远程应用程序或选择远程控制元素。
启动远程控制用户界面(例如,响应于显示远程控制用户界面的请求)的上述方式允许第一电子设备在用户请求时显示远程控制用户界面(例如,通过响应于来自用户的请求而显示界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供请求和启动远程控制用户界面的多种方法),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,显示远程控制用户界面的请求包括选择控制用户界面上用于控制第一电子设备的多个功能的远程控制示能表示的用户输入(1360),诸如在图12B中。例如,控制用户界面任选地包括用于控制第一电子设备的一个或多个设置的一个或多个控制元素。例如,控制用户界面包括音量控件、亮度控件和一个或多个网络连接控件(例如,Wi-Fi、蜂窝数据和蓝牙)。在一些实施方案中,控制用户界面包括当被选择时使得第一电子设备启动或以其他方式显示远程控制用户界面(例如,启动远程控制应用程序)的可选选项。在一些实施方案中,控制用户界面具有相对于图8B所述的控制用户界面的特征。
启动远程控制用户界面(例如,响应于选择控制用户界面上的按钮的用户输入)的上述方式允许第一电子设备向用户提供访问远程控制用户界面的简易方法(例如,通过在控制用户界面上提供按钮,在该按钮被选择时显示远程控制用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供启动远程控制用户界面的简易方法,而无需用户导航到不同或特定用户界面以启动远程控制用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,显示远程控制用户界面的请求包括选择回放控制用户界面上用于控制第二电子设备的内容回放的远程控制示能表示的用户输入(1362),诸如在图12V中。在一些实施方案中,回放控制用户界面包括当被选择时使得第一电子设备修改或控制第二电子设备上的内容的回放方面的一个或多个可选选项。在一些实施方案中,回放控制元素包括可选选项,诸如播放/暂停、快进、后退、语言/字幕选项、音量控制等。在一些实施方案中,回放控制用户界面包括当被选择时使得第一电子设备启动或以其他方式显示远程控制用户界面(例如,启动远程控制应用程序)的可选选项。在一些实施方案中,响应于选择控制用户界面上的可选选项而显示回放控制用户界面。在一些实施方案中,回放控制用户界面具有相对于图8C所述的回放控制用户界面的特征。在一些实施方案中,响应于选择智能家居应用程序用户界面上的可选选项而显示回放控制用户界面。在一些实施方案中,智能家居应用程序用户界面具有相对于图8I所述的智能家居应用程序用户界面的特征。
启动远程控制用户界面(例如,响应于选择回放控制用户界面上的按钮的用户输入)的上述方式允许第一电子设备向用户提供访问远程控制用户界面的简易且直观的方法(例如,通过在回放控制用户界面上提供按钮,在该按钮被选择时显示远程控制用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供启动远程控制用户界面的简易方法,而无需用户导航到不同或特定用户界面以启动远程控制用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,显示远程控制用户界面的请求包括选择唤醒屏幕用户界面上的远程控制示能表示的用户输入(1364),诸如在图12W中。在一些实施方案中,当第一电子设备从显示器任选地关闭或不呈现用户界面的待机模式转变时,呈现唤醒屏幕用户界面。在一些实施方案中,唤醒屏幕包括在第一电子设备处接收到的通知、时钟或其他信息的表示。在一些实施方案中,唤醒屏幕用户界面是可见的,而无需输入用于认证和解锁第一电子设备的认证(例如,生物识别信息、口令、密码)。在一些实施方案中,唤醒屏幕用户界面包括与当前在第二电子设备上播放内容对应的回放控制元素。在一些实施方案中,回放控制元素包括可选择以显示远程控制用户界面的可选选项。在一些实施方案中,唤醒屏幕用户界面具有相对于图8A所述的唤醒屏幕用户界面的特征。
启动远程控制用户界面(例如,响应于选择唤醒屏幕用户界面上的按钮的用户输入)的上述方式允许第一电子设备向用户提供访问远程控制用户界面的简易且直观的方法(例如,通过在唤醒屏幕用户界面上提供按钮,在该按钮被选择时显示远程控制用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供启动远程控制用户界面的简易方法,而无需解锁或以其他方式认证第一电子设备并且无需用户导航到不同或特定用户界面以启动远程控制用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,显示远程控制用户界面的请求包括选择远程控制应用程序(例如,安装在第一电子设备上用于远程控制第二电子设备的应用程序)的用户输入(1366),诸如在图12Z中。在一些实施方案中,应用程序不是系统应用程序(例如,不显示系统用户界面)。在一些实施方案中,在启动远程控制应用程序之后显示的远程控制用户界面与响应于选择系统用户界面(例如,唤醒屏幕用户界面、回放控制用户界面、控制用户界面等)上的远程控制示能表示而显示的远程控制用户界面相同。
启动远程控制用户界面(例如,响应于执行远程控制应用程序的用户输入)的上述方式允许第一电子设备向用户提供访问远程控制用户界面的简易且直观的方法(例如,通过选择对远程控制用户界面的执行,在选择时显示远程控制用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供启动远程控制用户界面的简易方法,而无需用户导航到不同或特定用户界面以启动远程控制用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第一电子设备是第三类型的设备,远程控制用户界面在不与其他用户界面一起显示的情况下显示在触摸屏上(1368),诸如在图12C中。在一些实施方案中,第三类型的设备是智能电话或可穿戴设备,或与小于特定阈值尺寸的显示器通信的任何其他设备。在一些实施方案中,显示器的尺寸确定设备是第三类型的设备还是第四类型的设备。在一些实施方案中,以“全屏”模式显示远程控制用户界面,使得该远程控制用户界面占据显示器的大部分或基本上全部(例如,80%、90%、95%)。在一些实施方案中,远程控制用户界面是显示器上显示的唯一用户界面。
在一些实施方案中,根据确定第一电子设备是与第三类型的设备不同的第四类型的设备,远程控制用户界面与至少一个其他用户界面同时显示在触摸屏上(1370),诸如在图12FF中。在一些实施方案中,第四类型的设备是平板电脑、膝上型计算机或与大于特定阈值尺寸的显示器通信的任何其他设备。在一些实施方案中,不以“全屏”模式显示远程控制用户界面。在一些实施方案中,第四类型的设备的显示器的尺寸支持远程控制用户界面同其他用户界面一起显示,而不会使显示杂乱或无需减小所显示的任何用户界面的尺寸。在一些实施方案中,远程控制用户界面的尺寸与其在第三类型的设备上显示的尺寸相同。在一些实施方案中,远程控制用户界面显示在显示器的右侧。在一些实施方案中,远程控制用户界面显示在显示器的与控制用户界面将在第四类型的设备上显示的区域相同的区域中。例如,如果用户请求第四类型的设备上的控制用户界面,则该控制用户界面任选地显示在屏幕的右侧。当用户选择控制用户界面上的远程控制示能表示时,该控制用户界面任选地被远程控制用户界面替换。
显示远程控制用户界面(例如,在第三类型的设备上以全屏模式显示,并且在第四类型的设备上不以全屏模式显示)的上述方式允许第一电子设备向用户提供跨不同类型的设备的一致界面和体验(例如,通过确定设备的类型是否支持其他用户界面与远程控制用户界面同时显示而不干扰该远程控制用户界面的功能,并且不管在其上显示用户界面的设备的类型如何,都保持该远程控制用户界面的一致显示),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过不管在其上显示用户界面的设备的类型如何,都向用户提供一致的用户界面,并且自动确定如何显示远程控制用户界面,而无需用户导航到不同的用户界面来以与设备的类型兼容的方式显示远程控制用户界面),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
应当理解,对图13A至图13H中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100和1500)所述的其他过程的细节同样以类似的方式适用于上文结合图13A至图13H所述的方法1300。例如,上文参考方法1300所述的远程控制电子设备的指示任选地具有本文参考本文所述的其他方法(例如,方法700、900、1100和1500)所述的流式传输模式操作和回放控制选项的呈现等的特性中的一个或多个特性。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5J所述)或专用芯片。此外,上文参考图13A至图13H描述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1302、1318、1324、1326、1328、1330和1340以及接收操作1306、1308、1334、1336、1338和1356任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
上下文特定的远程控件
用户以许多不同方式与电子设备进行交互,包括使用电子设备来呈现内容,诸如音频内容或视频内容。在一些实施方案中,第一电子设备能够远程控制第二电子设备。下文所述的实施方案提供了第一电子设备呈现包括用于控制第二电子设备的可选选项的控制元素的方式。在一些实施方案中,控制元素是内容特定的,并且可基于由第二电子设备显示的内容向用户呈现不同的选项。增强与设备的交互降低了用户执行操作所需的时间量,从而降低了设备的用电量并延长了电池供电设备的电池寿命。应当理解,人们使用设备。当人使用设备时,这个人任选地被称为设备的用户。
图14A至图14Q示出了电子设备呈现用于控制另一个电子设备的可选选项的示例性方式。这些附图中的实施方案用于示出下文描述的过程,包括参考图15A至图15F所述的过程。
图14A示出了包括触摸屏504的示例性设备500。在一些实施方案中,电子设备500与其他电子设备诸如电子设备1404通信。在一些实施方案中,电子设备1404类似于和/或具有电子设备1204的特征。在一些实施方案中,电子设备500与包括多个显示设备(例如,智能电视)和/或多个扬声器的多个电子设备进行通信。在一些实施方案中,电子设备1404包括与显示器(例如,诸如设备580)通信的机顶盒。电子设备500与其他电子设备之间的通信链路允许电子设备500远程控制这些电子设备中的一个或多个电子设备,如本文将描述的。在一些实施方案中,除此之外或另选地,通信链路允许电子设备500将内容流式传输到相应的电子设备,如上文相对于图8A所述。为了便于描述,除非另有说明,否则下文的描述将通过假设电子设备500与电子设备1404通信来开始。
在一些实施方案中,电子设备500在触摸屏504上显示远程控制用户界面1420。在一些实施方案中,远程控制用户界面类似于远程控制用户界面1220并且/或者共享其特征。在一些实施方案中,远程控制用户界面1420包括虚拟触摸板区域1427和控制选项区域1428。在一些实施方案中,远程控制用户界面包括设备选择用户界面1421。
在一些实施方案中,虚拟触摸板区域1427是远程控制用户界面1420上的矩形区域,其中可接受触摸屏504上的用户输入以将用户输入发送到或传输到电子设备1404(例如,正由远程控制用户界面控制的电子设备)。在一些实施方案中,虚拟触摸板区域1427模拟物理远程控制设备(例如,遥控器590)或用于控制第二电子设备的其他类型的设备上的物理触摸板。例如,虚拟触摸板区域1427中的轻击输入可使得向电子设备1404传输轻击命令。在一些实施方案中,轻扫手势可使得向电子设备1404传输轻扫命令。在一些实施方案中,电子设备500解释用户输入,将该用户输入转换成命令(例如,导航命令、选择命令等),并且将所转换的命令传输到电子设备1404,而不是传输原始触摸输入数据(例如,轻击或轻扫)。例如,虚拟触摸板区域1427中的轻击输入任选地被电子设备500解释为选择输入,并且选择命令任选地被传输到电子设备1404。在一些实施方案中,虚拟触摸板区域1427支持多种不同类型的输入和手势。
在一些实施方案中,控制选项区域1428包括用于在电子设备1404上执行(或以其他方式导致)动作的一个或多个可选选项(例如,示能表示和/或虚拟按钮)。在一些实施方案中,由控制选项区域1428中的按钮执行的功能是更适于快捷方式按钮而不是虚拟触摸板(例如,菜单按钮、搜索按钮等)的功能。在一些实施方案中,由控制选项区域1428中的选项执行的功能是最常用的功能。在一些实施方案中,控制选项区域1428包括五个可选控制选项1429-1、1429-2、1429-3、1429-4和1429-5。在一些实施方案中,控制选项1429-1可选择以在电子设备1404上显示菜单,控制选项1429-2可选择以显示统一媒体浏览应用程序(例如,如果受控设备上存在统一媒体浏览应用程序),控制选项1429-3可选择以发起语音助理(类似于相对于图8N至图8O所述的语音助理),控制选项1429-4可选择以暂停或播放当前在电子设备1404上显示的内容的回放,并且控制选项1429-5可选择以在受控设备上引发搜索功能。在一些实施方案中,控制选项1429-1另选地使得显示先前显示的用户界面、先前显示的内容项或先前菜单选项(例如,执行“返回”功能)。在一些实施方案中,控制选项1429-1基于第二电子设备的上下文来执行“菜单”动作或“返回”功能。在一些实施方案中,控制选项区域1428中显示的可选选项模仿第二电子设备的物理远程控制设备(例如,遥控器590)上可用的物理按钮。
在图14B中,电子设备1404在内容项用户界面1407上显示内容项(例如,“内容项A”)。在一些实施方案中,当电子设备1404正在显示内容项时,虚拟触摸板区域1427显示与当在设备1404上播放“内容项A”类型的内容时能够在设备1404上执行的功能对应的一个或多个回放控件。在一些实施方案中,该一个或多个回放控件向用户提供用于控制正在电子设备1404上显示的内容项的回放的快捷方式。在一些实施方案中,回放控件是用于控制电子设备1404上的内容的回放的最常用的功能。在一些实施方案中,该一个或多个回放控件包括后退回放控件1430-1、快进回放控件1430-2和字幕回放控件1430-3。在一些实施方案中,当电子设备1404未显示内容项时,虚拟触摸板区域1427不显示该一个或多个回放控件,或者显示与上述那些控件不同的一组回放控件。在一些实施方案中,使得显示回放控件的内容项包括播放的节目和电影,或者播放的音乐或任何其他合适的音频、视频或视听(例如,多媒体)内容。
如图14C所示,电子设备500接收选择后退回放控件1430-1的用户输入1403。在一些实施方案中,响应于接收到后退回放控件1430-1上的用户输入1403,电子设备1404使得电子设备1404上的内容项的回放后退。在一些实施方案中,后退回放控件1430-1使得内容项后退15秒。在一些实施方案中,其他后退量诸如10秒或30秒等是可能的。在图14D中,电子设备500接收快进回放控件1430-2上的用户输入1403。在一些实施方案中,响应于接收到快进回放控件1430-2上的用户输入1403,电子设备1404使得电子设备1404上的内容项的回放快进。在一些实施方案中,快进回放控件1430-2使得内容项快进30秒。在一些实施方案中,其他快进量诸如10秒或15秒等也是可能的。在一些实施方案中,响应于接收到字幕回放控件1430-3上的用户输入而使得在电子设备500上显示语言和字幕菜单,类似于相对于图8G所述的语言和字幕菜单。
在图14E中,电子设备500接收在虚拟触摸板区域1427中的接触1403的初始触摸按下。在一些实施方案中,在继续与显示器504接触时,接触1403以向下轻扫运动向下移动,如图14F所示。在一些实施方案中,接触1403轻扫到字幕回放控件1430-3的位置中,然后抬离触摸屏504。在一些实施方案中,电子设备500将用户输入解释为向下轻扫手势,而不是致动字幕回放控件1430-3。换句话讲,当接触开始于回放控件的位置之外并随后进入该位置或经过回放控件的该位置时,轻扫输入将仍然被解释为虚拟触摸板上的轻扫输入而不是对相应回放控件的选择。如图14F所示,向下轻扫命令被发送到电子设备1404,使得显示与正在显示的内容项相关联的上下文菜单1408。在一些实施方案中,仅直接选择回放控件的用户输入(例如,在相应回放控件的位置处开始和结束的轻击输入)被解释为对回放控件的选择。在一些实施方案中,如果用户输入轻扫到回放控件的位置中并保持与该回放控件接触阈值量的时间,则电子设备500任选地将用户输入解释为对相应回放控件的选择,并且将相应回放命令传输到电子设备1404。
在图14G中,电子设备1404显示包括文本输入字段1460的文本输入用户界面1409。在一些实施方案中,当电子设备1404显示文本输入用户界面1409时,可选选项1429-5从搜索功能和显示搜索图标改变为显示键盘图标和键盘功能。因此,在一些实施方案中,可更新或以其他方式修改可选选项中的任一个可选选项,以在该可选选项被选择时基于在正由远程控制用户界面1420控制的电子设备上显示的内容来显示不同的图标和/或执行不同的功能。在一些实施方案中,接收可选选项1429-5上的用户输入1403,如图14H所示。响应于接收到可选选项1429-5上的用户输入1403,电子设备500显示文本输入用户界面1450,如图14I所示。在一些实施方案中,文本输入用户界面1450是对话框,该对话框包括文本输入字段1452、用于解除文本输入用户界面1450的取消按钮1454和用于经由语音输入发起文本输入的语音输入按钮1456。在一些实施方案中,响应于接收到可选选项1429-5上的用户输入1403,电子设备500显示虚拟键盘界面1458,如图14I所示。在一些实施方案中,虚拟键盘接口1458是设备500的默认系统键盘。在一些实施方案中,虚拟键盘界面1458是特定于电子设备1404的键盘。
在图14J中,接收在虚拟键盘用户界面1458上字母“A”上的轻击用户输入1403。在一些实施方案中,响应于接收到字母“A”上的轻击用户输入1403,文本输入字段1452更新为显示与用户输入对应的字母“A”。在一些实施方案中,字母“A”的文本输入命令被发送到电子设备1404,并且文本输入字段1460更新为显示与用户输入对应的字母“A”。因此,如图14J所示,虚拟键盘用户界面1458上选择文本的用户输入使得相应文本同时出现在电子设备500上的文本输入用户界面1450和电子设备1404上的文本输入用户界面1409上。应当理解,删除文本(例如,通过选择虚拟键盘上的退格选项或选择文本输入用户界面1450上的“x”示能表示)任选地还使得同时删除电子设备1404上的文本输入字段1460上的文本。在一些实施方案中,当用户使用另一种远程控制方法(例如,经由同时与电子设备1404通信的类似于电子设备500的物理遥控器或另一个电子设备)将文本输入到文本输入字段1460中时,所输入的文本也同时出现在电子设备500上的文本输入字段1452中。
在图14K中,接收取消按钮1454上的轻击输入1403。在一些实施方案中,响应于接收到取消按钮1454上的轻击输入1403,解除文本输入用户界面1450并且/或者解除虚拟键盘1458,如图14L所示。在一些实施方案中,在解除文本输入用户界面1450和虚拟键盘1458之后,电子设备1404保持文本输入字段1460的显示。在一些实施方案中,文本输入字段1460继续显示先前由用户在文本输入用户界面1450上输入的文本(例如,图14L中的“A”)。在一些实施方案中,解除文本输入用户界面1450使得先前输入的文本从电子设备1404上的文本输入字段1460中被移除。在一些实施方案中,在解除文本输入用户界面1450之后,可选选项1429-5继续显示键盘图标,并且对可选选项1429-5的选择继续执行键盘功能(例如,因为仍然在电子设备1404上请求文本输入)。
在图14M中,电子设备1404在内容项用户界面1407上显示内容项(例如,“内容项A”)。在一些实施方案中,当电子设备1404正在显示内容项时,电子设备500上的虚拟触摸板区域1427显示一个或多个回放控件,如上所述。如上所述,在一些实施方案中,控制选项区域1428包括五个可选控制选项1429-1、1429-2、1429-3、1429-4和1429-5。在一些实施方案中,控制选项1429-5显示搜索图标并且可选择以在电子设备1404上引发搜索功能。在一些实施方案中,如图14M所示,接收触摸屏504上选择控制选项1429-5的轻击输入1403,同时控制选项1429-5正在显示搜索图标并且可选择以引发搜索功能(例如,而不是显示键盘图标并且可选择以引起文本输入用户界面的显示,如上文相对于图14H至图14K所述)。在一些实施方案中,如图14N所示,响应于接收到选择控制选项1429-5的轻击输入1403,将搜索命令传输到电子设备1404并且在电子设备1404上执行搜索功能。在一些实施方案中,响应于接收到搜索命令,电子设备1404在虚拟触摸板区域1427中显示搜索用户界面1405。
在一些实施方案中,搜索用户界面1405是电子设备1404的系统用户界面。在一些实施方案中,搜索用户界面1405是安装在电子设备1404上的应用程序的应用程序用户界面。在一些实施方案中,搜索用户界面1405是安装在电子设备1404上的统一媒体浏览应用程序的用户界面,并且接收到搜索命令使得电子设备1404启动统一媒体浏览应用程序并导航到统一媒体浏览应用程序的搜索功能。在一些实施方案中,统一媒体浏览应用程序提供用于浏览、搜索、查看或以其他方式访问电子设备1404上的内容的集中位置。统一媒体浏览应用程序任选地从多个内容提供商和/或应用程序接收内容查看信息,以查看来自安装在电子设备1404上的那些内容提供商(例如,已启用与统一媒体浏览应用程序共享内容查看信息的内容提供商,该统一媒体浏览应用程序诸如单独的CBS应用程序、单独的Fox应用程序、单独的ESPN应用程序等)的内容。在一些实施方案中,共享的内容查看信息包括可从相应内容提供商获得的内容目录(例如,包括在用户的订阅中,或能够被购买或租用),用户先前已观看的内容(例如,用户观看历史),用户当前正在观看的内容(例如,用户已开始观看并暂停或当前正在电子设备或另一设备上观看的内容),以及用户的观看偏好数据(例如,用户选择的内容评级,或由用户的观看模式确定的偏好)。在一些实施方案中,统一媒体浏览应用程序聚合所有共享信息来向用户提供更好和更有凝聚力的界面和数据集。在一些实施方案中,统一媒体浏览应用程序允许用户经由内容提供商(例如,CBS、Fox、HBO等或任何其他内容提供商)、经由统一媒体浏览应用程序自己的服务(例如,由Cupertino,California的Apple,Inc.维护的iTunes Store)或经由用户自己的帐户(例如,先前购买的、当前租用的或以其他方式拥有的内容,其可从服务器访问或本地存储在电子设备上)浏览或搜索在电子设备上可用的内容。在一些实施方案中,搜索用户界面1405是另一个应用程序的用户界面,并且接收到搜索命令使得电子设备1404启动该另一个应用程序并导航到该另一个应用程序的搜索功能。在一些实施方案中,搜索用户界面1405包括搜索文本输入字段1462。
在一些实施方案中,响应于电子设备1404显示搜索文本输入字段1462和/或响应于用户选择控制选项1429-5,电子设备500显示搜索文本输入用户界面1470和/或虚拟键盘1458,如图14N所示。在一些实施方案中,在接收到电子设备1404正在显示搜索用户界面1405的确认或证明之后,电子设备500显示搜索文本输入用户界面1470。在一些实施方案中,电子设备500在向电子设备1404发送搜索命令之后和/或同时自动显示搜索文本输入用户界面1470。在一些实施方案中,搜索文本输入用户界面1470共享文本输入用户界面1450的特征,包括搜索文本输入字段1472、用于解除搜索文本输入用户界面1470的取消按钮1474和用于经由语音输入发起文本输入的语音输入按钮1476。在一些实施方案中,搜索文本输入用户界面1470包括指示搜索文本输入用户界面1470用于在电子设备1404上执行搜索功能的文本标签1478(例如,“搜索”文本标签)(例如,“搜索”标签1478与设备1404上显示的搜索用户界面对应)。
在图14O中,接收取消按钮1474上的轻击输入1403。在一些实施方案中,响应于接收到取消按钮1474上的轻击输入1403,解除搜索文本输入用户界面1470并且/或者解除虚拟键盘1458,如图14P所示。在一些实施方案中,在解除搜索文本输入用户界面1470和虚拟键盘1458之后,电子设备1404保持搜索文本输入字段1470的显示。在一些实施方案中,电子设备1404上的搜索文本输入字段1470继续显示先前由用户在搜索文本输入用户界面1470上输入的文本。在一些实施方案中,解除文本输入用户界面1470使得先前输入的文本从电子设备1404上的搜索文本输入字段1470中移除。在一些实施方案中,如图14P所示,在解除文本输入用户界面1470之后,可选选项1429-5更新或以其他方式从显示搜索图标改变为显示键盘图标,并且对可选选项1429-5的选择被更新为执行键盘功能(例如,因为现在在电子设备1404上请求文本输入,并且电子设备1404已在搜索用户界面中)。
图14Q示出了其中电子设备1404正在显示密码的示例性实施方案。在一些实施方案中,电子设备1404在电子设备1404与电子设备500配对(例如,以用于将内容从电子设备500流式传输到电子设备1404并且/或者使用电子设备500来控制电子设备1401)时显示密码。在一些实施方案中,电子设备1404显示配对密码用户界面1401。在一些实施方案中,配对密码用户界面1401包括显示配对所需的密码的数字的密码字段1464。在一些实施方案中,将电子设备1404与电子设备500配对包括在电子设备1404上显示配对密码以及接收电子设备500上配对密码的输入。在一些实施方案中,当在电子设备500上输入的密码与在电子设备1404上显示的密码匹配时,这两个电子设备验证配对并且配对成功。在一些实施方案中,因为电子设备1404正在显示用于配对的密码,所以电子设备1404不期望从用户接收用户输入。相反,电子设备500接收用户输入并与电子设备1404通信以验证所输入的密码。
在此类实施方案中,响应于显示配对密码用户界面1401以及/或者响应于当可选选项1429-5正在显示键盘图标或当可选选项1429-5正在显示数字小键盘图标时接收到选择该可选选项的用户输入,电子设备500在虚拟触摸板区域1427中显示密码输入用户界面。在一些实施方案中,密码输入用户界面包括密码输入字段1480。在一些实施方案中,密码输入字段1480由表示密码中的数字个数的多个虚线组成。在一些实施方案中,当用户选择数字小键盘上的数字并输入密码的数字时,虚线被实心点或星星替换。在一些实施方案中,除了显示密码输入字段1480之外,还显示虚拟数字小键盘1484。在一些实施方案中,从虚拟数字小键盘1484选择数字的用户输入使得输入在密码输入字段1480中显示的数字。在一些实施方案中,密码输入用户界面包括用于解除该密码输入用户界面的取消示能表示1482。在一些实施方案中,接收到取消示能表示1482上的用户输入取消密码输入过程(例如,设备配对过程)并向电子设备1404发送取消命令。在一些实施方案中,接收到取消示能表示1482上的用户输入仅使得解除密码输入用户界面和/或虚拟数字小键盘1482,并且电子设备500返回去显示没有密码输入用户界面或虚拟数字小键盘的远程控制用户界面1420。在一些实施方案中,所得的远程控制用户界面1420可包括控制选项1429-5,该控制选项被更新以显示(或继续显示)键盘图标或数字小键盘图标,对该键盘图标或数字小键盘图标选择使得重新显示密码输入用户界面和/或虚拟数字小键盘。
在一些实施方案中,电子设备1404显示另一个密码输入用户界面。例如,用户可能希望设置对电子设备1404的访问限制,诸如父母控制或内容限制。在一些实施方案中,设置对电子设备1404的限制的过程包括请求用户输入可用于解锁、改变或以其他方式修改对电子设备1404的限制的密码或个人识别码(pin)。在一些实施方案中,电子设备1404期望用户输入来提供用于设置密码或个人识别码的数字(例如,而不是就上述设备配对过程而言仅显示密码)。在此类实施方案中,响应于显示密码输入用户界面以及/或者响应于当可选选项1429-5正在显示键盘图标或当可选选项1429-5正在显示数字小键盘图标时接收到选择该可选选项的用户输入,电子设备500在虚拟触摸板区域1427中显示密码输入用户界面,该虚拟触摸板区域任选地具有上文参考图14Q所述的特征。除上述之外或作为上述的替代,在一些实施方案中,在虚拟数字小键盘1484上输入数字将该数字传输到电子设备1404。在一些实施方案中,将数字传输到电子设备1404使得所输入的数字同时在电子设备1404上显示。在一些实施方案中,在电子设备1404上显示的数字可以是实心点或星星,其类似于图14Q所示的实心点或星星。在一些实施方案中,在电子设备1404上显示的数字未被隐藏,并且实际数字被示出。因此,在虚拟数字小键盘1484上选择数字的用户输入使得相应的数字同时出现在电子设备500上的密码输入字段1480和电子设备1404上的密码输入字段上。应当理解,删除数字(例如,通过选择虚拟数字小键盘上的退格选项)任选地还使得同时删除电子设备1404上的密码输入字段上的文本。在一些实施方案中,当用户使用另一种远程控制方法(例如,经由同时与电子设备1404通信的类似于电子设备500的物理遥控器或另一个电子设备)将数字输入到电子设备1404的密码输入字段中时,所输入的数字也同时出现在电子设备500上的密码输入字段1480中。
在一些实施方案中,密码输入用户界面包括用于解除该密码输入用户界面的取消示能表示1482。在一些实施方案中,接收到取消示能表示1482上的用户输入取消密码输入过程(例如,设备配对过程)并向电子设备1404发送取消命令。在一些实施方案中,接收到取消示能表示1482上的用户输入仅使得解除密码输入用户界面和/或虚拟数字小键盘1482,并且电子设备500返回去显示远程控制用户界面1420。在一些实施方案中,所得的远程控制用户界面1420可包括控制选项1429-5,该控制选项被更新以显示(或继续显示)键盘图标或数字小键盘图标,对该键盘图标或数字小键盘图标选择使得重新显示密码输入用户界面和/或虚拟数字小键盘。
图15A至图15F是示出呈现用于控制电子设备的用户界面的方法1500的流程图,该用户界面基于在正由该用户界面控制的电子设备上显示的内容来自动提供不同的上下文特定的可选选项。方法1500任选地在电子设备诸如设备100、设备300、设备500、设备501、设备510和设备591处执行,如上文参考图1A至图1B、图2至图3、图4A至图4B和图5A至图5J所述。方法1500中的一些操作任选地被组合,并且/或者一些操作的顺序任选地被改变。
如下所述,方法1500提供了呈现用于控制电子设备的用户界面的方式,该用户界面基于在正由该用户界面控制的电子设备上显示的内容来自动提供不同的上下文特定的可选选项。该方法减少了用户当与本公开的设备用户界面进行交互时的认知负担,从而创建一个更有效的人机界面。对于电池驱动的电子设备,提高用户与用户界面交互的效率节省了电力并且增加了电池充电之间的时间。
在一些实施方案中,与触摸屏(例如,包括在第一电子设备中或与第一电子设备通信的触摸屏,诸如触摸屏112)通信的第一电子设备(例如,电子设备、智能电话、平板电脑、可穿戴设备等,诸如设备100、设备300、设备500、设备501或设备591)在触摸屏上显示用于控制第二电子设备(例如,机顶盒、智能电视等,诸如设备580)的远程控制用户界面(例如,模拟远程控制设备诸如遥控器590的用户界面)(1502),诸如在图14A中。
在一些实施方案中,远程控制用户界面包括虚拟触摸板区域(1504)(例如,模拟物理触摸板的远程控制用户界面上的区域),诸如在图14A中。在一些实施方案中,用户任选地在虚拟触摸板区域上执行触摸交互诸如轻扫和/或轻击,以在第二电子设备上引起相应响应。例如,虚拟触摸板上的轻扫任选地被解释为导航输入,并且相应的导航信号任选地被发送到第二电子设备(例如,向上轻扫任选地被解释为向上导航等)。在一些实施方案中,虚拟触摸板上在虚拟触摸板的子区域中的轻击任选地被解释为导航输入,并且相应的导航信号任选地被发送到第二电子设备(例如,虚拟触摸板区域的顶部、左侧、右侧或底部区域处的轻击任选地分别被解释为向上、向左、向右或向下导航,并且中心区域处的轻击任选地被解释为选择输入)。
在一些实施方案中,根据确定第二电子设备正在显示第一内容(例如,电影、电视节目、音频内容、视频内容等),虚拟触摸板区域包括与第一内容相关联的一个或多个示能表示(1506),诸如在图14B中。例如,一个或多个按钮任选地显示在虚拟触摸板区域中。在一些实施方案中,该一个或多个按钮提供对在第二电子设备上显示的内容的控制,从而增加由虚拟触摸板区域支持的功能。在一些实施方案中,该一个或多个按钮是用于第一内容的回放控件。例如,按钮任选地包括后退按钮(例如,10秒后退、15秒后退等)、快进按钮(例如,10秒快进、20秒快进、30秒快进等)和字幕选项按钮(例如,用于显示字幕选择用户界面诸如对话框,以用于选择由第二电子设备上显示的第一内容支持并与该第一内容相关联的不同语言选项和/或字幕/说明文字选项)。
在一些实施方案中,根据确定第二电子设备未显示第一内容,虚拟触摸板不包括与第一内容相关联的该一个或多个示能表示(1508),诸如在图14A中。在一些实施方案中,虚拟触摸板区域不显示在第二电子设备正在显示第一内容时显示的按钮。在一些实施方案中,虚拟触摸板区域显示与在第二电子设备正在显示第一内容时显示的一组按钮不同的一组按钮。在一些实施方案中,无附加按钮显示在虚拟触摸板区域中。
在一些实施方案中,在显示远程控制用户界面时,第一电子设备经由触摸屏接收虚拟触摸板区域中的触摸输入(例如,虚拟触摸板区域中的轻击、轻扫或其他手势)(1510)。
在一些实施方案中,响应于接收到触摸输入(1512),诸如在图14C中:根据确定该触摸输入位于虚拟触摸板区域中的该一个或多个示能表示中的一个示能表示处,第一电子设备执行与该一个或多个示能表示中的一个示能表示相关联的动作(1514)(例如,接收到选择示能表示中的一个示能表示的用户输入,并且发送(或以其他方式传输)命令或信号或者以其他方式在第二电子设备上引起与由用户输入选择(例如,经由WiFi、WiFi Direct、蓝牙、NFC、红外、RF或任何其他无线通信协议)的该一个或多个示能表示相关的动作),诸如在图14C中。例如,如果用户输入是在与10秒后退功能相关联的按钮处的轻击输入,则发送命令或信号或者以其他方式使得第二电子设备将当前显示的内容后退10秒。在一些实施方案中,如果用户输入是在与字幕选项相关联的按钮上的轻击,则第一电子设备任选地显示字幕选择用户界面诸如对话框,以用于选择由第二电子设备上显示的第一内容支持并与该第一内容相关联的不同语言选项和/或字幕/说明文字选项。在一些实施方案中,第一电子设备向第二电子设备查询兼容选项,以在字幕选择用户界面中显示。
在一些实施方案中,根据确定触摸输入不在虚拟触摸板区域中的该一个或多个示能表示处,第一电子设备执行和与该触摸输入对应的触摸板致动相关联的动作(1516)(例如,接收到虚拟触摸板区域上不与该一个或多个示能表示相关联的位置处的用户输入,并且响应于该用户输入而执行虚拟触摸板动作),诸如在14E至图14F中。例如,虚拟触摸板上的轻扫任选地被解释为导航输入,并且相应的导航命令任选地被发送到第二电子设备(例如,向上轻扫任选地被解释为向上导航等)。在一些实施方案中,虚拟触摸板上在虚拟触摸板的子区域中按钮之外的轻击任选地被解释为导航输入,并且相应的导航信号任选地被发送到第二电子设备(例如,虚拟触摸板区域的顶部、左侧、右侧或底部区域处的轻击任选地分别被解释为向上、向左、向右或向下导航,并且中心区域处的轻击任选地被解释为选择输入)。
使用第一电子设备基于在第二电子设备上显示的内容来控制第二电子设备(例如,通过在第二电子设备正在显示第一内容的情况下在虚拟触摸板区域中显示一个或多个按钮,并且在第二电子设备未显示第一内容的情况下不显示按钮)的上述方式允许第一电子设备向用户提供用于第二电子设备的上下文特定的控件(例如,使用第一电子设备上的单个用户界面,该单个用户界面基于正在第二电子设备上显示的内容向用户提供不同的远程控制功能,而无需用户导航到单独用户界面以访问与由第二电子设备显示的内容相关的不同类型的功能),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供在适当时向用户提供附加远程控制功能的单个用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,与第一内容相关联的该一个或多个示能表示包括:用于使第一内容的回放后退的后退示能表示(例如,在一些实施方案中,后退示能表示使得第一内容后退10秒、后退15秒或后退30秒)、用于使第一内容的回放快进的快进示能表示(例如,在一些实施方案中,快进示能表示使得第一内容快进10秒、快进15秒或快进30秒),以及用于设置用于设置第一内容的回放的字幕选项的字幕示能表示(1518),诸如在图14B中。例如,响应于检测到对字幕选项的选择,第一电子设备任选地呈现用于改变第二设备上的内容中的音频内容的语言和/或改变与第二设备上的内容一起呈现的字幕的语言的一个或多个可选选项,包括关闭字幕的选项。在一些实施方案中,对字幕示能表示的选择使得显示具有图8G所述的菜单的特征的语言和字幕菜单。
使用第一电子设备基于在第二电子设备上显示的内容来控制第二电子设备(例如,通过在虚拟触摸板区域中显示后退按钮、快进按钮和字幕按钮)的上述方式允许第一电子设备向用户提供用于第二电子设备的上下文特定的控件(例如,使用第一电子设备上的单个用户界面,该单个用户界面基于正在第二电子设备上显示的内容向用户提供不同的远程控制功能,而无需用户导航到单独用户界面以访问与由第二电子设备显示的内容相关的不同类型的功能),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供在适当时向用户提供附加回放控制功能的单个用户界面),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,该一个或多个示能表示显示在虚拟触摸板区域的预定义区域中(1520),诸如在图14B中。例如,上下文按钮任选地显示在虚拟触摸板区域的底部上。在一些实施方案中,上下文按钮显示在虚拟触摸板区域的顶部、左侧或右侧。
显示上下文回放按钮(例如,通过在虚拟触摸板的预定义区域中显示上下文回放按钮)的上述方式允许第一电子设备向用户提供用于第二电子设备的上下文特定的控件而不干扰用户与虚拟触摸板的交互(例如,通过将上下文回放按钮放置在虚拟触摸板区域的较不繁忙区域中),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供单个用户界面,该单个用户界面在适当时向用户提供附加回放控制功能,同时使用于用户与虚拟触摸板区域进行交互的区域最大化),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,第一电子设备检测虚拟触摸板区域的预定义区域中的触摸输入的结束(例如,轻扫或其他手势输入的结束)(1522),诸如在图14F中。在一些实施方案中,响应于检测到虚拟触摸板区域的预定义区域中的触摸输入的结束,根据确定在虚拟触摸板区域的预定义区域中未检测到该触摸输入的开始,第一电子设备执行和与该触摸输入对应的触摸板致动相关联的动作,而不执行与该一个或多个示能表示相关联的动作(1524),诸如在图14F中。例如,如果轻扫或其他手势输入的开始开始于上下文按钮之外的位置,则任选地根据该轻扫或其他手势输入来解释输入,而不管轻扫或其他手势输入是否侵占或经过或跨过这些上下文按钮中的任一个上下文按钮。在此类情况下,系统不将输入解释为上下文按钮的致动,并且不执行与上下文按钮相关联的动作。在一些实施方案中,如果轻扫或其他手势输入在上下文按钮处结束并在那里保持阈值量的时间,则第一电子设备任选地确定用户打算致动相应的上下文按钮,并且取消或以其他方式忽略轻扫或其他手势输入并执行与相应的上下文按钮相关联的动作。
解释用户触摸输入(例如,通过如果手势开始于虚拟触摸板上除上下文回放按钮所位于的区域之外的区域中,则将输入手势解释为输入手势而不是上下文回放按钮的致动)的上述方式允许第一电子设备向用户提供用于第二电子设备的手势输入,而上下文回放按钮不干扰用户与虚拟触摸板的交互(例如,通过即使手势移动到上下文回放按钮中或移动跨过上下文回放按钮,也将该手势解释为预期手势),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过向用户提供单个用户界面,该单个用户界面仅当用户的动作指示触发附加回放控件的意图时才向用户提供附加回放控制功能),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第二电子设备正在显示第一内容,远程控制用户界面还包括用于在第二电子设备上执行第一一个或多个动作的第一一个或多个示能表示(1526),诸如在图14G中。在一些实施方案中,基于在第二电子设备上显示的内容,远程控制用户界面包括用于控制第二电子设备上的内容的不同按钮。在一些示例中,如果第二电子设备上的内容是文本输入界面,则远程控制用户界面包括用于在第一电子设备上显示键盘和文本输入界面的按钮。在一些实施方案中,如果第二电子设备上的内容是个人识别码输入用户界面,则远程控制用户界面包括用于在第一电子设备上显示数字小键盘和个人识别码输入界面的按钮。
在一些实施方案中,根据确定第二电子设备未显示第一内容,远程控制用户界面还包括与第一一个或多个示能表示不同的第二一个或多个示能表示,该第二一个或多个示能表示用于在第二电子设备上执行与第一一个或多个动作不同的第二一个或多个动作(1528),诸如在图14B中。在一些实施方案中,如果第二电子设备上的内容不是文本输入界面,则远程控制用户界面不包括用于在第一电子设备上显示键盘和文本输入界面的按钮。在一些实施方案中,相反地,该相应按钮可选择以在第二电子设备上发起搜索。
提供上下文特定的按钮(例如,通过在第二电子设备正在显示第一内容的情况下提供一组按钮,并且在第二电子设备未显示第一内容的情况下显示一组不同的按钮)的上述方式允许第一电子设备在适当时向用户提供上下文特定的功能(例如,通过仅提供由在第二电子设备上显示的内容支持的按钮),这简化了用户与第一电子设备和第二电子设备之间的交互,使有限的屏幕空间最大化,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过在单个用户界面上提供上下文特定的功能并且不显示不太常用或不与在第二电子设备上显示的内容相关的任何功能,而无需用户导航到不同的用户界面以基于在第二电子设备上显示的内容来执行相同的功能),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第二电子设备正在显示文本输入用户界面,远程控制用户界面包括可选择以显示覆盖在远程控制用户界面上的键盘输入用户界面的键盘示能表示(1530),诸如在图14G中。在一些实施方案中,远程控制用户界面包括基于在第二电子设备上显示的内容而改变的按钮。在一些实施方案中,如果内容是文本输入用户界面,则按钮被重新配置为显示键盘图标并且变得可选择以显示键盘输入用户界面。在一些实施方案中,远程控制用户界面用可选择以显示键盘输入用户界面的另一个按钮替换远程控制用户界面中的按钮(其可选择以执行除显示键盘输入用户界面之外的功能),而不是改变功能的单个按钮。在一些实施方案中,根据确定第二电子设备未显示文本输入用户界面,远程控制用户界面不包括键盘示能表示。
提供上下文特定的按钮(例如,通过在第二电子设备正在显示文本输入用户界面的情况下提供键盘按钮)的上述方式允许第一电子设备在第二电子设备要求时向用户提供文本输入功能(例如,通过自动向用户提供当第二电子设备期望来自用户的文本输入时使用键盘在第二电子设备上输入文本的能力),这简化了用户与第一电子设备和第二电子设备之间的交互,使有限的屏幕空间最大化,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过在第二电子设备期望文本输入时自动提供用于显示键盘的选项并且不显示与文本输入不相关的功能,而无需用户导航到不同的用户界面或使用专用电子设备(例如,遥控器)来在第二电子设备上输入文本),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,键盘输入用户界面包括(1532):覆盖在虚拟触摸板区域上的文本输入用户界面元素(1534),诸如在图14I中。在一些实施方案中,第一电子设备显示文本输入用户界面,诸如文本输入字段。在一些实施方案中,文本输入用户界面元素模仿在第二电子设备上显示的用户界面。
在一些实施方案中,键盘输入用户界面包括虚拟键盘用户界面元素(1536),诸如在图14I中。在一些实施方案中,第一电子设备在文本输入用户界面元素下方显示虚拟键盘。在一些实施方案中,虚拟键盘是第一电子设备上的默认键盘。在一些实施方案中,虚拟键盘任选地是为第二电子设备定制的键盘。
显示键盘输入用户界面(例如,通过显示文本输入用户界面和虚拟键盘)的上述方式允许第一电子设备向用户提供使用虚拟键盘的文本输入功能以及对用户输入的文本的视觉反馈(例如,通过在同一用户界面中显示虚拟键盘和文本输入用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过在同一用户界面中显示虚拟键盘和文本输入用户界面,而无需用户查看第二电子设备来验证用户输入的文本,并且允许用户立即返回去远程控制设备,而无需任何进一步的用户输入来导航到另一个用户界面),这还通过使得用户能够在减少设备的使用错误的同时更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,文本输入用户界面元素包括:用于显示用户输入的文本的文本输入字段(例如,其中显示由用户输入的文本的文本输入字段)、用于停止显示键盘输入用户界面的取消示能表示(例如,当被选择时使得解除键盘输入用户界面的取消按钮),以及用于经由语音输入输入文本的语音输入示能表示(1538),诸如在图14I中。在一些实施方案中,选择取消按钮使得第二电子设备还解除文本输入用户界面。在一些实施方案中,选择取消按钮不解除第二电子设备上的文本输入用户界面。在一些实施方案中,选择取消按钮不删除或移除用户已输入的文本。在一些实施方案中,选择语音输入示能表示提示用户通过对麦克风说话来输入文本。在一些实施方案中,麦克风被嵌入第一电子设备中。在一些实施方案中,麦克风被嵌入第二电子设备中。在一些实施方案中,外部麦克风任选地与第一电子设备或第二电子设备通信并且接收来自用户的语音输入。
显示键盘输入用户界面(例如,通过显示文本输入字段、取消按钮和语音输入按钮)的上述方式允许第一电子设备向用户提供不同的文本输入功能(例如,通过允许用户解除文本输入界面或使用语音输入来输入文本),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,向用户提供用于使用语音输入并查看在文本输入字段中输入文本的结果的选项以及取消文本输入的选项,而无需用户导航到单独用户界面以执行相同功能),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第二电子设备未显示文本输入用户界面,远程控制用户界面包括可选择以在第二电子设备上显示搜索用户界面的搜索示能表示,以及覆盖在远程控制用户界面上的键盘输入用户界面(1540),诸如在图14M中。
例如,搜索示能表示任选地是与键盘示能表示相同的按钮,该键盘示能表示被重新配置为显示不同的图标和/或执行不同的功能或动作。在一些实施方案中,对搜索按钮的选择使得第二电子设备发起搜索并显示搜索用户界面。在一些实施方案中,搜索用户界面是系统用户界面。在一些实施方案中,搜索用户界面是应用程序的用户界面(例如,不是系统用户界面)。在一些实施方案中,选择搜索示能表示发起显示统一媒体浏览应用程序,并且显示统一媒体浏览应用程序的搜索用户界面。在一些实施方案中,统一媒体浏览应用程序提供用于浏览、搜索、查看或以其他方式访问第二电子设备上的内容的集中位置。统一媒体浏览应用程序任选地从多个内容提供商和/或应用程序接收内容查看信息,以查看来自安装在第二电子设备上的那些内容提供商(例如,已启用与统一媒体浏览应用程序共享内容查看信息的内容提供商,该统一媒体浏览应用程序诸如单独的CBS应用程序、单独的Fox应用程序、单独的ESPN应用程序等)的内容。在一些实施方案中,共享的内容查看信息包括可从相应内容提供商获得的内容目录(例如,包括在用户的订阅中,或能够被购买或租用),用户先前已观看的内容(例如,用户观看历史),用户当前正在观看的内容(例如,用户已开始观看并暂停或当前正在电子设备或另一设备上观看的内容),以及用户的观看偏好数据(例如,用户选择的内容评级,或由用户的观看模式确定的偏好)。在一些实施方案中,统一媒体浏览应用程序聚合所有共享信息来向用户提供更好和更有凝聚力的界面和数据集。在一些实施方案中,统一媒体浏览应用程序允许用户经由内容提供商(例如,CBS、Fox、HBO等或任何其他内容提供商)、经由统一媒体浏览应用程序自己的服务(例如,由Cupertino,California的Apple,Inc.维护的iTunes Store)或经由用户自己的帐户(例如,先前购买的、当前租用的或以其他方式拥有的内容,其可从服务器访问或本地存储在电子设备上)浏览或搜索在电子设备上可用的内容。在一些实施方案中,搜索用户界面包括文本输入用户界面。在一些实施方案中,当搜索用户界面包括文本输入用户界面时,第一电子设备自动显示键盘输入用户界面(例如,包括虚拟键盘元素)。在一些实施方案中,根据确定第二电子设备未显示文本输入用户界面,远程控制用户界面不包括键盘示能表示。
提供上下文特定的功能(例如,通过在第二电子设备未显示文本输入用户界面的情况下提供搜索按钮,并且自动显示键盘输入用户界面)的上述方式允许第一电子设备在发送到第二电子设备的命令需要使用文本输入界面时向用户提供功能(例如,通过在接收到用于在第二电子设备上发起搜索的命令之后自动显示键盘输入用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过自动显示键盘输入用户界面,而无需用户导航到不同的用户界面以执行搜索功能并将文本输入到第二电子设备上的搜索用户界面中,而无需单独的用户输入来发起搜索界面并显示虚拟键盘),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,在接收到选择搜索示能表示的输入之后并且在显示键盘输入用户界面时,第一电子设备接收解除该键盘输入用户界面的用户输入(例如,接收取消按钮上的轻击输入或以其他方式解除该键盘输入用户界面)(1542),诸如在图14O中。
在一些实施方案中,响应于接收到解除该键盘输入用户界面的用户输入,第一电子设备用键盘示能表示替换搜索示能表示,该键盘示能表示可选择以显示覆盖在远程控制用户界面上的键盘输入用户界面(1544),诸如在图14P中。在一些实施方案中,因为第二电子设备仍然显示文本输入用户界面,所以远程控制用户界面包括键盘示能表示。在一些实施方案中,在显示键盘输入用户界面之前位于远程控制用户界面上的搜索示能表示被键盘示能表示替换。在一些实施方案中,键盘示能表示是与搜索示能表示相同的按钮,该搜索示能表示已被重新配置为显示键盘图标并且可选择以使得显示键盘输入用户界面。
提供上下文特定的按钮(例如,通过即使在接收到解除键盘输入用户界面的用户输入之后,也在第二电子设备正在显示文本输入用户界面的情况下提供键盘按钮)的上述方式允许第一电子设备在第二电子设备要求时向用户提供文本输入功能(例如,通过在第二电子设备继续期望来自用户的文本输入时向用户提供用于重新显示键盘输入用户界面的选项),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过用键盘示能表示自动更新搜索示能表示,以允许用户显示键盘输入用户界面并向第二电子设备提供文本输入,而无需用户导航到不同的用户界面或使用专用电子设备(例如,遥控器)来在第二电子设备上输入文本),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
在一些实施方案中,根据确定第二电子设备正在显示密码输入用户界面,远程控制用户界面包括覆盖在虚拟触摸板区域上的密码输入字段和虚拟数字小键盘用户界面(1546),诸如在图14Q中。在一些实施方案中,对键盘按钮的选择显示密码输入用户界面和数字键盘用户界面。在一些实施方案中,第二电子设备正在显示用于将第二电子设备与第一电子设备配对的密码。在此类实施方案中,第二电子设备不期望接收用户输入(例如,第二电子设备仅显示密码,目的在于通过向第一电子设备提供相应的密码来验证并与第二电子设备配对),因此数字小键盘上的用户输入被显示在第一电子设备的密码输入用户界面上,但不被传输到第二电子设备。在一些实施方案中,第二电子设备显示密码输入用户界面(例如,以用于设置个人识别码或密码以设置父母控制或其他类型的限制)。在此类实施方案中,第二电子设备确实期望接收用户输入(例如,第二电子设备正在请求用户设置个人识别码或密码),因此数字小键盘上的用户输入显示在密码输入用户界面上,并且还被传输到第二电子设备以显示在第二电子设备的密码输入用户界面上。
提供上下文特定的按钮(例如,通过在第二电子设备正在显示密码输入用户界面的情况下提供数字小键盘用户界面和密码输入字段)的上述方式允许第一电子设备在第二电子设备要求时向用户提供密码输入功能(例如,通过在第二电子设备期望来自用户的密码输入时,向用户提供包括数字小键盘的密码输入特定的用户界面),这简化了用户与第一电子设备和第二电子设备之间的交互,增强了第一电子设备和第二电子设备的可操作性,并且使用户-设备界面更有效(例如,通过自动更新界面以显示密码输入界面,而不是显示不是定制用于数字输入的虚拟键盘,因此无需用户导航到不同的用户界面或使用专用电子设备(例如,遥控器)或导航到虚拟键盘的数字输入界面来在第二电子设备上输入密码),这还通过使得用户能够更快速且有效地使用第一电子设备和第二电子设备而减少了电力使用并且延长了第一电子设备和第二电子设备的电池寿命。
应当理解,对图15A至图15F中的操作进行描述的特定顺序仅仅是示例性的,并非旨在指示所述顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当指出的是,本文结合本文所述的其他方法(例如,方法700、900、1100和1300)所述的其他过程的细节同样以类似的方式适用于上文结合图15A至图15F所述的方法1500。例如,上文参考方法1500所述的远程控制电子设备的指示任选地具有本文参考本文所述的其他方法(例如,方法700、900、1100和1300)所述的流式传输模式操作和回放控制选项的呈现等的特性中的一个或多个特性。为了简明起见,此处不再重复这些细节。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如结合图1A至图1B、图3、图5A至图5J所述)或专用芯片。此外,上文参考图15A至图15F描述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,显示操作1502和接收操作1510、1512和1542任选地由事件分类器170、事件识别器180和事件处理程序190来实现。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
如上所述,本技术的一个方面在于收集和使用得自特定和合法来源的数据,以有利于将内容从一个电子设备流式传输到另一个电子设备。本公开设想,在一些实例中,该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身级别相关的数据或记录(例如,生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于自动执行相对于流式传输模式的操作(例如,响应于打开内容应用程序而生成选择流式传输目的地的提示,或者响应于打开内容应用程序而自动进入与特定流式传输目的地的流式传输模式)。因此,使用此类个人信息数据使得用户能够输入更少的输入来执行相对于流式传输模式的动作。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,内容消费历史可用于为用户生成建议内容。
本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出并能够被用户方便地访问,并应当随数据的收集和/或使用改变而被更新。用户的个人信息应被收集仅用于合法使用。另外,此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应针对被收集和/或访问的特定类型的个人信息数据调整政策和实践,并使其适用于适用法律和标准,包括可用于施加较高标准的辖区专有的考虑因素。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,用户能够配置一个或多个电子设备,以改变电子设备的发现设置或隐私设置。例如,如果两个电子设备连接到同一安全网络(例如,安全Wi-Fi网络),则用户可选择仅允许电子设备与另一个电子设备配对以用于内容流式传输的设置。又如,用户可管理其内容消费历史的隐私。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可基于汇集的非个人信息数据或绝对最低数量的个人信息,诸如仅在用户设备上处理的内容或可用于内容递送服务的其他非个人信息,来选择内容并递送给用户。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
Claims (115)
1.一种方法,包括:
在与显示器和一个或多个输入设备通信的第一电子设备处:
经由所述一个或多个输入设备接收与在所述显示器上显示第一应用程序的请求对应的输入;以及
响应于接收到所述输入:
在所述显示器上显示所述第一应用程序;
根据确定满足一个或多个标准,执行关于从所述第一电子设备上的所述第一应用程序到第二电子设备的内容流式传输的动作;以及
根据确定不满足所述一个或多个标准,放弃执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作。
2.根据权利要求1所述的方法,其中:
当满足第一组一个或多个标准时或者当满足第二组一个或多个标准时,满足所述一个或多个标准,
所述第一组一个或多个标准对应于应启用到所述第二电子设备的自动化内容流式传输的第一置信水平,
所述第二组一个或多个标准对应于应启用到所述第二电子设备的自动化内容流式传输的第二置信水平,所述第二置信水平高于所述第一置信水平,
根据确定满足所述第一组一个或多个标准,关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作包括在所述显示器上显示提示,所述提示包括用于将所述第二电子设备指定为所述第一电子设备的内容流式传输目的地的可选选项,并且
根据确定满足所述第二组一个或多个标准,关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作包括在用于将内容从所述第一电子设备流式传输到所述第二电子设备的内容流式传输模式下自动操作所述第一电子设备。
3.根据权利要求1至2中任一项所述的方法,其中所述一个或多个标准包括当所述第一应用程序是流式传输内容应用程序时满足的标准。
4.根据权利要求3所述的方法,其中根据确定所述第一应用程序被指定为第一类型应用程序,所述第一应用程序是流式传输内容应用程序,并且根据确定所述第一应用程序被指定为与所述第一类型应用程序不同的第二类型应用程序,所述第一应用程序不是流式传输内容应用程序。
5.根据权利要求1至4中任一项所述的方法,其中所述一个或多个标准包括当所述第一电子设备已被用于超过预先确定的次数将内容流式传输到所述第二电子设备时满足的标准。
6.根据权利要求1至5中任一项所述的方法,其中所述一个或多个标准包括当在接收到与在所述第一电子设备上显示所述第一应用程序的所述请求对应的所述输入时所述第一电子设备正在将内容流式传输到所述第二电子设备时满足的标准。
7.根据权利要求1至6中任一项所述的方法,其中执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作包括显示提示,所述提示包括用于将所述第二电子设备指定为所述第一电子设备的内容流式传输目的地的可选选项。
8.根据权利要求7所述的方法,其中所述提示包括用于将与所述第二电子设备不同的第三电子设备指定为所述第一电子设备的所述内容流式传输目的地的可选选项。
9.根据权利要求7至8中任一项所述的方法,其中所述提示包括用于放弃指定所述第一电子设备的内容流式传输目的地的可选选项。
10.根据权利要求7至9中任一项所述的方法,还包括:
在满足所述一个或多个标准并且所述第一电子设备正在所述显示器上显示所述第一应用程序时:
经由所述一个或多个输入设备接收用于经由所述第一应用程序播放内容项的输入;以及
响应于接收到用于经由所述第一应用程序播放所述内容项的所述输入:
根据确定从所述提示指定了相应的内容流式传输目的地,发起用于将所述内容项流式传输到所述相应的内容流式传输目的地以用于回放的过程;以及
根据确定没有从所述提示指定内容流式传输目的地,在所述第一电子设备上播放所述内容项。
11.根据权利要求1至10中任一项所述的方法,其中执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作包括在用于将内容从所述第一电子设备流式传输到所述第二电子设备的内容流式传输模式下自动操作所述第一电子设备。
12.根据权利要求11所述的方法,还包括:
响应于接收到所述输入:
根据所述确定满足所述一个或多个标准,在所述显示器上显示所述第一电子设备正在用于将内容从所述第一电子设备流式传输到所述第二电子设备的所述内容流式传输模式下操作的视觉指示。
13.根据权利要求11至12中任一项所述的方法,还包括:
当所述第一电子设备正在所述内容流式传输模式下操作并且所述第一电子设备正在所述显示器上显示所述第一应用程序时:
经由所述一个或多个输入设备接收用于经由所述第一应用程序播放内容项的输入;以及
响应于接收到用于经由所述第一应用程序播放所述内容项的所述输入,发起用于将所述内容项流式传输到所述第二电子设备以用于回放的过程。
14.根据权利要求11至13中任一项所述的方法,还包括:
当所述第一电子设备正在所述内容流式传输模式下操作并且所述第一电子设备正在所述显示器上显示所述第一应用程序时,经由所述一个或多个输入设备接收与停止显示所述第一应用程序并显示第二应用程序的请求对应的输入;以及
响应于接收到与停止显示所述第一应用程序并显示所述第二应用程序的所述请求对应的输入:
在所述显示器上显示所述第二应用程序;
根据确定满足一个或多个第二标准,保持所述第一电子设备在用于将内容从所述第一电子设备上的所述第二应用程序流式传输到所述第二电子设备的所述内容流式传输模式下的操作;以及
根据确定不满足所述一个或多个第二标准,放弃保持所述第一电子设备在用于将内容从所述第一电子设备上的所述第二应用程序流式传输到所述第二电子设备的所述内容流式传输模式下的所述操作。
15.根据权利要求14所述的方法,其中:
当所述第一电子设备显示所述第二应用程序时,所述第一电子设备继续将内容从所述第一应用程序流式传输到所述第二电子设备,并且
在所述显示器上显示所述第二应用程序包括在所述显示器上不显示用于将内容从所述第一电子设备流式传输到所述第二电子设备的所述内容流式传输模式的视觉指示。
16.根据权利要求11至15中任一项所述的方法,还包括:
当所述第一电子设备正在所述内容流式传输模式下操作并且所述第一电子设备正在所述显示器上显示所述第一应用程序,包括显示所述第一电子设备正在用于将内容从所述第一电子设备流式传输到所述第二电子设备的所述内容流式传输模式下操作的视觉指示时,经由所述一个或多个输入设备接收与停止显示所述第一应用程序并显示所述第一电子设备的系统用户界面的请求对应的输入;以及
响应于接收到与停止显示所述第一应用程序并显示所述第一电子设备的所述系统用户界面的所述请求对应的所述输入:
保持所述第一电子设备在用于将内容从所述第一电子设备流式传输到所述第二电子设备的所述内容流式传输模式下的操作;以及
在所述显示器上保持显示所述第一电子设备正在用于将内容从所述第一电子设备流式传输到所述第二电子设备的所述内容流式传输模式下操作的所述视觉指示。
17.根据权利要求1至16中任一项所述的方法,还包括:
在不满足所述一个或多个标准时,经由所述一个或多个输入设备接收与经由所述第一应用程序播放内容项的请求对应的输入;以及
响应于接收到与经由所述第一应用程序播放所述内容项的所述请求对应的所述输入,在所述第一电子设备上播放所述第一应用程序中的所述内容项。
18.根据权利要求1至17中任一项所述的方法,还包括:
在所述显示器上显示所述第一应用程序时,经由所述一个或多个输入设备接收与经由所述第一应用程序播放内容项的请求对应的输入;
响应于接收到与经由所述第一应用程序播放所述内容项的所述请求对应的所述输入,经由所述第一应用程序播放所述内容项;以及
在经由所述第一应用程序播放所述内容项时,在所述显示器上显示用于控制所述内容项的回放的回放用户界面元素,其中:
根据确定所述第一电子设备正在将所述内容项流式传输到所述第二电子设备,所述回放用户界面元素包括具有第一显示格式的一个或多个回放控件;并且
根据确定所述第一电子设备未将所述内容项流式传输到所述第二电子设备并且正在所述第一电子设备处播放所述内容项,所述回放用户界面元素包括具有与所述第一显示格式不同的第二显示格式的所述一个或多个回放控件。
19.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
经由所述一个或多个输入设备接收与在所述显示器上显示第一应用程序的请求对应的输入;以及
响应于接收到所述输入:
在所述显示器上显示所述第一应用程序;
根据确定满足一个或多个标准,执行关于从所述第一电子设备上的所述第一应用程序到第二电子设备的内容流式传输的动作;以及
根据确定不满足所述一个或多个标准,放弃执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作。
20.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:
经由所述一个或多个输入设备接收与在所述显示器上显示第一应用程序的请求对应的输入;以及
响应于接收到所述输入:
在所述显示器上显示所述第一应用程序;
根据确定满足一个或多个标准,执行关于从所述第一电子设备上的所述第一应用程序到第二电子设备的内容流式传输的动作;以及
根据确定不满足所述一个或多个标准,放弃执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作。
21.一种电子设备,包括:
一个或多个处理器;
存储器;
用于经由所述一个或多个输入设备接收与在所述显示器上显示第一应用程序的请求对应的输入的装置;以及
用于响应于接收到所述输入而执行以下操作的装置:
在所述显示器上显示所述第一应用程序;
根据确定满足一个或多个标准,执行关于从所述第一电子设备上的所述第一应用程序到第二电子设备的内容流式传输的动作;以及
根据确定不满足所述一个或多个标准,放弃执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作。
22.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于经由所述一个或多个输入设备接收与在所述显示器上显示第一应用程序的请求对应的输入的装置;以及
用于响应于接收到所述输入而执行以下操作的装置:
在所述显示器上显示所述第一应用程序;
根据确定满足一个或多个标准,执行关于从所述第一电子设备上的所述第一应用程序到第二电子设备的内容流式传输的动作;以及
根据确定不满足所述一个或多个标准,放弃执行关于从所述第一电子设备上的所述第一应用程序到所述第二电子设备的内容流式传输的所述动作。
23.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至18中任一项所述的方法的指令。
24.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至18中任一项所述的方法。
25.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求1至18中任一项所述的方法的装置。
26.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求1至18中任一项所述的方法的装置。
27.一种方法,包括:
在与显示器和一个或多个输入设备通信的第一电子设备处:
经由所述一个或多个输入设备接收与显示用于经由所述第一电子设备控制内容回放的用户界面的请求对应的输入;以及
响应于接收到所述输入,在所述显示器上显示所述用户界面,所述用户界面包括用于控制第一回放目的地处的内容回放的第一回放控制元素,其中:
根据确定所述第一回放目的地被配置为利用远程控制设备来控制,所述第一回放控制元素包括能够选择以在所述显示器上显示对应于所述远程控制设备的远程控制用户界面的可选选项,以用于控制所述第一回放目的地;并且
根据确定所述第一回放目的地未被配置为利用所述远程控制设备来控制,所述第一回放控制元素不包括能够选择以在所述显示器上显示所述远程控制用户界面的所述可选选项。
28.根据权利要求27所述的方法,还包括:
经由所述一个或多个输入设备接收选择所述第一回放控制元素中的所述可选选项的输入;以及
响应于接收到选择所述第一回放控制元素中的所述可选选项的所述输入,在所述显示器上显示所述远程控制用户界面,其中所述远程控制用户界面包括触摸输入区域和一个或多个控件,所述触摸输入区域被配置为响应于在所述触摸输入区域中检测到的触摸输入而控制所述第一回放目的地,所述一个或多个控件被配置为响应于对所述一个或多个控件的选择而控制所述第一回放目的地。
29.根据权利要求28所述的方法,还包括:
在显示所述远程控制用户界面时,经由所述一个或多个输入设备接收相应输入;以及
响应于接收到所述相应输入,停止显示所述远程控制用户界面,并且显示用于经由所述第一电子设备控制内容回放的所述用户界面,其中所述第一电子设备被配置为:当在所述第一电子设备正在显示除所述远程控制用户界面之外的用户界面时检测到所述相应输入时,响应于检测到所述相应输入而显示所述第一电子设备的操作系统的home屏幕。
30.根据权利要求27至29中任一项所述的方法,其中:
根据确定所述第一回放目的地向所述第一电子设备提供绝对音量信息,所述第一回放控制元素包括用于控制所述第一回放目的地处的音量水平的绝对音量控制元素,其中所述绝对音量控制元素指示所述第一回放目的地的当前音量水平,并且
根据确定所述第一回放目的地不向所述第一电子设备提供绝对音量信息,所述第一回放控制元素包括用于控制所述第一回放目的地处的所述音量水平的相对音量控制元素,其中所述相对音量控制元素不指示所述第一回放目的地的所述当前音量水平。
31.根据权利要求27至30中任一项所述的方法,其中:
根据确定所述第一回放目的地包括显示设备,所述第一回放控制元素包括当被选择时使得所述第一电子设备在所述显示器上显示用于所述第一回放目的地的语言和字幕选项的可选选项,并且
根据确定所述第一回放目的地不包括显示设备,所述第一回放控制元素不包括当被选择时使得所述第一电子设备在所述显示器上显示用于所述第一回放目的地的所述语言和字幕选项的所述可选选项。
32.根据权利要求27至31中任一项所述的方法,还包括:
当在所述显示器上显示所述第一回放控制元素时:
当经由所述第一电子设备在所述第一回放目的地处播放内容项时,将所述第一回放控制元素显示为包括一个或多个回放控件并且包括所述可选选项,以用于控制所述第一回放目的地;
在显示具有所述一个或多个回放控件的所述第一回放控制元素时,检测所述内容项的回放的结束;以及
响应于检测到所述内容项的所述回放的所述结束,用推荐内容项的一个或多个表示替换所述第一回放控制元素中的所述一个或多个回放控件。
33.根据权利要求27至32中任一项所述的方法,其中:
所述第一回放控制元素具有扩展状态和折叠状态,
在所述扩展状态下,所述第一回放控制元素包括能够选择以显示所述远程控制用户界面的所述可选选项,而不管内容项是否正在所述第一回放目的地处播放,并且
在所述折叠状态下:
根据确定内容项正在所述第一回放目的地处播放,所述第一回放控制元素不包括能够选择以显示所述远程控制用户界面的所述可选选项,并且
根据确定内容项未在所述第一回放目的地处播放,所述第一回放控制元素确实包括能够选择以显示所述远程控制用户界面的所述可选选项。
34.根据权利要求27至33中任一项所述的方法,其中所述第一回放目的地当前正在播放内容项,并且所述第一回放控制元素包括能够选择以显示所述远程控制用户界面的所述可选选项,以及能够选择以在所述显示器上显示与所述第一回放目的地的所述当前播放内容项对应的语言和字幕选项的可选选项。
35.根据权利要求27至34中任一项所述的方法,其中包括所述第一回放控制元素的所述用户界面是所述第一电子设备的唤醒屏幕用户界面。
36.根据权利要求27至35中任一项所述的方法,其中包括所述第一回放控制元素的所述用户界面是所述第一电子设备的语音输入用户界面,并且由所述第一电子设备响应于提供给所述语音输入用户界面的语音输入而在所述语音输入用户界面中显示所述第一回放控制元素。
37.根据权利要求27至36中任一项所述的方法,其中响应于检测到对显示在所述显示器上的流式传输模式状态指示符的选择,显示包括所述第一回放控制元素的所述用户界面,所述流式传输模式状态指示符指示所述第一电子设备正在其中所述第一电子设备被配置为将内容从所述第一电子设备流式传输到第二电子设备的流式传输模式下操作。
38.根据权利要求27至37中任一项所述的方法,其中响应于检测到对在所述第一电子设备上的智能家居应用程序中所述第一回放目的地的表示的选择,显示包括所述第一回放控制元素的所述用户界面,所述智能家居应用程序被配置为控制包括所述第一回放目的地的一个或多个电子设备在与所述第一电子设备的用户相关联的家庭中的操作。
39.根据权利要求27至38中任一项所述的方法,其中响应于检测到对用于经由所述第一电子设备控制内容项的回放的相应回放控制元素的选择,显示包括所述第一回放控制元素的所述用户界面,所述相应回放控制元素显示在用于控制所述第一电子设备的除内容回放之外的多个功能的控制用户界面中。
40.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
经由所述一个或多个输入设备接收与显示用于经由所述第一电子设备控制内容回放的用户界面的请求对应的输入;以及
响应于接收到所述输入,在所述显示器上显示所述用户界面,所述用户界面包括用于控制第一回放目的地处的内容回放的第一回放控制元素,其中:
根据确定所述第一回放目的地被配置为利用远程控制设备来控制,所述第一回放控制元素包括能够选择以在所述显示器上显示对应于所述远程控制设备的远程控制用户界面的可选选项,以用于控制所述第一回放目的地;并且
根据确定所述第一回放目的地未被配置为利用所述远程控制设备来控制,所述第一回放控制元素不包括能够选择以在所述显示器上显示所述远程控制用户界面的所述可选选项。
41.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:
经由所述一个或多个输入设备接收与显示用于经由所述第一电子设备控制内容回放的用户界面的请求对应的输入;以及
响应于接收到所述输入,在所述显示器上显示所述用户界面,所述用户界面包括用于控制第一回放目的地处的内容回放的第一回放控制元素,其中:
根据确定所述第一回放目的地被配置为利用远程控制设备来控制,所述第一回放控制元素包括能够选择以在所述显示器上显示对应于所述远程控制设备的远程控制用户界面的可选选项,以用于控制所述第一回放目的地;并且
根据确定所述第一回放目的地未被配置为利用所述远程控制设备来控制,所述第一回放控制元素不包括能够选择以在所述显示器上显示所述远程控制用户界面的所述可选选项。
42.一种电子设备,包括:
一个或多个处理器;
存储器;
用于经由所述一个或多个输入设备接收与显示用于经由所述第一电子设备控制内容回放的用户界面的请求对应的输入的装置;以及
用于响应于接收到所述输入而在所述显示器上显示所述用户界面的装置,所述用户界面包括用于控制第一回放目的地处的内容回放的第一回放控制元素,其中:
根据确定所述第一回放目的地被配置为利用远程控制设备来控制,所述第一回放控制元素包括能够选择以在所述显示器上显示对应于所述远程控制设备的远程控制用户界面的可选选项,以用于控制所述第一回放目的地;并且
根据确定所述第一回放目的地未被配置为利用所述远程控制设备来控制,所述第一回放控制元素不包括能够选择以在所述显示器上显示所述远程控制用户界面的所述可选选项。
43.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于经由所述一个或多个输入设备接收与显示用于经由所述第一电子设备控制内容回放的用户界面的请求对应的输入的装置;以及
用于响应于接收到所述输入而在所述显示器上显示所述用户界面的装置,所述用户界面包括用于控制第一回放目的地处的内容回放的第一回放控制元素,其中:
根据确定所述第一回放目的地被配置为利用远程控制设备来控制,所述第一回放控制元素包括能够选择以在所述显示器上显示对应于所述远程控制设备的远程控制用户界面的可选选项,以用于控制所述第一回放目的地;并且
根据确定所述第一回放目的地未被配置为利用所述远程控制设备来控制,所述第一回放控制元素不包括能够选择以在所述显示器上显示所述远程控制用户界面的所述可选选项。
44.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求27至39中任一项所述的方法的指令。
45.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求27至39中任一项所述的方法。
46.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求27至39中任一项所述的方法的装置。
47.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求27至39中任一项所述的方法的装置。
48.一种方法,包括:
在与显示器和一个或多个输入设备通信的第一电子设备处:
经由所述一个或多个输入设备接收与在所述显示器上显示用户界面的请求对应的输入;以及
响应于接收到所述输入,在所述显示器上显示所述用户界面,其中所述用户界面包括系统指示符区域和与所述系统指示符区域分开的第二区域,其中:
根据确定所述第一电子设备正在其中所述第一电子设备被配置为将内容从所述第一电子设备流式传输到第二电子设备的流式传输模式下操作,所述第一电子设备在所述用户界面的所述系统指示符区域中显示流式传输模式视觉指示符;并且
根据确定所述第一电子设备不在所述流式传输模式下操作,所述第一电子设备放弃在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
49.根据权利要求48所述的方法,还包括:
在所述第一电子设备处于所述流式传输模式并且在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符时:
经由所述一个或多个输入设备接收与发起内容项的回放的请求对应的第二输入;以及
响应于接收到所述第二输入:
将所述内容项从所述第一电子设备流式传输到所述第二电子设备以使得所述第二电子设备呈现所述内容项;以及
在所述用户界面的所述系统指示符区域中显示具有与所述内容项的回放的发起对应的第一视觉特性的所述流式传输模式视觉指示符。
50.根据权利要求49所述的方法,其中:
在所述第一电子设备处于所述流式传输模式并且在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符时:
根据确定所述内容项正从所述第一电子设备流式传输到所述第二电子设备,所述流式传输模式视觉指示符被显示为具有与所述内容项的当前回放对应的第二视觉特性;并且
根据确定所述内容项未从所述第一电子设备流式传输到所述第二电子设备,所述流式传输模式视觉指示符被显示为具有与所述第二视觉特性不同的第三视觉特性,所述第三视觉特性与没有内容的当前回放对应。
51.根据权利要求48至50中任一项所述的方法,其中当所述第一电子设备正在所述流式传输模式下操作时:
根据确定所述第一电子设备正在显示非流式传输应用程序的用户界面,所述第一电子设备放弃在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符,并且
根据确定所述第一电子设备正在显示流式传输内容应用程序的用户界面,所述第一电子设备在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
52.根据权利要求48至51中任一项所述的方法,其中在所述第一电子设备处于所述流式传输模式时:
根据确定所述第一电子设备正在显示系统用户界面:
根据确定内容项正从所述第一电子设备流式传输到所述第二电子设备,所述第一电子设备在所述系统用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符,并且
根据确定内容项未从所述第一电子设备流式传输到所述第二电子设备,所述第一电子设备放弃显示所述流式传输模式视觉指示符。
53.根据权利要求48至52中任一项所述的方法,其中当所述第一电子设备正在所述流式传输模式下操作时:
根据确定所述第一电子设备正在显示用于控制从所述第一电子设备流式传输到所述第二电子设备的内容的回放的系统用户界面,所述第一电子设备放弃在所述系统用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符,并且
根据确定所述第一电子设备正在显示第二用户界面,所述第二用户界面不是用于控制从所述第一电子设备流式传输到所述第二电子设备的内容的回放的所述系统用户界面,所述第一电子设备在所述第二用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
54.根据权利要求48至53中任一项所述的方法,还包括:
在所述第一电子设备处于所述流式传输模式时并且在所述显示器的所述系统指示符区域中显示所述流式传输模式视觉指示符时:
经由所述一个或多个输入设备接收与对所述流式传输模式视觉指示符的选择对应的第二用户输入;以及
响应于接收到所述第二用户输入:
根据确定内容项正从所述第一电子设备流式传输到相应电子设备,在所述显示器上显示用于控制所述相应电子设备处的内容回放的回放控制元素,以及
根据确定内容项未从所述第一电子设备流式传输到另一个电子设备,在所述显示器上显示用于选择要将内容从所述第一电子设备流式传输到的相应回放目的地的用户界面。
55.根据权利要求54所述的方法,还包括:
在显示所述回放控制元素时,经由所述一个或多个输入设备接收与停止显示所述回放控制元素的请求对应的第三用户输入;以及
响应于接收到所述第三用户输入:
停止所述回放控制元素的显示;以及
继续在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
56.根据权利要求48至55中任一项所述的方法,其中所述系统指示符区域包括多个视觉指示符,所述多个视觉指示符包括所述流式传输模式视觉指示符,每个视觉指示符指示所述电子设备的相应状态。
57.根据权利要求56所述的方法,还包括:
在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符之前,在所述系统指示符区域中的第一位置处显示指示所述电子设备的第一状态的第一视觉指示符,其中显示所述流式传输模式视觉指示符包括:
停止在所述系统指示符区域中显示所述第一视觉指示符;以及
在所述系统指示符区域中的所述第一位置处显示所述流式传输模式视觉指示符。
58.根据权利要求48至57中任一项所述的方法,还包括:
当所述第一电子设备正在所述流式传输模式下操作并且正在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符时,检测从在所述流式传输模式下操作所述第一电子设备到不在所述流式传输模式下操作所述第一电子设备的转变;以及
响应于检测到所述转变,停止在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
59.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
经由所述一个或多个输入设备接收与在所述显示器上显示用户界面的请求对应的输入;以及
响应于接收到所述输入,在所述显示器上显示所述用户界面,其中所述用户界面包括系统指示符区域和与所述系统指示符区域分开的第二区域,其中:
根据确定所述第一电子设备正在其中所述第一电子设备被配置为将内容从所述第一电子设备流式传输到第二电子设备的流式传输模式下操作,所述第一电子设备在所述用户界面的所述系统指示符区域中显示流式传输模式视觉指示符;并且
根据确定所述第一电子设备不在所述流式传输模式下操作,所述第一电子设备放弃在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
60.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:
经由所述一个或多个输入设备接收与在所述显示器上显示用户界面的请求对应的输入;以及
响应于接收到所述输入,在所述显示器上显示所述用户界面,其中所述用户界面包括系统指示符区域和与所述系统指示符区域分开的第二区域,其中:
根据确定所述第一电子设备正在其中所述第一电子设备被配置为将内容从所述第一电子设备流式传输到第二电子设备的流式传输模式下操作,所述第一电子设备在所述用户界面的所述系统指示符区域中显示流式传输模式视觉指示符;并且
根据确定所述第一电子设备不在所述流式传输模式下操作,所述第一电子设备放弃在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
61.一种电子设备,包括:
一个或多个处理器;
存储器;
用于经由所述一个或多个输入设备接收与在所述显示器上显示用户界面的请求对应的输入的装置;以及
用于响应于接收到所述输入而在所述显示器上显示所述用户界面的装置,其中所述用户界面包括系统指示符区域和与所述系统指示符区域分开的第二区域,其中:
根据确定所述第一电子设备正在其中所述第一电子设备被配置为将内容从所述第一电子设备流式传输到第二电子设备的流式传输模式下操作,所述第一电子设备在所述用户界面的所述系统指示符区域中显示流式传输模式视觉指示符;并且
根据确定所述第一电子设备不在所述流式传输模式下操作,所述第一电子设备放弃在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
62.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于经由所述一个或多个输入设备接收与在所述显示器上显示用户界面的请求对应的输入的装置;以及
用于响应于接收到所述输入而在所述显示器上显示所述用户界面的装置,其中所述用户界面包括系统指示符区域和与所述系统指示符区域分开的第二区域,其中:
根据确定所述第一电子设备正在其中所述第一电子设备被配置为将内容从所述第一电子设备流式传输到第二电子设备的流式传输模式下操作,所述第一电子设备在所述用户界面的所述系统指示符区域中显示流式传输模式视觉指示符;并且
根据确定所述第一电子设备不在所述流式传输模式下操作,所述第一电子设备放弃在所述用户界面的所述系统指示符区域中显示所述流式传输模式视觉指示符。
63.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求48至58中任一项所述的方法的指令。
64.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求48至58中任一项所述的方法。
65.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求48至58中任一项所述的方法的装置。
66.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求48至58中任一项所述的方法的装置。
67.一种方法,包括:
在与触摸屏通信的第一电子设备处:
在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面,其中所述远程控制用户界面包括虚拟触摸板区域;
在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入;以及
响应于接收到所述虚拟触摸板区域中的所述触摸输入:
根据确定所述第二电子设备是第一类型的设备,执行与所述第一类型的设备对应的第一组动作中的第一相应动作;以及
根据确定所述第二电子设备是与所述第一类型的设备不同的第二类型的设备,执行与所述第二类型的设备对应的第二组动作中的第二相应动作,所述第二组动作与所述第一组动作不同。
68.根据权利要求67所述的方法,其中:
与所述第一类型的设备对应的所述第一组动作包括手势输入动作;并且
与所述第二类型的设备对应的所述第二组动作不包括手势输入动作。
69.根据权利要求68所述的方法,其中显示所述远程控制用户界面包括在所述虚拟触摸板区域中显示使用提示,所述使用提示指示能够从所述虚拟触摸板区域执行的一组相应动作。
70.根据权利要求68至69中任一项所述的方法,其中:
根据所述确定所述第二电子设备是所述第一类型的设备,所述使用提示对应于所述第一组动作,并且
根据所述确定所述第二电子设备是所述第二类型的设备,所述使用提示对应于所述第二组动作。
71.根据权利要求68至70中任一项所述的方法,其中在所述虚拟触摸板区域中显示所述使用提示包括当首次显示所述远程控制用户界面时显示阈值量时间的所述使用提示。
72.根据权利要求68至71中任一项所述的方法,其中在所述虚拟触摸板区域中显示所述使用提示包括显示所述使用提示,直到所述第一电子设备在所述虚拟触摸板区域中接收到初始触摸输入。
73.根据权利要求68至72中任一项所述的方法,其中在所述虚拟触摸板区域中显示所述使用提示包括针对所述第一电子设备的每个远程控制使用会话显示一次所述使用提示。
74.根据权利要求68至73中任一项所述的方法,其中在所述虚拟触摸板区域中显示所述使用提示包括仅在所述第一电子设备第一次显示所述远程控制用户界面时显示所述使用提示。
75.根据权利要求71至74中任一项所述的方法,其中所述远程控制用户界面还包括用于选择要使用所述远程控制用户界面来控制的电子设备的设备选择元素,所述方法还包括:
响应于接收到选择所述设备选择元素的用户输入,在所述远程控制用户界面中显示能够使用所述远程控制用户界面来控制的一个或多个设备的列表,所述一个或多个设备包括所述第二电子设备。
76.根据权利要求75所述的方法,还包括:
在接收到所述虚拟触摸板区域中的所述触摸输入之前并且在显示要控制的所述一个或多个设备的所述列表时,接收选择所述列表中的所述第二电子设备的用户输入;以及
响应于接收到选择所述列表中的所述第二电子设备的所述用户输入,将所述远程控制用户界面配置为控制所述第二电子设备。
77.根据权利要求75至76中任一项所述的方法,其中:
显示一个或多个设备的所述列表包括减小所述远程控制用户界面中的所述虚拟触摸板区域的尺寸,以在所述远程控制用户界面中创建显示所述一个或多个设备的所述列表的显示区域;并且
当一个或多个设备的所述列表显示在所述远程控制用户界面中时,所述虚拟触摸板区域继续响应于触摸输入而执行所述第一组动作或所述第二组动作。
78.根据权利要求77所述的方法,其中减小所述虚拟触摸板区域的所述尺寸包括将所述虚拟触摸板区域的所述尺寸减小至不小于预先确定的尺寸。
79.根据权利要求67至78中任一项所述的方法,其中所述远程控制用户界面还包括用于控制所述第二电子设备的一个或多个示能表示。
80.根据权利要求79所述的方法,其中:
根据所述确定所述第二电子设备是所述第一类型的设备,所述一个或多个示能表示是用于执行第一组功能的第一组示能表示;并且
根据所述确定所述第二电子设备是所述第二类型的设备,所述一个或多个示能表示是用于执行与所述第一组功能不同的第二组功能的第二组示能表示。
81.根据权利要求80所述的方法,其中:
所述第一组示能表示包括用于在所述第二电子设备上发起搜索的搜索示能表示;并且
所述第二组示能表示不包括所述搜索示能表示。
82.根据权利要求80至81中任一项所述的方法,还包括:
响应于接收到选择用于控制所述第二电子设备的所述一个或多个示能表示中的一个示能表示的触摸输入,提供触觉反馈。
83.根据权利要求67至82中任一项所述的方法,其中响应于显示用于控制所述第二电子设备的所述远程控制用户界面的请求,显示所述远程控制用户界面。
84.根据权利要求83所述的方法,其中显示所述远程控制用户界面的所述请求包括选择控制用户界面上用于控制所述第一电子设备的多个功能的远程控制示能表示的用户输入。
85.根据权利要求83至84中任一项所述的方法,其中显示所述远程控制用户界面的所述请求包括选择回放控制用户界面上用于控制所述第二电子设备的内容回放的远程控制示能表示的用户输入。
86.根据权利要求83至85中任一项所述的方法,其中显示所述远程控制用户界面的所述请求包括选择唤醒屏幕用户界面上的远程控制示能表示的用户输入。
87.根据权利要求83至86中任一项所述的方法,其中显示所述远程控制用户界面的所述请求包括选择远程控制应用程序的用户输入。
88.根据权利要求67至87中任一项所述的方法,其中:
根据确定所述第一电子设备是第三类型的设备,所述远程控制用户界面在不与其他用户界面一起显示的情况下显示在所述触摸屏上;并且
根据确定所述第一电子设备是与所述第三类型的设备不同的第四类型的设备,所述远程控制用户界面与至少一个其他用户界面同时显示在所述触摸屏上。
89.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面,其中所述远程控制用户界面包括虚拟触摸板区域;
在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入;以及
响应于接收到所述虚拟触摸板区域中的所述触摸输入:
根据确定所述第二电子设备是第一类型的设备,执行与所述第一类型的设备对应的第一组动作中的第一相应动作;以及
根据确定所述第二电子设备是与所述第一类型的设备不同的第二类型的设备,执行与所述第二类型的设备对应的第二组动作中的第二相应动作,所述第二组动作与所述第一组动作不同。
90.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:
在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面,其中所述远程控制用户界面包括虚拟触摸板区域;
在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入;以及
响应于接收到所述虚拟触摸板区域中的所述触摸输入:
根据确定所述第二电子设备是第一类型的设备,执行与所述第一类型的设备对应的第一组动作中的第一相应动作;以及
根据确定所述第二电子设备是与所述第一类型的设备不同的第二类型的设备,执行与所述第二类型的设备对应的第二组动作中的第二相应动作,所述第二组动作与所述第一组动作不同。
91.一种电子设备,包括:
一个或多个处理器;
存储器;
用于在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面的装置,其中所述远程控制用户界面包括虚拟触摸板区域;
用于在显示所述远程控制用户界面时经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入的装置;以及
用于响应于接收到所述虚拟触摸板区域中的所述触摸输入而执行以下操作的装置:
根据确定所述第二电子设备是第一类型的设备,执行与所述第一类型的设备对应的第一组动作中的第一相应动作;以及
根据确定所述第二电子设备是与所述第一类型的设备不同的第二类型的设备,执行与所述第二类型的设备对应的第二组动作中的第二相应动作,所述第二组动作与所述第一组动作不同。
92.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面的装置,其中所述远程控制用户界面包括虚拟触摸板区域;
用于在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入的装置;以及
用于响应于接收到所述虚拟触摸板区域中的所述触摸输入而执行以下操作的装置:
根据确定所述第二电子设备是第一类型的设备,执行与所述第一类型的设备对应的第一组动作中的第一相应动作;以及
根据确定所述第二电子设备是与所述第一类型的设备不同的第二类型的设备,执行与所述第二类型的设备对应的第二组动作中的第二相应动作,所述第二组动作与所述第一组动作不同。
93.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求67至88中任一项所述的方法的指令。
94.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求67至88中任一项所述的方法。
95.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求67至88中任一项所述的方法的装置。
96.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求67至88中任一项所述的方法的装置。
97.一种方法,包括:
在与触摸屏通信的第一电子设备处:
在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面,其中:
所述远程控制用户界面包括虚拟触摸板区域;
根据确定所述第二电子设备正在显示第一内容,所述虚拟触摸板区域包括与所述第一内容相关联的一个或多个示能表示;并且
根据确定所述第二电子设备未显示所述第一内容,所述虚拟触摸板不包括与所述第一内容相关联的所述一个或多个示能表示;
在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入;以及
响应于接收到触摸输入:
根据确定所述触摸输入位于所述虚拟触摸板区域中的所述一个或多个示能表示中的一个示能表示处,执行与所述一个或多个示能表示中的所述一个示能表示相关联的动作;以及
根据确定所述触摸输入不在所述虚拟触摸板区域中的所述一个或多个示能表示处,执行和与所述触摸输入对应的触摸板致动相关联的动作。
98.根据权利要求97所述的方法,其中与所述第一内容相关联的所述一个或多个示能表示包括:用于使所述第一内容的回放后退的后退示能表示、用于使所述第一内容的回放快进的快进示能表示,以及用于设置用于所述第一内容的回放的字幕选项的字幕示能表示。
99.根据权利要求97至98中任一项所述的方法,其中所述一个或多个示能表示显示在所述虚拟触摸板区域的预定义区域中。
100.根据权利要求99所述的方法,还包括:
检测所述虚拟触摸板区域的所述预定义区域中的所述触摸输入的结束;以及
响应于检测到所述虚拟触摸板区域的所述预定义区域中的所述触摸输入的所述结束,根据确定在所述虚拟触摸板区域的所述预定义区域中未检测到所述触摸输入的开始,执行和与所述触摸输入对应的触摸板致动相关联的所述动作,而不执行与所述一个或多个示能表示相关联的所述动作。
101.根据权利要求97至100中任一项所述的方法,其中:
根据所述确定所述第二电子设备正在显示所述第一内容,所述远程控制用户界面还包括用于在所述第二电子设备上执行第一一个或多个动作的第一一个或多个示能表示;并且
根据所述确定所述第二电子设备未显示所述第一内容,所述远程控制用户界面还包括与所述第一一个或多个示能表示不同的第二一个或多个示能表示,所述第二一个或多个示能表示用于在所述第二电子设备上执行与所述第一一个或多个动作不同的第二一个或多个动作。
102.根据权利要求101所述的方法,其中根据确定所述第二电子设备正在显示文本输入用户界面,所述远程控制用户界面包括能够选择以显示覆盖在所述远程控制用户界面上的键盘输入用户界面的键盘示能表示。
103.根据权利要求102所述的方法,其中所述键盘输入用户界面包括:
覆盖在所述虚拟触摸板区域上的文本输入用户界面元素;以及
虚拟键盘用户界面元素。
104.根据权利要求103所述的方法,其中所述文本输入用户界面元素包括:用于显示用户输入的文本的文本输入字段、用于停止显示所述键盘输入用户界面的取消示能表示,以及用于经由语音输入输入文本的语音输入示能表示。
105.根据权利要求101至104中任一项所述的方法,其中根据确定所述第二电子设备未显示文本输入用户界面,所述远程控制用户界面包括能够选择以在所述第二电子设备上显示搜索用户界面的搜索示能表示,以及覆盖在所述远程控制用户界面上的键盘输入用户界面。
106.根据权利要求105所述的方法,还包括:
在接收到选择所述搜索示能表示的输入之后并且在显示所述键盘输入用户界面时,接收解除所述键盘输入用户界面的用户输入;以及
响应于接收到解除所述键盘输入用户界面的所述用户输入,用键盘示能表示替换所述搜索示能表示,所述键盘示能表示能够选择以显示覆盖在所述远程控制用户界面上的所述键盘输入用户界面。
107.根据权利要求101至106中任一项所述的方法,其中根据确定所述第二电子设备正在显示密码输入用户界面,所述远程控制用户界面包括覆盖在所述虚拟触摸板区域上的密码输入字段和虚拟数字小键盘用户界面。
108.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于如下操作的指令:
在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面,其中:
所述远程控制用户界面包括虚拟触摸板区域;
根据确定所述第二电子设备正在显示第一内容,所述虚拟触摸板区域包括与所述第一内容相关联的一个或多个示能表示;并且
根据确定所述第二电子设备未显示所述第一内容,所述虚拟触摸板不包括与所述第一内容相关联的所述一个或多个示能表示;
在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入;以及
响应于接收到触摸输入:
根据确定所述触摸输入位于所述虚拟触摸板区域中的所述一个或多个示能表示中的一个示能表示处,执行与所述一个或多个示能表示中的所述一个示能表示相关联的动作;以及
根据确定所述触摸输入不在所述虚拟触摸板区域中的所述一个或多个示能表示处,执行和与所述触摸输入对应的触摸板致动相关联的动作。
109.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:
在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面,其中:
所述远程控制用户界面包括虚拟触摸板区域;
根据确定所述第二电子设备正在显示第一内容,所述虚拟触摸板区域包括与所述第一内容相关联的一个或多个示能表示;并且
根据确定所述第二电子设备未显示所述第一内容,所述虚拟触摸板不包括与所述第一内容相关联的所述一个或多个示能表示;
在显示所述远程控制用户界面时,经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入;以及
响应于接收到触摸输入:
根据确定所述触摸输入位于所述虚拟触摸板区域中的所述一个或多个示能表示中的一个示能表示处,执行与所述一个或多个示能表示中的所述一个示能表示相关联的动作;并且
根据确定所述触摸输入不在所述虚拟触摸板区域中的所述一个或多个示能表示处,执行和与所述触摸输入对应的触摸板致动相关联的动作。
110.一种电子设备,包括:
一个或多个处理器;
存储器;
用于在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面的装置,其中:
所述远程控制用户界面包括虚拟触摸板区域;
根据确定所述第二电子设备正在显示第一内容,所述虚拟触摸板区域包括与所述第一内容相关联的一个或多个示能表示;并且
根据确定所述第二电子设备未显示所述第一内容,所述虚拟触摸板不包括与所述第一内容相关联的所述一个或多个示能表示;
用于在显示所述远程控制用户界面时经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入的装置;以及
用于响应于接收到所述触摸输入而执行以下操作的装置:
根据确定所述触摸输入位于所述虚拟触摸板区域中的所述一个或多个示能表示中的一个示能表示处,执行与所述一个或多个示能表示中的所述一个示能表示相关联的动作;以及
根据确定所述触摸输入不在所述虚拟触摸板区域中的所述一个或多个示能表示处,执行和与所述触摸输入对应的触摸板致动相关联的动作。
111.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于在所述触摸屏上显示用于控制第二电子设备的远程控制用户界面的装置,其中:
所述远程控制用户界面包括虚拟触摸板区域;
根据确定所述第二电子设备正在显示第一内容,所述虚拟触摸板区域包括与所述第一内容相关联的一个或多个示能表示;并且
根据确定所述第二电子设备未显示所述第一内容,所述虚拟触摸板不包括与所述第一内容相关联的所述一个或多个示能表示;
用于在显示所述远程控制用户界面时经由所述触摸屏接收所述虚拟触摸板区域中的触摸输入的装置;以及
用于响应于接收到所述触摸输入而执行以下操作的装置:
根据确定所述触摸输入位于所述虚拟触摸板区域中的所述一个或多个示能表示中的一个示能表示处,执行与所述一个或多个示能表示中的所述一个示能表示相关联的动作;以及
根据确定所述触摸输入不在所述虚拟触摸板区域中的所述一个或多个示能表示处,执行和与所述触摸输入对应的触摸板致动相关联的动作。
112.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求97至107中任一项所述的方法的指令。
113.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求97至107中任一项所述的方法。
114.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求97至107中任一项所述的方法的装置。
115.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求97至107中任一项所述的方法的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111197326.4A CN114020203A (zh) | 2019-01-04 | 2019-12-20 | 用于内容流式传输的用户界面 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962788683P | 2019-01-04 | 2019-01-04 | |
US62/788,683 | 2019-01-04 | ||
US201962806790P | 2019-02-16 | 2019-02-16 | |
US62/806,790 | 2019-02-16 | ||
PCT/US2019/068177 WO2020142293A1 (en) | 2019-01-04 | 2019-12-20 | User interfaces for content streaming |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197326.4A Division CN114020203A (zh) | 2019-01-04 | 2019-12-20 | 用于内容流式传输的用户界面 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113557700A true CN113557700A (zh) | 2021-10-26 |
Family
ID=69374369
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197326.4A Pending CN114020203A (zh) | 2019-01-04 | 2019-12-20 | 用于内容流式传输的用户界面 |
CN201980093648.9A Pending CN113557700A (zh) | 2019-01-04 | 2019-12-20 | 用于内容流式传输的用户界面 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197326.4A Pending CN114020203A (zh) | 2019-01-04 | 2019-12-20 | 用于内容流式传输的用户界面 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11635928B2 (zh) |
EP (1) | EP3906650A1 (zh) |
CN (2) | CN114020203A (zh) |
WO (1) | WO2020142293A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
KR102516577B1 (ko) | 2013-02-07 | 2023-04-03 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
USD916867S1 (en) * | 2019-02-15 | 2021-04-20 | Apple Inc. | Display screen or portion thereof with graphical user interface |
USD915446S1 (en) | 2019-02-19 | 2021-04-06 | Beijing Xiaomi Mobile Software Co., Ltd. | Mobile phone with animated graphical user interface |
USD916745S1 (en) * | 2019-05-08 | 2021-04-20 | Sleep Number Corporation | Display screen or portion thereof with graphical user interface |
WO2020253961A2 (en) * | 2019-06-20 | 2020-12-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Providing communication services using sets of i/o user devices |
US11223665B2 (en) * | 2019-09-25 | 2022-01-11 | Disney Enterprises, Inc. | Media content system for transferring a playback marker between network-connected playback devices |
US11589010B2 (en) | 2020-06-03 | 2023-02-21 | Apple Inc. | Camera and visitor user interfaces |
CN114168235B (zh) * | 2020-08-20 | 2024-06-11 | 华为技术有限公司 | 一种功能切换入口的确定方法与电子设备 |
US11172003B1 (en) * | 2020-09-17 | 2021-11-09 | Accenture Global Solutions Limited | System and method to control a media client using a message service |
CN112148181B (zh) * | 2020-09-30 | 2022-08-30 | 维沃移动通信有限公司 | 菜单显示方法、装置、电子设备及存储介质 |
US11523166B1 (en) * | 2020-11-30 | 2022-12-06 | Amazon Technologies, Inc. | Controlling interface of a multi-input modality device |
US20220248101A1 (en) * | 2021-01-29 | 2022-08-04 | Apple Inc. | User interfaces for indicating and/or controlling content item playback formats |
USD990507S1 (en) * | 2021-02-15 | 2023-06-27 | Eoflow Co., Ltd. | Display screen or portion thereof with a graphical user interface |
US11762458B2 (en) * | 2021-02-15 | 2023-09-19 | Sony Group Corporation | Media display device control based on eye gaze |
USD997184S1 (en) * | 2021-03-19 | 2023-08-29 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
WO2023235557A1 (en) * | 2022-06-03 | 2023-12-07 | Apple Inc. | User interfaces for managing accessories |
US11893960B1 (en) * | 2022-08-31 | 2024-02-06 | Dell Products L.P. | Information handling system collaborative touchpad display brightness management |
US11899923B1 (en) | 2022-08-31 | 2024-02-13 | Dell Products L.P. | Information handling system collaborative touchpad cursor over control icons |
US11977733B2 (en) | 2022-08-31 | 2024-05-07 | Dell Products L.P. | Information handling system collaborative touchpad dynamic scaling |
US11983399B2 (en) | 2022-08-31 | 2024-05-14 | Dell Products L.P. | Information handling system collaborative touchpad gesture activation and management |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3859005A (en) | 1973-08-13 | 1975-01-07 | Albert L Huebner | Erosion reduction in wet turbines |
US4826405A (en) | 1985-10-15 | 1989-05-02 | Aeroquip Corporation | Fan blade fabrication system |
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
US7663607B2 (en) | 2004-05-06 | 2010-02-16 | Apple Inc. | Multipoint touchscreen |
US20060033724A1 (en) | 2004-07-30 | 2006-02-16 | Apple Computer, Inc. | Virtual input device placement on a touch screen user interface |
EP1717683A3 (en) | 1998-01-26 | 2010-03-17 | Apple Inc. | Method and apparatus for integrating manual input |
US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US7844914B2 (en) | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
US11275405B2 (en) | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
US8279180B2 (en) | 2006-05-02 | 2012-10-02 | Apple Inc. | Multipoint touch surface controller |
US8006002B2 (en) | 2006-12-12 | 2011-08-23 | Apple Inc. | Methods and systems for automatic configuration of peripherals |
US7957762B2 (en) | 2007-01-07 | 2011-06-07 | Apple Inc. | Using ambient light sensor to augment proximity sensor output |
US9933937B2 (en) | 2007-06-20 | 2018-04-03 | Apple Inc. | Portable multifunction device, method, and graphical user interface for playing online videos |
US8180891B1 (en) * | 2008-11-26 | 2012-05-15 | Free Stream Media Corp. | Discovery, access control, and communication with networked services from within a security sandbox |
US8904289B2 (en) * | 2011-04-21 | 2014-12-02 | Touchstream Technologies, Inc. | Play control of content on a display device |
US9037683B1 (en) * | 2012-03-05 | 2015-05-19 | Koji Yoden | Media asset streaming over network to devices |
KR101952682B1 (ko) * | 2012-04-23 | 2019-02-27 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
CN104903834B (zh) | 2012-12-29 | 2019-07-05 | 苹果公司 | 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面 |
CN103984494A (zh) * | 2013-02-07 | 2014-08-13 | 上海帛茂信息科技有限公司 | 用于多种设备间的直觉式用户互动系统及方法 |
US9454251B1 (en) * | 2013-06-26 | 2016-09-27 | Google Inc. | Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state |
KR102133531B1 (ko) * | 2013-08-23 | 2020-07-13 | 삼성전자주식회사 | 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템 |
KR102078867B1 (ko) * | 2013-09-17 | 2020-02-18 | 삼성전자주식회사 | 제어권 관리 방법, 그에 따른 클라이언트 기기 및 그에 따른 마스터 기기 |
CN105940358B (zh) * | 2013-12-26 | 2019-02-22 | 英特尔公司 | 远程多触摸控制 |
US20160345039A1 (en) | 2013-12-30 | 2016-11-24 | Thomson Licensing | Proximity dependent media playback |
US9084003B1 (en) | 2014-06-19 | 2015-07-14 | Google Inc. | Methods, systems, and media for media playback |
US20160050242A1 (en) * | 2014-08-13 | 2016-02-18 | Xiaomi, Inc. | Methods and devices for playing streaming media data |
US20160173937A1 (en) * | 2014-12-11 | 2016-06-16 | Mediatek Inc. | Methods and devices for media casting management among multiple media casting devices supporting different media casting protocols |
US9871838B2 (en) * | 2014-12-18 | 2018-01-16 | Vizio, Inc | Media playback redirected to a networked renderer |
US10200416B2 (en) * | 2015-02-24 | 2019-02-05 | Vizio Inc | Global setting for casting content to networked renderer |
US9948980B2 (en) * | 2015-07-20 | 2018-04-17 | Google Llc | Synchronizing audio content to audio and video devices |
US10123077B2 (en) * | 2016-01-20 | 2018-11-06 | Google Llc | Methods and systems for controlling media display in a smart media display environment |
EP3751405A1 (en) * | 2016-06-12 | 2020-12-16 | Apple Inc. | User interface for managing controllable external devices |
US10338882B2 (en) * | 2016-09-26 | 2019-07-02 | Lenovo (Singapore) Pte. Ltd. | Contextual based selection among multiple devices for content playback |
US10992795B2 (en) | 2017-05-16 | 2021-04-27 | Apple Inc. | Methods and interfaces for home media control |
US10306299B2 (en) * | 2017-05-24 | 2019-05-28 | Google Llc | Methods, systems, and media for transferring playback of media content |
US11477516B2 (en) * | 2018-04-13 | 2022-10-18 | Koji Yoden | Services over wireless communication with high flexibility and efficiency |
JP7289617B2 (ja) * | 2018-07-31 | 2023-06-12 | キヤノン株式会社 | 通信装置、制御方法、およびプログラム |
-
2019
- 2019-09-25 US US16/583,209 patent/US11635928B2/en active Active
- 2019-12-20 WO PCT/US2019/068177 patent/WO2020142293A1/en unknown
- 2019-12-20 CN CN202111197326.4A patent/CN114020203A/zh active Pending
- 2019-12-20 EP EP19845648.5A patent/EP3906650A1/en active Pending
- 2019-12-20 CN CN201980093648.9A patent/CN113557700A/zh active Pending
-
2023
- 2023-04-24 US US18/306,202 patent/US20230259319A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN114020203A (zh) | 2022-02-08 |
US20230259319A1 (en) | 2023-08-17 |
US11635928B2 (en) | 2023-04-25 |
EP3906650A1 (en) | 2021-11-10 |
US20200220914A1 (en) | 2020-07-09 |
WO2020142293A1 (en) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113557700A (zh) | 用于内容流式传输的用户界面 | |
CN110554828B (zh) | 访问电子设备上的系统用户界面 | |
US11899895B2 (en) | User interfaces for setting up an electronic device | |
CN111209541B (zh) | 用于查看内容的多应用程序授权的方法和电子设备 | |
CN109313528B (zh) | 用于加速滚动的方法、电子设备和计算机可读存储介质 | |
CN113110774B (zh) | 显示和更新应用程序视图组 | |
CN114706522A (zh) | 用于与其他电子设备共享内容的用户界面 | |
CN113906378B (zh) | 用于访问账户的用户界面 | |
CN112262560B (zh) | 用于更新外部设备的网络连接设置的用户界面的方法、电子设备和非暂态计算机可读存储介质 | |
CN113835593A (zh) | 用于与提供在媒体浏览应用程序中播放的内容的频道进行交互的用户界面 | |
KR20230007540A (ko) | 콘텐츠-기반 촉각적 출력들 | |
CN114020149A (zh) | 用于限制通知和警报的用户界面 | |
CN114514497A (zh) | 用于自定义图形对象的用户界面 | |
CN110456971B (zh) | 用于共享上下文相关的媒体内容的用户界面 | |
US20220116399A1 (en) | Media service configuration | |
CN113574504A (zh) | 用于呈现关于应用程序功能的信息并促进应用程序功能的用户界面 | |
US11960615B2 (en) | Methods and user interfaces for voice-based user profile management | |
US20220365667A1 (en) | User interfaces for managing accessories | |
US11888796B2 (en) | User interfaces for messaging conversations | |
CN110456948B (zh) | 用于推荐和消费电子设备上的内容的用户界面 | |
EP4290858A2 (en) | Camera and visitor user interfaces | |
CN115698933A (zh) | 用于在选择模式之间转变的用户界面 | |
CN117957518A (zh) | 媒体控件用户界面 | |
CN117892264A (zh) | 用于基于语音的用户简档管理的方法和用户界面 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |