CN105183443A - 用于媒体和位置内容的捕获和传输的消息用户界面 - Google Patents

用于媒体和位置内容的捕获和传输的消息用户界面 Download PDF

Info

Publication number
CN105183443A
CN105183443A CN201510291012.9A CN201510291012A CN105183443A CN 105183443 A CN105183443 A CN 105183443A CN 201510291012 A CN201510291012 A CN 201510291012A CN 105183443 A CN105183443 A CN 105183443A
Authority
CN
China
Prior art keywords
message
equipment
display
certain
audio
Prior art date
Application number
CN201510291012.9A
Other languages
English (en)
Other versions
CN105183443B (zh
Inventor
L·Y·杨
R·加西亚
J·伍德
A·K·坎丹加斯
K·S·麦康伯
W-R·李
X·涂
O·M·维沃
Original Assignee
苹果公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201462006071P priority Critical
Priority to US62/006,071 priority
Priority to US201462047622P priority
Priority to US62/047,622 priority
Priority to PCT/US2015/032309 priority patent/WO2015183756A1/en
Priority to USPCT/US2015/032305 priority
Priority to PCT/US2015/032305 priority patent/WO2015183755A1/en
Priority to USPCT/US2015/032309 priority
Application filed by 苹果公司 filed Critical 苹果公司
Publication of CN105183443A publication Critical patent/CN105183443A/zh
Application granted granted Critical
Publication of CN105183443B publication Critical patent/CN105183443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04842Selection of a displayed object
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for entering handwritten data, e.g. gestures, text
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the screen or tablet into independently controllable areas, e.g. virtual keyboards, menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation, e.g. computer aided management of electronic mail or groupware; Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/107Computer aided management of electronic mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Real-time or near real-time messaging, e.g. instant messaging [IM] interacting with other applications or services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/08Messages including annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/10Messages including multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/20Messaging using geographical location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/22Mailbox-related details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages
    • H04L51/34Arrangements for user-to-user messaging in packet-switching networks, e.g. e-mail or instant messages with provisions for tracking the progress of a message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23216Control of parameters, e.g. field or angle of view of camera via graphical user interface, e.g. touchscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • H04N5/232933Graphical User Interface [GUI] specifically adapted for controlling image capture or setting capture parameters, e.g. using a touchscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23293Electronic viewfinders
    • H04N5/232939Electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

一种设备,提供用于从消息应用内捕获和发送诸如音频、视频或者图像之类的媒体的用户界面。设备检测该设备的移动,并且作为响应,播放或者录制音频消息。设备检测该设备的移动并且作为响应,发送录制的音频消息。设备与对话的一个或者多个消息参与者共享位置。

Description

用于媒体和位置内容的捕获和传输的消息用户界面
[0001] 巧关申请的香叉引用
[0002] 本申请要求2014年5月31日提交的、主题名称为"MESSAGEUSERINTERFACESFOR CAPTUREANDTRANSM口TALOFMEDIAANDLOCATIONCONTENT"的美国临时专利申请序列 号62/006,071W及2014年9月8日提交的、主题名称为"MESSAGEU沈RINTERFACESFOR CAPTUREANDTRANSM口TALOFMEDIAANDLOCATIONCONTENT"的美国临时专利申请序列号 62/047,622的优先权。运些申请的内容出于所有目的在此通过引用整体并入本文。
[000引 本申请设及2011年6月3日提交的、主题名称为"MOTIONPATTERN化ASSSIFICATIONANDGESTURERECOGNITION"的美国专利申请 13/153, 374 及 2011 年 6月3日提交的、主题名称为"M0TI0N-BA沈DDEVICEOPERATIONS"的美国专利申请序列号 13/153,335。运些申请的内容出于所有目的在此通过引用整体并入本文。
技术领域
[0004] 所公开的示例总体设及电子设备的用户界面。
背景技术
[0005] 消息可W包括各种媒体,诸如音频、视频或消息。一些系统可W要求用户启动消息 收发应用之外的媒体应用W便捕获、发送和查看媒体。此外,在消息中包括媒体可W要求用 户执行多个步骤W捕获内容,在消息中包括所捕获的内容,W及发送消息至接收方。接收方 可W随后需要执行多个步骤或者明确地启动分离的媒体应用W回放或者查看内容。
发明内容
[0006] 除了共享媒体之外,用户也可能希望将他们的位置信息与来自消息收发应用内的 一个或多个其他用户容易地共享,或者发起音频操作W用于通信。期望支持快速捕获并向 一个或多个接收方发送消息中媒体和位置信息或者发起音频操作的消息用户界面。
[0007] 然而,用于使用电子设备共享媒体和位置信息的一些技术通常是麻烦和低效的。 例如,对于支持媒体和/或位置信息的共享来说,现有技术使用复杂和耗时的用户界面,其 可W包括多个键码推压或者键击。现有技术需要比所必需的更多的时间,浪费了用户时间 和设备能量。该后者考虑在电池操作的设备中特别重要。
[0008] 在一些实施例中,一种用于在消息应用内捕获并且发送媒体的方法包括:在具有 触摸敏感表面和显示器的电子设备处,在显示器上显示媒体可供性(affordance)和用于 显示在消息对话中参与者之间所发送消息的消息区域;检测在触摸敏感表面上的手势,包 括检测在触摸敏感表面上的对应于显示器上的媒体可供性位置的位置处的接触;响应于检 测到接触,在显示器上显示发送可供性;检测手势的后续包括检测接触跨触摸敏感表面的 移动,之后检测接触从触摸敏感表面的抬起;确定接触是否移动至在触摸敏感表面上的、对 应于显示器上发送可供性位置的位置;W及根据接触移动至在触摸敏感表面上的、对应于 发送可供性位置的位置的确定,W及响应于检测到抬起,响应于手势的至少一部分向消息 对话中参与者发送所捕获的媒体。
[0009] 在一些实施例中,一种用于在消息收发应用内捕获并且发送视频的方法包括:在 具有触摸敏感表面和显示器的电子设备处,在显示器上显示媒体可供性和用于显示在消息 对话中参与者之间所发送消息的消息区域;检测在触摸敏感表面上的第一输入,其中第一 输入对应于显示器上媒体可供性的位置;响应于检测到第一输入,显示录制可供性W及发 送可供性;检测在触摸敏感表面上第二输入,其中第二输入对应于显示器上录制可供性的 位置;响应于检测到第二输入,开始录制视频;检测在触摸敏感表面上第=输入,其中第= 输入对应于显示器上发送可供性的位置;W及响应于检测到第=输入,向参与者发送所录 制的视频,W及从显示器去除发送可供性和录制可供性。
[0010] 在一些实施例中,一种用于在消息应用内捕获、发送并且播放音频消息的方法包 括:在具有触摸敏感表面和显示器的电子设备处,显示从消息对话中第一参与者接收的第 一音频消息的表示;检测对于播放第一音频消息的请求;响应于检测到请求,播放第一音 频消息;在播放第一音频消息之后,检测设备的上升;响应于检测到设备的上升,录制第二 音频消息;W及在录制第二音频消息之后,发送第二音频消息至第一参与者。
[0011] 在一些实施例中,一种用于对消息分组W用于在对话中显示的方法包括:在包括 触摸敏感表面和显示器的电子设备处,在时间间隔内从第一参与者接收多个消息;确定多 个消息是否满足消息分组准则;根据多个消息并未满足消息分组准则的确定,显示表示多 个消息的多个分离的界定的消息区域;W及根据多个消息满足消息分组准则的确定,显示 表示多个消息的单个分组界定消息区域。
[0012] 在一些实施例中,一种用于从消息对话中删除失效消息的方法包括:在包括触摸 敏感表面和显示器的电子设备处,接收第一消息;在显示器上显示第一消息的表示,其中一 旦满足失效准则则按计划删除第一消息;显示用于保持第一消息的可供性;根据检测到在 满足失效准则之前选择了可供性的确定,保持第一消息;W及根据在满足失效准则而并未 检测到可供性的选择,停止在显示器上显示第一消息的表示。
[0013] 在一些实施例中,一种用于共享位置信息的方法包括:在包括触摸敏感表面和显 示器的电子设备处,在显示器上显示用于显示在消息对话第一参与者与第二参与者之间所 发送消息的消息区域;当位置在至少预定时间段期间改变时,显示共享位置可供性W用于 向第二参与者共享第一参与者的位置;检测共享位置可供性的选择;W及响应于检测到共 享位置可供性的选择,向第二参与者提供使得第二参与者在至少预定时间段期间确定第一 参与者当前位置的信息。
[0014] 在一些实施例中,一种用于添加媒体至对话的方法包括:在具有相机传感器、触 摸敏感表面和显示器的电子设备处,在显示器上显示用于显示消息对话的消息区域;接收 对于添加媒体至消息对话的请求;响应于接收到请求,与消息对话的至少一部分并行地显 示媒体选择界面,其中媒体选择界面包括用于选择用于添加至消息对话的媒体的多个可供 性,多个可供性的至少一子集包括可用于添加至消息对话的媒体的缩略表示;从多个可供 性检测相应可供性的选择;W及响应于检测到相应可供性的选择,选择对应的媒体W用于 添加至消息对话。
[0015] 在一些实施例中,一种用于发起音频操作的方法包括:在包括麦克风的电子设备 处,基于电子设备移动和一个或多个邻近传感器读数来检测设备情景的改变;响应于检测 到设备情景的改变,确定设备是否满足音频操作准则,其中音频操作准则包括当电子设备 的移动满足移动准则并且一个或多个邻近传感器读数满足邻近准则时所满足的准则;W及 根据设备情景的改变满足音频操作准则的确定,发起音频操作;W及根设备情景的改变并 未满足音频操作准则的确定,放弃发起音频操作。
[0016] 在一些实施例中,一种用于发送音频消息的方法包括:在包括至少一个麦克风的 电子设备处,检测解读作为对于录制用于指定联系人的音频消息的请求的一个或多个条 件;响应于检测到一个或多个条件,使用至少一个麦克风产生音频录制;确定音频录制是 否满足拒绝准则;根据并未满足拒绝准则的确定,发送音频录制至指定联系人;W及根据 满足拒绝准则的确定,放弃发送音频录制至指定联系人。
[0017] 在一些实施例中,一种用于捕获并发送媒体的方法包括:在具有触摸敏感表面和 显示器的电子设备处,在显示器上显示媒体可供性、消息编辑域、W及参与者之间的消息对 话,其中消息对话显示在消息区域中;检测在触摸敏感表面上的、对应于显示器上媒体可供 性位置的位置处的接触;响应于检测到接触,在消息编辑域中显示实时媒体预览;检测接 触从触摸敏感表面的抬起;响应于检测到抬起,基于实况媒体预览捕获新图像;W及发送 所捕获的图像至消息对话中的参与者。
附图说明
[0018] 图1A是示出了根据一些实施例的具有触摸敏感显示器的便携式多动能设备的框 图。
[0019] 图1B是示出了根据一些实施例的用于事件处理的示例性部分的框图。
[0020] 图2示出了根据一些实施例的具有触摸屏的便携式多动能设备。
[0021] 图3是根据一些实施例的具有显示器和触摸敏感表面的示例性多动能设备的框 图。
[0022] 图4A示出了根据一些实施例的用于在便携式多动能设备上应用的菜单的示例性 用户界面。
[0023] 图4B示出了根据一些实施例的用于具有与显示器分离的触摸敏感表面的多动能 设备的示例性用户界面。
[0024] 图5A示出了根据一些实施例的个人电子设备。
[0025] 图5B是示出了根据一些实施例的个人电子设备的框图。
[0026] 图6A至图6B示出了根据一些实施例的示例性消息收发用户界面。
[0027] 图6C至图抓示出了根据一些实施例的示例性消息收发用户界面。
[002引图7A至图7B示出了根据一些实施例的示例性消息收发用户界面。
[0029] 图7C至图7D示出了根据一些实施例的示例性消息收发用户界面。
[0030] 图8示出了根据一些实施例的示例性消息收发用户界面。
[0031] 图9A至图9B示出了根据一些实施例的示例性消息收发用户界面。
[0032] 图10A至图10B示出了根据一些实施例的示例性消息收发用户界面。
[0033] 图11A至图11B示出了根据一些实施例的示例性消息收发用户界面。
[0034] 图11C至图11E示出了根据一些实施例的示例性消息收发用户界面。
[0035] 图11F至图11G示出了根据一些实施例的示例性消息收发用户界面。
[0036] 图12A至图12B示出了根据一些实施例的示例性消息收发用户界面。
[0037] 图13A至图13C示出了根据一些实施例的示例性消息收发用户界面。
[003引图14示出了根据一些实施例的示例性消息收发用户界面。
[0039] 图15A至图15B示出了根据一些实施例的示例性消息收发用户界面。
[0040] 图16A至图16B示出了根据一些实施例的示例性消息收发用户界面。
[0041] 图17A至图17C示出了根据一些实施例的示例性消息收发用户界面。
[0042] 图18A至图18C示出了根据一些实施例的示例性消息收发用户界面。
[0043] 图19A至图19B示出了根据一些实施例的示例性消息收发用户界面。
[0044] 图19C至图19D示出了根据一些实施例的示例性消息收发用户界面。
[0045] 图20示出了根据一些实施例的示例性消息收发用户界面。
[0046] 图21A至图21B示出了根据一些实施例的示例性消息收发用户界面。
[0047] 图22A至图22C示出了根据一些实施例的示例性消息收发用户界面。
[004引图22D示出了根据一些实施例的示例性消息收发用户界面。
[0049] 图23A至图23C示出了根据一些实施例的示例性消息收发用户界面。
[0050] 图24A至图24C示出了根据一些实施例的示例性消息收发用户界面。
[0051] 图25A至图25B示出了根据一些实施例的示例性消息收发用户界面。
[0052] 图25C至图2祀示出了根据一些实施例的示例性消息收发用户界面。
[0053] 图26示出了根据一些实施例的示例性消息收发用户界面。
[0054] 图27A至图27C示出了根据一些实施例的示例性消息收发用户界面。
[0055] 图28A至图28C示出了根据一些实施例的示例性消息收发用户界面。
[0056] 图29A至图29C示出了根据一些实施例的示例性消息收发用户界面。
[0057] 图30示出了根据一些实施例的示例性消息收发用户界面。
[005引图31示出了根据一些实施例的示例性消息收发用户界面。
[0059] 图32A至图32C示出了根据一些实施例的示例性消息收发用户界面。
[0060] 图33是示出了根据一些实施例的用于捕获W及发送媒体的方法的流程图。
[0061] 图34是示出了根据一些实施例的用于捕获W及发送媒体的方法的流程图。
[0062] 图35是示出了根据一些实施例的用于捕获W及发送媒体的方法的流程图。
[0063] 图36是示出了根据一些实施例的用于分组消息的方法的流程图。
[0064] 图37是示出了根据一些实施例的用于基于失效准则管理消息的方法的流程图。
[0065] 图38是示出了根据一些实施例的用于共享位置信息的方法的流程图。
[0066] 图39是示出了根据一些实施例的用于添加媒体至对话的方法的流程图。
[0067] 图40是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0068] 图41A至图41B是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0069] 图42A至图42B是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0070] 图43A至图43C是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0071] 图44A至图44B是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0072] 图44C是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0073] 图45A至图45B是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0074] 图45C是示出了根据一些实施例的用于发起音频操作的方法的流程图。
[0075]图46是示出了根据一些实施例的用于发送音频录制的方法的流程图。
[0076] 图47A至图47B是示出了根据一些实施例的用于发送音频录制的方法的流程图。
[0077] 图47C至图47D是示出了根据一些实施例的用于发送音频录制的方法的流程图。
[0078] 图48A至图48B是示出了根据一些实施例的用于发送音频录制的方法的流程图。
[0079]图49是示出了根据一些实施例的用于捕获并发送媒体的方法的流程图。
[0080] 图50示出了根据一些实施例的电子设备的功能框图。
[0081] 图51示出了根据一些实施例的电子设备的功能框图。
[0082] 图52示出了根据一些实施例的电子设备的功能框图。
[0083] 图53示出了根据一些实施例的电子设备的功能框图。
[0084] 图54示出了根据一些实施例的电子设备的功能框图。
[0085] 图55示出了根据一些实施例的电子设备的功能框图。
[0086] 图56示出了根据一些实施例的电子设备的功能框图。
[0087] 图57示出了根据一些实施例的电子设备的功能框图。
[008引图58示出了根据一些实施例的电子设备的功能框图。
[0089] 图59示出了根据一些实施例的电子设备的功能框图。
具体实施方式
[0090]W下说明书列出了示例性的方法、参数等等。然而应该知晓的是,该说明书并非意 在限定本公开的范围,而是替代地提供作为对示例性实施例的描述说明。
[0091]需要一种电子设备,其具有用于捕获、发送并在便携式电子设备上播放媒体内容 或位置数据的更快、更有效的方法和界面。例如,使得用户能够在消息收发应用内捕获并发 送的媒体内容的用户界面可W减少共享该内容所需的输入的数目,并且减小对参与消息对 话的用户的认知负担,由此增强了生产力。此外,运些技术可W减小另外浪费在冗余用户输 入上的处理器和电池能量。
[0092]W下,图1A至图1B、图2、图3、图4A至图4B、图5A至图5BW及图50至图59提 供了对用于执行用于捕获、发送和播放或查看媒体对象或位置内容的技术的示例性设备的 描述说明。图6A至图32C示出了用于捕获、发送、播放或查看媒体对象或位置内容、W及发 送所录制音频消息的示例性用户消息用户界面。图33至图49是示出了捕获、发送和播放 或查看媒体和位置内容、对用于显示的消息分组、从对话去除失效消息、发起音频操作W及 发送所录制消息的方法的流程图。
[0093]尽管W下说明书使用了术语"第一"、"第二"等W描述各种元件,运些元件并未由 术语所限定。运些术语仅用于将一个元件与另一个进行区分。例如,第一触摸可W称作第 二触摸,并且类似地第二触摸可W称作第一触摸,并未脱离各个所述实施例的范围。第一触 摸和第二触摸均是触摸,但是它们并非是相同触摸。
[0094]在此各个所述是实力的描述说明中所使用的术语仅是为了描述特定实施例的目 的,并非意在为限定性。如在各个所述实施例的描述W及所附权利要求中所使用的,单数形 式"一"、"一个"和"该"意在也包括复数形式,除非上下文明确给出相反指示。也应该理解, 如在此使用的术语"和/或"设及并且包括一个或多个相关所列项目的任意和所有可能组 合。应该进一步理解的是,当用于该说明书中时术语"包括"、"包含"、"含有"和/或"具有" 规定了所述特征、整数、步骤、操作、元件和/或部分的存在,但是并未排除一个或多个其他 特征、整数、步骤、操作、元件、部分和/或其群组的存在或添加。
[0095] 术语"如果"可W构造为意味着"当…时"或"一旦"或者"响应于确定"或者"响 应于检测",取决于上下文。类似地,短语"如果确定了 "或者"如果检测到[一定的条件或 事件]"可W构造为意味着"一旦确定"或"响应于确定"或者"一旦检测到[一定条件或事 件]"或者"响应于检测到[一定条件或事件]",取决于上下文。
[0096] 描述了电子设备、用于运些设备的用户界面、W及用于使用运些设备的相关方法 的实施例。在一些实施例中,设备是便携式通信设备,诸如移动电话,其也包含其他功能,诸 如PDA和/或音乐播放器功能。便携式多动能设备的示例性实施例包括但不限于,来自加 少HCupertino的苹果有限公司的iPhone®、iPodTouch⑥和iPad®歧备。可选地使 用其他便携式电子设备,诸如具有触摸敏感表面(例如触摸屏显示器和/或触摸板)的膝 上型或平板计算机。也应该理解,在一些实施例中,设备并非是便携式通信设备,而是具有 触摸敏感表面(例如触摸屏显示器和/或触摸板)的桌上型计算机。
[0097]在W下的讨论中,描述了一种包括显示器和触摸敏感表面的电子设备。然而应该 理解,电子设备可选地包括一个或多个其他物理用户界面设备,诸如物理键盘、鼠标和/或 操纵杆。设备可W支持各种应用,诸如W下项中的一个或多个:绘图应用、演示应用、文字处 理应用、网站创作应用、盘编写应用、电子表格应用、游戏应用、电话应用、视频会议应用、电 子邮件应用、即时消息收发应用、锻炼支持应用、照片管理应用、数字相机应用、数字视频相 机应用,网页浏览应用、数字音乐播放器应用和/或数字视频播放器应用。
[0098]在设备上运行的各种应用可选地使用至少一个公共物理用户界面设备,诸如触摸 敏感的表面。触摸敏感表面的一个或多个功能W及在设备上显示的对应的信息可选地从一 个应用至下一个和/或在相应应用内调整和/或改变。W此方式,设备的公共物理体系结 构(诸如触摸敏感表面)可选地支持了具有对用户直觉和透明的用户界面的各种应用。
[0099]现在关注转向具有触摸敏感显示器的便携式设备的实施例。图1A是示出了根据 一些实施例的具有触摸敏感显示器系统112的便携式多功能设备100的框图。触摸敏感 显示器112有时为了方便称作"触摸屏",并且有时已知作为或者称作"触摸敏感显示器系 统"。设备100包括存储器102 (其可选地包括一个或多个计算机可读存储介质),存储器 控制器122,一个或多个处理单元(CPU) 120,外围接口 118,RC电路装置108,音频电路装置 110,扬声器111,麦克风113,输入/输出(I/O)子系统106,其他输入控制设备116,W及外 部端口 124。设备100可选地包括一个或多个光学传感器164。设备100可选地包括用于 检测设备1〇〇(例如,触摸敏感表面,诸如设备100的触摸敏感显示器系统112)上接触的强 度的一个或多个接触强度传感器165。设备100可选地包括用于在设备100上产生触觉输 出的一个或多个触觉输出发生器167(例如在诸如设备100的触摸敏感显示器系统112或 者设备300的触摸板355的触摸敏感表面上产生触觉输出)。运些部分可选地通过一个或 多个通信总线或信号线路103进行通信。
[0100] 如在说明书和权利要求中所使用的那样,在触摸敏感表面上接触的术语"强度"设 及在触摸敏感表面上接触(例如指状接触)的力或压力(单位面积的力),或者设及对于 触摸敏感表面上接触的力或压力的替代(代理)。接触的强度具有包括至少四个不同数值 并且更通常包括数百个不同数值(例如至少256个)的数值范围。可选地,使用各种方案 和各种传感器或传感器的组合确定(或测量)接触的强度。例如,可选地使用在触摸敏感 表面下方或者与其相邻的一个或多个力传感器W测量在触摸敏感表面上各个点处的力。在 一些实施方式中,组合(例如加权平均)从多个力传感器得到的力测量值W确定接触的估 算力。类似地,可选地使用输入笔的压力敏感尖端W确定输入笔在触摸敏感表面上的压力。 备选地,在触摸敏感表面上检测到和/或改变对其的接触面积的尺寸、最靠近接触和/或改 变对其的触摸敏感表面的电容、和/或最靠近接触和/或改变对其的触摸敏感表面的电阻 可选地用作对于触摸敏感表面上接触的力或压力的替代。在一些实施方式中,对于接触力 或压力的替代测量值直接用于确定是否已经超过了强度阔值(例如在对应于替代测量值 的单位描述强度阔值)。在一些实施方式中,用于接触力或压力的替代测量值转换为估算力 或压力,并且估算力或压力用于确定是否已经超过了强度阔值(例如强度阔值为W压力单 位测得的压力阔值)。使用接触的强度作为用户输入的属性允许用户访问额外的设备功能, 其可W由用户在具有用于显示可供性(affordance)(例如在触摸敏感显示器上)和/或接 收用户输入(例如经由触摸敏感显示器,触摸敏感表面,或者诸如调节钮或按钮的物理/机 械控制)的有限占用面积的减小尺寸设备上所访问。
[0101] 如在说明书和权利要求中所使用的那样,术语"触觉输出"设及设备相对于设备之 前位置的物理位移,设备部分(例如触摸敏感表面)相对于设备另一部分(例如外壳)的物 理位移,或者部分相对于设备质屯、的位移,将由用户采用用户的触摸感觉而检测。例如,在 其中设备或设备部分与对于触摸敏感的用户表面(例如指状、手掌或用户手的其他部分) 接触的情形中,由物理位移产生的触觉输出将由用户解读为对应于感受到的设备或设备部 分的物理特性改变的触感。例如,触摸敏感表面(例如触摸敏感显示器或轨迹板)的移动 可选地由用户解读为物理致动器按钮的"向下点击"或"向上点击"。在一些情形中,甚至当 并未存在与由用户的移动物理地按压(例如位移)触摸敏感表面相关联的物理致动器按钮 运动时,用户将感受到诸如"向下点击"或"向上点击"的触感。作为另一示例,甚至当触摸 敏感表面的平滑度没有改变时,触摸敏感表面的移动可选地由用户解读或者感测为触摸敏 感表面的"粗糖度"。尽管由用户对触摸的运类解读将经受用户的个性化感官知觉,但是存 在对于大多数用户共同的许多触摸的感官知觉。因此,当触觉输出被描述为对应于用户的 特定感官知觉(例如"向上点击"、"向下点击"、"粗糖度")时,除非明确给出相反指示,否 则所产生的触觉输出对应于设备或其部分的物理位移,其将产生所描述的对于典型(或平 均)用户的感官知觉。
[0102] 应该知晓,设备100仅是便携式多功能设备的一个示例,W及设备100可选地具有 比所示更多或更少的部分,可选地组合两个或更多部分,或者可选地具有不同的部分配置 或设置。图1A中所示的各个部分实施在硬件、软件或者硬件与软件的组合中,包括一个或 多个信号处理和/或专用集成电路。
[0103] 存储器102可W包括一个或多个计算机可读存储介质。计算机可读存储介质可W 是有形的和非易失性的。存储器102可W包括高速随机存取存储器,并且也可W包括非易 失性存储器,诸如一个或多个磁盘存储设备、闪存设备、或其他非易失性固态存储器设备。 存储器控制器122可W由设备100的其他部分来控制对存储器102的访问。
[0104] 外围接口 118可W用于将设备的输入和输出外围设备禪合至CPU120和存储器 102。一个或多个处理器120运行或执行存储在存储器102中的各个软件程序和/或指令 集,W执行用于设备100的各个功能W及用于处理数据。在一些实施例中,外围接口 118、CPU120、W及存储器控制器122可W实施在单个忍片上,诸如忍片104。在一些其他实施例 中,它们可W实施在分立忍片上。
[0105]RF(射频)电路装置108接收并且发送RF信号,也称作电磁信号。RF电路装置 108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络 和其他通信设备通信。RF电路装置108可选地包括用于执行运些功能的已知电路装置, 包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字 信号处理器、CODEC忍片集、用户身份模块(SIM)卡、存储器等等。RF电路装置108可选地 由无线通信而与网络通信,诸如互联网、也称作万维网(WWW),内联网和/或无线网络,诸 如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)W及其他设备。RF电路装置108 可选地包括用于检测近场通信(NFC)场的已知电路装置,诸如通过短程通信无线电。无线 通信可选地使用任意多个通信标准、协议和技术,包括但不限于用于移动通信的全球系统 (GSM)、增强数据GSM环境巧DGE)、高速下行链路数据分组接入化SDPA)、高速上行链路数据 分组接入化SUPA)、演化、仅数据巧V-D0)、服PA、服PA+、双单元服PA值C-服PDA)、长期演化 化TE)、近场通信(NFC)、宽带码分多址访问(W-CDMA)、码分多址访问(CDMA)、时分多址访问 灯DMA)、蓝牙、蓝牙低能度TLE)、无线保真(Wi-Fi)(例如,IE邸802. 11曰、IE邸802. 1化、 IE邸802.llg、IE邸802.lln、和/或IE邸802.llac)、互联网协议之上的语音(Vol巧、 Wi-MAX、用于电子邮件的协议(例如互联网消息访问协议(IMAP)和/或邮局协议(POP))、 即时消息收发(例如可扩充消息收发和存在协议狂MPP)、用于即时消息收发和存在杠杆扩 展的通话启动协议(SIMPLE)、即时消息收发和存在服务(IMP巧、和/或短消息服务(SM巧), 或者任何其他合适的通信协议,包括本文件提交日当时尚未研发的通信协议。
[0106] 音频电路装置110、扬声器111和麦克风113在用户与设备100之间提供音频接 口。音频电路装置110从外围接口 118接收音频数据,将音频数据转换为电信号,并且将 电信号发送至扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路装置 110也从声波接收由麦克风113转换的电信号。音频电路装置110将电信号转换为音频数 据,并且发送音频数据至外围接口 118W用于处理。音频数据可W由外围接口 118从存储 器102和/或RF电路装置108检索和/或向其发送。在一些实施例中,音频电路装置110 也包括耳机插孔(例如图2的212)。耳机插孔提供在音频电路装置110与可移除的音频输 入/输出外围设备之间的接口,诸如仅输出的听筒或者具有输出(例如用于一只或两只耳 朵的听筒)和输入(例如麦克风)的耳机。
[0107]I/O子系统106将设备100上的输入/输出外围设备(诸如触摸屏112和其他输 入控制设备116)禪合至外围接口 118。I/O子系统106可选地包括显示控制器156,光学传 感器控制器158,强度传感器控制器159,触觉反馈控制器161,W及用于其他输入或控制设 备的一个或多个输入控制器160。一个或多个输入控制器160从其他输入控制设备116接 收/向其发送电信号。其他输入控制设备116可选地包括物理按钮(例如推压按钮、摇杆 按钮等)、拨号盘、滑块开关、操纵杆、点击轮等。在一些备选实施例中,输入控制器160可选 地禪合至W下项中的任意项(或一个也没有):键盘,红外端口,USB端口,W及诸如鼠标之 类的指针设备。一个或多个按钮(例如图2的208)可选地包括用于扬声器111和/或麦 克风113音量控制的向上/向下按钮。一个或多个按钮可选地包括推压按钮(例如图2的 206)。
[0108] 推压按钮的快速按压可W脱离触摸屏112的锁定,或者开始使用在触摸屏上手 势W解锁设备的过程,如2005年12月23日提交的主题名称为"化lockingaDevice byPerformingGesturesonanUnlockImage"的美国专利申请 11/322, 549、美国专利 No. 7, 657, 849中所述,该申请和专利在此通过引用整体并入本文。推压按钮(例如206)的 较长按压可W使得设备100打开或者关闭。用户可W能够定制一个或多个按钮的功能。触 摸屏112用于实施虚拟或软按钮W及一个或多个软键盘。
[0109] 触摸敏感显示器112提供设备与用户之间的输入接口和输出接口。显示控制器 156从触摸屏112接收电信号和/或向触摸屏112发送电信号。触摸屏112向用户显示视 觉输出。可视化输出可包括图形、文本、图标、视频W及它们的任何组合(统称为"图形")。 在一些实施例中,一些视觉输出或全部的视觉输出可对应于用户界面对象。
[0110] 触摸屏112具有基于触觉和/或触觉接触从用户接受输入的触摸敏感表面、传感 器或传感器组。触摸屏112和显示控制器156 (与存储器102中的任何相关联模块和/或 指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断),并且将所检测到的 接触转换为与显示在触摸屏112上的用户界面对象(例如,一个或多个软按键、图标、网页 或图像)的交互。在示例性实施例中,触摸屏112与用户之间的接触点对应于用户的指状。
[0111] 尽管其他显示器技术可在其他实施例中使用,但是触摸屏112可使用LCD(液晶 显示器)技术、LPD(发光聚合物显示器)技术,或LED(发光二极管)技术。使用现在已知 或W后开发的多种触摸传感技术中的任一触摸传感技术(该触摸传感技术包括但不限于 电容性的、电阻性的、红外和表面声波技术)W及其他接近传感器阵列或用于确定与触摸 屏112的一个或多个接触点的其他元件,触摸屏112和显示控制器156可检测到接触及其 任何移动或破坏。在一示例性实施例中,使用投射式互电容感测技术,诸如从AppleInc. (Cupedino,California)的iPho.觀⑥、iPodTOU純覆)和ip劲过⑥中发现的技术
[0112] 在触摸屏112的一些实施例中,触摸敏感显示器可W类似于在W下美国专利和/ 或申请中所述的多触摸敏感触摸板:6, 323, 846(Westerman等人),6, 570, 557(Westerman 等人),6, 677, 932 (Westerman),和/或美国专利申请No. 2002/0015024A1,上述专利和/或 申请在此通过引用均并入本文。然而,触摸屏112显示来自设备100的可视化输出,而触摸 敏感触摸板并不提供可视化输出。
[0113] 在触摸屏112的一些实施例中,触摸敏感显示器可W如在W下申请中描述: (1)2006 年5月 2 日提交的、主题名称为"MultipointTouchSurfaceController"的 美国专利申请No. 11/,381,313 ; (2) 2004年5月2日提交的、主题名称为"Multipoint Touchscreen"的美国专利申请No. 10/840,862 ;(3) 2004年7月30日提交的、主题名称 为"GesturesForTouchSensitiveI吨utDevices"的美国专利申请No. 10/903,964; (4)2005年 1 月 31 提交的、主题名称为"GesturesForTouchSensitiveInputDevices" 的美国专利申请11/048, 264; (5)2005年1月18日提交的、主题名称为"Mode-Based GraphicalUserInterfacesForTouchSensitiveInputDevices" 美国专利申 请齡.11/038,950;(6)2005年9月16日提交的、主题名称为"¥^化曰11吨11106¥山6 PlacementOnATouchScreenUserInterface"的美国专利申请No. 11/228, 758 ; (7)2005 年 9 月 16 日提交的、主题名称为"OperationofAComputerWithATouch Screen Interface"的美国专利申请N〇.11/228,700;(8)2005年9月16日提交的、主题 名称为"Activating Virtual Keys Of A Touch-Screen Virtual Keyboard"的美国专利 申请No. 11/228,737及(9) 2006年3月3日提交的、主题名称为"Multi-Functional Hand-Held Device"美国专利申请No. 11/367,749。运些申请全部在此通过引用整体并入 本文。
[0114] 触摸屏112可具有超过10(Mpi的视频分辨率。在一些实施例中,触摸屏具有大约 16(Mpi的视频分辨率。用户可使用任何合适的对象或附加物,诸如触笔、指状等来接触触摸 屏112。在一些实施例中,用户界面被设计为主要与基于指状的接触和手势一起工作,运与 基于触笔的输入相比由于指状在触摸屏上接触面积更大而可能精确度更低。在一些实施例 中,设备将基于指状的粗略输入翻译为精确的指针/光标位置或命令W执行用户所期望的 动作。
[0115] 在一些实施例中,除了触摸屏,设备100还可包括触摸板(未示出)W用于激活或 去激活特定的功能。在一些实施例中,触摸板是设备的触敏区域,该触敏区域与触摸屏不 同,其不显示视觉输出。触摸板可W是与触摸屏112分开的触摸敏感表面或者是由触摸屏 形成的触摸敏感表面的延伸。
[0116] 设备100还包括用于为各种部分供电的电力系统162。电力系统162可包括电源 管理系统、一个或多个功率源(例如,电池、交流电(AC))、再充电系统、电源故障检测电路、 电源转换器或反相器、电源状态指示符(例如,发光二极管(LED))W及与便携式设备中的 发电、电源管理和配电相关联的任何其他部分。
[0117] 设备100也可W包括一个或多个光学传感器164。图1A示出了 1/0子系统106中 禪合至光学传感器控制器158的光学传感器。光学传感器164可W包括电荷禪合器件(CCD) 或互补金属氧化物半导体(CM0巧光电晶体管。光学传感器164从环境接收穿过一个或多 个透镜投射的光,并且将光转换为代表图像的数据。结合成像模块143 (也称作相机模块), 光学传感器164可W捕获静态图像或视频。在一些实施例中,光学传感器位于设备100的 背面上,与设备正面上触摸屏显示区112相对,W使得触摸屏显示器可W用作用于静态和/ 或视频图像采集的探视镜。在一些实施例中,光学传感器位于设备的正面上,W使得当用户 查看触摸屏显示器上其他视频会议参与者时可W获得用户的图像W用于视频会议。在一些 实施例中,光学传感器164的位置可W由用户改变(例如通过旋转设备外壳中的透镜和传 感器)W使得可W使用单个光学传感器164W及触摸屏显示器W用于视频会议W及静态和 /或视频图像采集。
[0118] 设备100可选地也包括一个或多个接触强度传感器165。图1A示出了 1/0子系统 106中禪合至强度传感器控制器159的接触强度传感器。接触强度传感器165可选地包括 一个或多个压阻应变仪、电容力传感器、静电力传感器、压电力传感器、光学力传感器、电容 性触摸敏感表面、或其他强度传感器(例如用于测量触摸敏感表面上接触的力(或压力) 的传感器)。接触强度传感器165从环境接收接触强度信息(例如压力信息或者用于压力 信息的替代物)。在一些实施例中,至少一个接触强度传感器与触摸敏感表面(例如触摸 敏感显示器系统112)并列或者靠近。在一些实施例中,至少一个接触强度传感器位于设备 100的背面上,与位置设备100正面上的触摸屏显示器112相对。
[0119] 设备100也可W包括一个或多个邻近传感器166。图1A示出了禪合至外围接口 118的邻近传感器166。备选地,邻近传感器166可W禪合至I/O子系统106中的输入控制 器160。邻近传感器166可W如主题名称为"ProximityDetectorInHan化eldDevice" 的美国专利申请No. 11/241, 839、主题名称为"ProximityDetectorInHan化eldDevice" 的美国专利申请No. 11/240, 788、主题名称为"UsingAmbientLi曲tSensorToAu卵ent ProximitySensor0u1:put"的美国专利申请No. 11/620, 702、主题名称为"Automated ResponseToAndSensingOfUserActivityIn化rt油leDevices"的美国专利申请 No. 11/586,862、W及主题名称为"MethodsAndSystemsForAutomaticConfiguration Of化ri地erals"的美国专利申请No. 11/638, 251中所述而执行,运些申请在此通过引用整 体并入本文。在一些实施例中,当多功能设备放置在用户耳部附近时(例如当用户进行电 话呼叫时)邻近传感器关闭并且停用触摸屏112。
[0120] 设备100可选地也包括一个或多个触觉输出发生器167。图1A示出了在1/0子 系统106中禪合至触觉反馈控制器161的触觉输出发生器。触觉输出发生器167可选地包 括一个或多个电声设备,诸如扬声器或其他音频部分和/或将电能转换为线性运动的机电 设备,诸如电机、螺线管、电有源聚合物、压电致动器、静电致动器,或者其他触感输出产生 部分(例如设备上将电信号转换为触感输出的部分)。接触强度传感器165从触觉反馈模 块133接收触感反馈发生指令,并且在设备100上产生能够由设备100的用户感受到的触 感输出。在一些实施例中,至少一个触觉输出发生器与触摸敏感表面(例如触摸敏感显示 器系统112)并列或者靠近,并且可选地通过垂直(例如在设备100的表面中/外)或横向 (例如在与设备100表面相同表面中往复)移动触摸敏感表面而产生触感输出。在一些实 施例中,至少一个触觉输出发生器传感器位于设备100的背面上,与位于设备100正面上的 触摸屏显示器112相对。
[0121] 设备100也可W包括一个或多个加速度计168。图1A示出了禪合至外围接 口 118的加速度计168。备选地,加速度计168可W禪合至1/0子系统106中的输入控 制器 160。加速度计 168 可W如主题名称为"Acceleration-basedTheftDetection SystemforF*o;rt油leElectronicDevices"的美国专利公开No. 20050190059W及主题 名称为"MethodsAndApparatusesForOperatingAPortableDeviceBasedOnAn Accelerometer"的美国专利公开No. 20060017692中所述而执行,运两个申请在此通过引 用整体并入本文。在一些实施例中,信息基于对从该一个或多个加速度计所接收的数据的 分析而在触摸屏显示器上W纵向视图或横向视图被显示。设备100可选地除一个或多个加 速度计168之外还包括磁力仪(未示出)和GPS(或化0NASS或其它全球导航系统)接收 器(未示出),W用于获取关于设备100的位置和取向(例如,纵向或横向)的信息。用于 获得关于设备100的位置和朝向(例如纵向或横向)的信息。
[0122] 在一些实施例中,存储在存储器102中的软件部件包括操作系统126、通信模块 (或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入 模块(或指令集)134、全球定位系统(GP巧模块(或指令集)135W及应用程序(或指令 集)136。此外,在一些实施例中,存储器102存储设备/全局内部状态157,如图1A和3中 所示。设备/全局内部状态157包括W下中的一个或多个:活动应用程序状态,其指示哪些 应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其它信息 占据触摸屏显示器112的各个区域;传感器状态,包括从设备的各个传感器和输入控制设 备116获取的信息;W及关于设备的位置和/或姿态的位置信息。
[0123]操作系统 126 (例如,Darwin、RTXC、LINUX、UNIX、0SX、WINDOWS、或嵌入式操作系 统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电 源管理等)的各种软件部件和/或驱动器,并且有利于各种硬件和软件部件之间的通信。
[0124] 通信模块128有利于通过一个或多个外部端口 124来与其他设备进行通信,并且 还包括用于处理由RF电路108和/或外部端口 124所接收的数据的各种软件部件。外部 端口 124(例如,通用串行总线扣SB)、火线等)适于直接禪接至其它设备或者间接地通过网 络(例如,互联网、无线LAN等)禪接。在一些实施例中,外部端口是与iPod(AppleInc.的 商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如,30针) 连接器。
[0125] 接触/运动模块130可检测到与触摸屏112 (结合显示控制器156)和其他触敏设 备(例如,触摸板或物理点击式触摸转盘)的接触。接触/运动模块130包括各种软件部 件W用于执行与接触检测相关的各种操作,诸如确定是否发生接触(例如,检测手指向下 事件),确定是否有接触运动W及跟踪在触摸敏感表面上的运动(例如,检测一个或多个手 指拖动事件),W及确定接触是否已停止(例如,检测手指抬起事件或接触中的中断)。接 触/运动模块130从触摸敏感表面接收接触数据。确定由一系列的接触数据所表示的接触 点的运动,运可包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值 和/或方向的变化)。运些操作可施加于单个接触(例如,一个指状接触)或多个同时的接 触(例如,"多点触摸"/多个指状接触)。在一些实施例中,接触/运动模块130和显示控 制器156检测触摸板上的接触。
[0126] 在一些实施例中,接触/运动模块130使用一个或多个强度阔值的集合,W确定是 否已经由用户执行了操作(例如W确定用户是否已经"点击"图标)。在一些实施例中,根 据软件参数确定强度阔值的至少一子集(例如并不由特定物理致动器的激活阔值来确定 强度阔值,并且可W在不改变设备100的物理硬件的情形下调整强度阔值)。例如,触摸板 或触摸屏显示器的鼠标"点击"阔值可W设置为预定阔值范围的任何大范围,而不必改变触 摸板或触摸屏显示器硬件。额外地,在一些实施方式中,向设备的用户提供软件设置W用于 调整强度阔值的一个或多个集合(例如通过调整单个强度阔值和/或通过采用系统级点击 "强度"参数一次性调整多个强度阔值)。
[0127] 接触/运动模块130可由用户检测手势输入。触摸敏感表面上的不同的手势具有 不同的接触模式。因此,手势可通过检测特定的接触模式而被检测到。例如,检测到手指轻 击手势包括检测到手指按下事件、然后在与手指按下事件相同的位置(或基本上相同的位 置)处(例如,在图标位置处)检测到手指向上(抬起)事件。又如,在触摸敏感表面上检 测手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检 测手指抬起(抬起)事件。
[012引图形模块132包括各种已知的软件部件W用于擅染和显示触摸屏112或其他显 示器上的图形,该显示触摸屏或其他显示器包括用于改变被显示的图形强度的部件。如本 文所使用,术语"图形"包括可被显示给用户的任何对象,非限制性地包括文本、网页、图标 (诸如包括软按键的用户界面对象)、数字图像、视频、动画等等。
[0129]在一些实施例中,图形模块132存储表示要使用的图形的数据。每个图形可被分 配到对应的代码。图形模块132从应用程序等接收指定待显示的图形的一个或多个代码, 在必要的情况下还一起接收坐标数据和其它图形属性数据,然后生成屏幕图像数据来输出 给显示控制器156。
[0130] 触觉反馈模块133包括用于产生由触觉输出发生器167使用的指令的各个软件部 分,W响应于用户与设备100的交互在设备100上的一个或多个位置处产生触感输出。
[0131] 文本输入模块134可W是图形模块132的部分,该文本输入模块提供了软键盘W 用于输入各种应用程序中的文本(例如,联系人137、电子邮件140、即时消息141、浏览器 147、W及任何其他需要文本输入的应用程序)。
[0132]GI^S模块135确定设备的位置并且将该信息提供用于各种应用程序(例如,用于基 于位置拨号的电话138、作为画面/视频元数据的相机143和提供基于位置的服务的应用程 序,诸如天气桌面小部件、本地黄页桌面小部件和地图/导航桌面小部件)。
[0133] 应用136可W包括W下模块(或指令集),或者其子集或超集:
[0134] 联系人模块137 (有时称作地址簿或联系人列表);
[0135] 电话模块138;
[0136] 视频会议模块139;
[0137] 电子邮件客户端模块140;
[013引即时消息收发(IM)模块141;
[0139] 锻炼支持模块142;
[0140] 用于静态和/或视频图像的相机模块143;
[014。 图像管理模块144;
[0142] 视频播放器模块;
[0143] 音乐播放器模块;
[0144] 浏览器模块147;
[014引 日历模块148;
[0146] 小部件模块149,该小部件模块模块可包括W下中的一者或多者:天气小部件模 块149-1、股市小部件模块149-2、计算器小部件模块149-3、闹钟小部件模块149-4、词典小 部件模块149-5和由用户获取的其他小部件模块W及用户创建的小部件模块149-6;
[0147] 小部件发生器模块150,用于形成用户产生的小部件149-6;
[014引捜索模块151;
[0149] 视频和音乐播放器模块152,其合并了视频播放器模块和音乐播放器模块;
[0150] 记事本模块153;
[015。 地图模块154;和/或
[0152] 在线视频模块155。
[0153] 可存储在存储器102中的其他应用程序136的实例包括其他文字处理应用程序、 其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持java的应用程序、加密、数字 权限管理、语音识别和语音复制。
[0154] 结合触摸屏112、显示控制器156、接触模块130、图形模块132和文本输入模块 134,联系人模块137可用于管理通讯录或联系人列表(例如,存储在存储器102或存储器 370中的联系人模块137的应用程序内部状态192),包括:将一个或多个姓名添加到通讯 录;从通讯录删除一个或多个姓名;将一个或多个电话号码、一个或多个电子邮件地址、一 个或多个物理地址或其他信息与姓名相关联;将图像与姓名进行关联;对姓名进行归类和 分类;提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮 件140或即时消息收发141的通信;等等。
[0155] 结合RF电路装置108、音频电路装置110、扬声器111、麦克风113、触摸屏112、显 示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电话模块138可W 用于输入对应于电话号码的字符序列,访问联系人模块137中一个或多个电话号码,修改 已经输入的电话号码,拨打相应电话号码,进行会话并且当完成会话时断开或挂断。如上所 述,无线通信可W使用任意多个通信标准、协议和技术中的任一个。
[0156] 结合RF电路装置108、音频电路装置110、扬声器111、麦克风113、触摸屏112、显 示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、 文本输入模块134、联系人模块137、W及电话模块138,视频会议模块139包括根据用户指 令发起、进行和终止用户与一个或多个其他参与者之间的视频会议的可执行指令。
[0157] 结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模 块132、W及文本输入模块134,电子邮件客户端模块140包括响应于用户指令来创建、发 送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140 使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。 [015引结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模 块132、W及文本输入模块134,即时消息收发模块141包括用于输入对应于即时消息的字 符序列、修改先前输入的字符、传输相应即时消息(例如,使用短消息服务(SM巧或多媒体 消息服务(MM巧协议W用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPSW用于基 于互联网的即时消息)、接收即时消息W及查看所接收的即时消息的可执行指令。在一些 实施例中,所传输和/或所接收的即时消息可包括在MMS和/或增强的消息服务(EM巧中 所支持的图形、照片、音频文件、视频文件和/或其他附件。如本文所使用,"即时消息"是 指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用 XMPP、SIMPLE、或IMPS发送的消息)两者。。
[0159] 结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模 块132、文本输入模块134、GI^S模块135、地图模块154W及音乐播放器模块,锻炼支持模块 142包括创建锻炼(例如,具有时间、距离和/或卡路里燃烧目标)的可执行指令;与健身 传感器(运动设备)进行通信;接收健身传感器数据;校准用于监视健身的传感器;选择和 播放用于健身的音乐;W及显示、存储和传输健身数据。
[0160] 结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/ 运动模块130、图形模块132W及图像管理模块144,相机模块143包括捕获静态图像或视 频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特性、或从存储 器102删除静态图像或视频的可执行指令。
[0161] 结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模 块134W及相机模块143,图像管理模块144包括排列、修改(例如,编辑)、或W其他方式 操控、加标签、删除、呈现(例如,在数字幻灯片或相册中)W及存储静态图像和/或视频图 像的可执行指令。
[0162] 结合RF电路装置108、触摸显示器112、显示控制器156、接触/运动模块130、图 形模块132W及文本输入模块134,浏览器模块147浏览器模块147包括根据用户指令浏览 互联网(包括捜索、链接到、接收和显示网页或其部分W及链接到网页的附件和其他文件) 的可执行指令。
[0163] 结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模块 132、文本输入模块134、电子邮件客户端模块140、W及浏览器模块147,日历模块148包括 用于根据用户指令创建、显示、修改、和存储日历和与日历相关联的数据(例如,日历条目、 待办任务列表等)的可执行指令。
[0164] 结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模 块132、文本输入模块134W及浏览器模块147,小部件模块149是可由用户下载和使用(例 如,天气小部件149-1、股市小部件149-2、计算器小部件149-3、闹钟小部件149-4和词典小 部件149-5)或者用户创建(例如,用户创建的小部件149-6)的迷你应用程序。在一些实施 例中,桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和化vaScript 文件。在一些实施例中,桌面小程序包括XML(可扩展标记语言)文件和化vaScript文件 (例如,Y址00 !桌面小程序)。
[0165] 结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模 块132、文本输入模块134W及浏览器模块147,小部件生成器模块150可由用户用于创建 小部件(例如,将网页的用户指定的部分变成小部件)。
[0166] 结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132W及文本输 入模块134,捜索模块151包括根据用户指令来捜索存储器102中的匹配一个或多个捜索条 件(例如,一个或多个用户指定的捜索词)的文本、音乐、声音、图像、视频和/或其他文件 的可执行指令。
[0167] 结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路装 置110、扬声器111、RF电路装置108、W及浏览器模块147,音频和音乐播放器模块152包 括允许用户下载和回放W-种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音 乐和其他声音文件的可执行指令,W及显示、呈现或W其他方式回放视频(例如,在触摸屏 112上或在经由外部端口 124连接的外部显示器上)的可执行指令。在一些实施例中,设备 100可包括MP3播放器诸如iPod(AppleInc.的商标)的功能。
[016引结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132W及文本输 入模块134,记事本模块153包括根据用户指令来创建和管理记事本、待办事项等的可执行 指令。
[0169] 结合RF电路装置108、触摸屏112、显示控制器156、接触/运动模块130、图形模 块132、文本输入模块134、GI^S模块135W及浏览器模块147,地图模块154根据用户指令 可用于接收、显示、修改和存储地图和与地图相关联的数据(例如,行驶方向;特定位置处 或附近的商店和其它兴趣点的数据;W及其他基于位置的数据)。
[0170] 结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路装 置110、扬声器111、RF电路装置108、文本输入模块134、电子邮件客户端模块140W及浏 览器模块147,在线视频模块155包括指令,该指令允许用户访问、浏览、接收(例如,通过流 媒体和/或下载)、回放(例如在触摸屏上或经由外部端口 124所连接的外部显示器上)、 发送具有至特定的在线视频的链接的电子邮件,w及w其他方式管理一种或多种文件格式 诸如H. 264的在线视频。在一些实施例中,即时消息模块141而不是电子邮件客户端模块 140用于发送链接至特定的在线视频。对在线视频应用的额外描述可W在2007年6月20 日提交的、主题名称为"Port油leMultifunctionDevice,Method,andGra地icalUser InterfaceforPlayingOnlineVideos"的美国临时专利申请No. 60/936, 562W及2007年 12 月 31 日提交的、主题名称为叩o;rt油leMultifunctionDevice,Method,andGra地ical UserInterfaceforPlayingOnlineVideos"的美国专利申请No. 11/968, 067 中找到,运 些申请的全文在此通过引用整体并入本文。
[0171] 上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能W及在 本申请中所描述的方法(例如,本文中所描述的计算机实现的方法和其他信息处理方法) 的一组可执行指令。运些模块(即指令集)不需要作为单独的软件程序、过程或模块来实 现,因此运些模块的各种子集可组合或W其他方式被重新布置在各种实施例中。例如,视频 播放器模块可W与音乐播放器模块组合为单个模块(例如视频和音乐播放器模块152,图 1A)。在一些实施例中,存储器102可W存储W上所标识模块和数据结构的子集。此外,存 储器102可W存储W上并未描述的额外的模块和数据结构。
[0172] 在一些实施例中,设备100是该设备上的预定义的一组功能的操作唯一地通过触 摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触摸板作为用于设备100的操作 的主要输入控制设备,设备100上的物理输入控制设备(诸如推压按钮、刻度盘等)的数量 可减少。
[0173] 通过触摸屏和/或触摸板排他地执行的功能的预定集合可选地包括在用户界面 之间的导航。在一些实施例中,当用户触摸触摸板时,设备100被从可显示在设备100上的 任何用户界面导航到主菜单、主屏幕菜单或根菜单。在运样的实施例中,触摸板可W被称为 "菜单按钮"。在一些其他实施例中,菜单按钮可W是物理推压按钮或者其他物理输入控制 设备,而非触摸板。
[0174] 图1B是示出了根据一些实施例的用于事件处理的示例性部分的框图。在一些实 施例中,存储器102 (图1A)或370 (图3)包括事件分类器170 (例如在操作系统126中) W及相应应用136-1 (例如任意前述应用137-151,155, 380-390)。事件分类器170接收事 件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图 191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施例中,应用 程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或 正在执行时显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施例中, 设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的, 并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视 图 191。
[01巧]在一些实施例中,应用内部状态192包括额外的信息,诸如一个或多个:当应用 136-1恢复执行时恢复将要使用的信息,指示了正在显示的信息或者准备由应用136-1显 示的用户界面状态信息,用于使得用户回到应用136-1的之前状态或者视图的状态队列, W及由用户采取的之前动作的重做/撤销队列。
[0176]事件监控器171从外围接口 118接收事件信息。事件信息包括关于子事件的信息 (例如在触摸敏感显示器112上用户触摸,作为多触摸手势的一部分)。外围接口 118发送 其从I/O子系统106或传感器、诸如邻近传感器166、加速度计168和/或麦克风113 (通过 音频电路装置110)接收的信息。外围接口 118从I/O子系统106接收的信息包括来自触 摸敏感显示器112或触摸敏感表面的信息。
[0177] 在一些实施例中,事件监视器171W预先确定的间隔将请求发送至外围设备接口 118。作为响应,外围设备接口 118传输事件信息。在其它实施例中,外围设备接口 118仅 当存在显著事件(例如,接收到高于预先确定的噪声阔值的输入和/或接收到超过预先确 定的持续时间的输入)时传输事件信息。在一些实施例中,事件分类器170也包括命中视 图确定模块172和/或活动事件识别器确定模块173。
[0178] 命中视图确定模块172提供用于当触摸敏感显示器112显示多于一个视图时确定 子事件已经在一个或多个视图内何处发生的软件程序。视图由控件W及用户可W在显示器 上看到的其他元素构成。
[0179] 与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程 序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。其中检测到触摸的 (相应的应用程序的)应用程序视图可对应于应用程序的程序化或视图分级结构内的程序 化水平。例如,其中所检测到的触摸的最低水平视图可称为命中视图,并且被认为是正确输 入的一组事件可至少部分地基于初始触摸的命中视图来确定,该初始触摸开始基于触摸的 手势。
[0180] 命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序 具有W分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为该分级结构 中应当处理该子事件的最低视图。在大多数情况下,命中视图是发起子事件(即形成事件 或潜在事件的子事件序列中的第一个子事件)在其中发生的最低水平视图。一旦命中视图 被命中视图确定模块识别,命中视图通常接收与其被识别为命中视图所针对的同一触摸或 输入源相关的所有子事件。
[0181] 活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应该接收 特定的子事件序列。在一些实施例中,活动事件识别器确定模块173确定仅命中视图应当 接收特定的子事件序列。在其它实施例中,活动事件识别器确定模块173确定包括子事件 的物理位置在内的所有视图均为主动参与的视图,因此确定了所有主动参与的视图均应接 收特定的子事件序列。在其它实施例中,即使触摸子事件完全被局限到与一特定视图相关 联的区域,分级结构中更高的视图将仍然保持为主动参与的视图。
[0182] 事件分配器模块174将事件信息调度到事件识别器(例如,事件识别器180)。在 包括活动事件识别器确定模块173的实施例中,事件分配器模块174将事件信息递送到由 活动事件识别器确定模块173确定的事件识别器。在一些实施例中,事件分配器模块174 在事件队列中存储事件信息,该事件信息由相应事件接收器模块182检索。
[0183] 在一些实施例中,操作系统126包括事件分类器170。另选地,应用程序136-1包 括事件分类器170。在另一实施例中,事件分类器170是独立的模块,或者是存储在存储器 102中的另一模块(诸如接触/运动模块130)的一部分。
[0184] 在一些实施例中,应用程序136-1包括多个事件处理程序190和一个或多个应用 程序视图191,其中每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触 摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。 通常,相应应用程序视图191包括多个事件识别器180。在其它实施例中,事件识别器180 中的一个或多个是独立模块的一部分,独立模块诸如是用户界面工具包(未示出)或应用 程序136-1从中继承方法和其它特性的更高水平对象。在一些实施例中,相应事件处理程 序190包括W下中的一个或多个:数据更新器176、对象更新器177、GUI更新器178和/或 从事件分类器170接收的事件数据179。事件处理程序190可利用或调用数据更新器176、 对象更新器177或GUI更新器178W更新应用程序内部状态192。或者,应用程序视图191 中的一个或多个包括一个或多个相应事件处理程序190。另外,在一些实施例中,数据更新 器176、对象更新器177和GUI更新器178中的一个或多个被包括在相应应用程序视图191 中。
[0185]相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179), 并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一 些实施例中,事件识别器180还包括W下的至少一个子集:元数据183、W及事件递送指令 188 (其可包括子事件递送指令)。
[0186] 事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件的信 息,例如触摸或触摸移动。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当 子事件设及触摸的运动时,事件信息也可包括子事件的速率和方向。在一些实施例中,事件 包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向趋向,反之亦然),并 且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
[0187]事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该 比较来确定事件或子事件、或者确定或更新事件或子事件的状态。在一些实施例中,事件比 较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列), 例如事件1(187-1)、事件2(187-2)W及其它。在一些实施例中,事件187中的子事件包括 例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个实例中,事件1(187-1) 的定义是被显示对象上的双击。例如,该双击包括被显示对象上的预定时长的第一次触摸 (触摸开始)、预定时长的第一次抬起(触摸结束)、该被显示对象上的预定时长的第二次触 摸(触摸开始)、W及预定时长的第二次抬起(触摸结束)。在另一实例中,事件2 (187-2)的 定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预定时长的触摸(或接触)、 横跨触敏显示器112的触摸的移动,W及触摸的抬起(触摸结束)。在一些实施例中,事件 还包括用于一个或多个相关联的事件处理程序190的信息。
[018引在一些实施例中,事件定义187包括事件的用于相应的用户界面对象的定义。在 一些实施例中,事件比较器184执行命中测试W确定哪个用户界面对象与子事件相关联。 例如,在其中在触敏显示器112上显示=个用户界面对象的应用程序视图中,当在触敏显 示器112上检测到触摸时,事件比较器184执行命中测试W确定运=个用户界面对象中的 哪个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理 程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当 被激活。例如,事件比较器184选择与触发该命中测试的子事件和对象相关联的事件处理 程序。
[0189]在一些实施例中,相应事件187的定义还包括延迟动作,该延迟动作延迟事件信 息的递送,直到已确定子事件序列是否对应于事件识别器的事件类型之后。
[0190] 当相应的事件识别器180确定子事件串不与事件定义186中的任何事件匹配,贝U 该相应事件识别器180进入事件不可能、事件失败、或事件结束状态,然后其忽视该基于触 摸的手势的后续子事件。在运种情况下,保持活动W用于命中视图的其他事件识别器(如 果有的话)继续跟踪和处理持续的基于接触的手势的子事件。
[0191] 在一些实施例中,相应的事件识别器180包括具有指示事件递送系统应如何执行 对主动参与的事件识别器的子事件递送的可配置的属性、标记和/或列表的元数据183。在 一些实施例中,元数据183包括指示事件识别器如何彼此进行交互的可配置的属性、标记 和/或列表。在一些实施例中,元数据183包括指示子事件是否被递送到视图或程序化分 级结构中的变化水平的可配置的属性、标记和/或列表。
[0192] 在一些实施例中,当事件的一个或多个特定子事件被识别时,相应事件识别器180 激活与事件相关联的事件处理程序190。在一些实施例中,相应的事件识别器180将与该事 件相关联的事件信息递送到事件处理程序190。激活该事件处理程序190不同于将子事件 发送(和延期发送)到相应的命中视图。在一些实施例中,事件识别器180抛出与所识别 的事件相关联的标记,并且与该标记相关联的事件处理程序190接到该标记并执行预定义 的过程。
[0193] 在一些实施例中,事件递送指令188包括递送关于子事件的事件信息而不激活事 件处理程序的子事件递送指令。替代地,子事件递送指令将事件信息递送到与子事件串相 关联的事件处理程序或者递送到主动参与的视图。与子事件串或与主动参与的视图相关联 的事件处理程序接收事件信息并执行预先确定的过程。
[0194] 在一些实施例中,数据更新器176创建并更新在应用程序136-1中使用的数据。例 如,数据更新器176对在联系人模块137中使用的电话号码进行更新,或者对在视频播放器 模块145中使用的视频文件进行存储。在一些实施例中,对象更新器177创建并更新在应 用程序136-1中使用的对象。例如,对象更新器176创建新的用户界面对象,或者更新用户 界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息并将其发 送至图形模块132W用于显示在触敏显示器上。
[0195] 在一些实施例中,一个或多个事件处理程序190包括数据更新器176、对象更新器 177和GUI更新器178或者具有对数据更新器176、对象更新器177和GUI更新器178的访 问权限。在一些实施例中,数据更新器176、对象更新器177和GUI更新器178被包括在相 应应用程序136-1或应用程序视图191的单个模块中。在其它实施例中,它们被包括在两 个或更多个软件模块中。
[0196] 应当理解,有关触敏显示器上的用户触摸的事件处理的前述讨论还适用于对具有 输入设备的多功能设备100进行操作的其他形式的用户输入,并非所有输入都在触摸屏上 发起,例如利用或者不利用触摸板上的单个或多个键盘按下或保持、用户移动轻击、拖动、 滚动等,利用或者不利用手写触笔输入、设备移动、口头指令、所检测的眼睛移动、生物特征 输入和/或它们的任何组合来协调鼠标移动和鼠标按钮按下,该鼠标移动和鼠标按钮按下 可用作对应于定义待识别的事件的子事件的输入。
[0197] 图2根据一些实施例示出了具有触摸屏112的便携式多功能设备100。触摸屏可 在用户界面扣1)200内显示一个或多个图形。在该实施例中W及下面描述的其它实施例 中,用户可通过在图形上作手势来选择图形中的一个或多个图形,例如利用一个或多个手 指202 (在图中未按比例绘制)或一个或多个触笔203 (在图中未按比例绘制)。在一些实 施例中,当用户中断与该一个或多个图形的接触时,发生对一个或多个图形的选择。在一些 实施例中,手势可包括已与设备100进行接触的一次或多次轻击,一次或多次轻扫(从左 到右、从右到左、向上和/或向下)和/或手指的滚动(从右到左、从左到右、向上和/或向 下)。在一些实施例中,无意中接触图形可能不会选择该图形。例如,当对应于选择的手势 是轻击时,扫过应用程序图标的轻扫手势可能不会选择对应的应用程序。
[019引设备100也可包括一个或多个物理按钮,诸如"home键"按钮或菜单按钮204。如 先前所述,菜单按钮204可用于导航到一组应用程序中的可在设备100上执行的任一个应 用程序136。备选地,在一些实施例中,菜单按钮被实现为被显示在触摸屏112上的GUI中 的软键。
[0199] 在一些实施例中,设备100包括触摸屏112,菜单按钮204,用于打开/关闭设备 并且锁定设备的推压按钮206,音量调节按钮208,用户身份模块(SIM)卡槽210,耳机插孔 212,W及连接/充电外部端口 124。推压按钮206可选地用于通过推压按钮并且W预定时 间间隔保持按钮在推压状态下W打开/关闭设备电源;用于通过推压按钮并且在预定时间 间隔已经过去之前释放按钮来锁定设备;和/或用于解锁设备或发起解锁程序。在备选实 施例中,设备100通过麦克风113接收用于激活或停用一些功能的言语输入。设备100也 可选地包括用于检测触摸屏112上接触强度的一个或多个接触强度传感器165和/或用于 产生对于设备100用户的触感输出的一个或多个触觉输出发生器167。
[0200] 图3是根据一些实施例的具有显示器和触摸敏感表面的示例性多功能设备的框 图。设备300不必是便携式的。在一些实施例中,设备300是膝上型计算机、桌上型计算机、 平板计算机、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控 制设备(例如家用或工业控制器)。设备300通常包括一个或多个处理单元(CPU) 310, 一 个或多个网络或其他通信接口 360,存储器370,W及用于互连运些部分的一个或多个通信 总线320。通信总线320可选地包括互连并且控制系统部分之间通信的电路装置(有时称 作忍片集)。设备300包括输入/输出(I/O)接口 330,包括通常为触摸屏显示器的显示器 340。I/O接口 330也可选地包括键盘和/或鼠标(或其他指点设备)350W及触摸板355, 用于在设备300上产生触觉输出的触觉输出发生器357 (例如类似于参照图1A如上所述的 触觉输出发生器167),传感器359 (例如,光学、加速度、邻近、触摸敏感传感器,和/或类似 于如上参照图1A所述的接触强度传感器的接触强度传感器)。存储器370包括高速随机存 取存储器,诸如DRAM、SRAM、DDRRAM,或其他随机访问固态存储器设备;W及可选地包括非 易失性存储器,诸如一个或多个磁盘存储设备,光盘存储设备,闪存设备,或其他非易失性 固态存储设备。存储器370可选地包括一个或多个远离CPU310的存储设备。在一些实施 例中,存储器370存储与在便携式多功能设备100 (图1A)的存储器102中所存储的程序、 模块和数据结构类似的程序、模块和数据结构,或者其子集。此外,存储器370可选地存储 在便携式多功能设备100的存储器102中不存在的额外程序、模块和数据结构。例如,设备 300的存储器370可选地存储绘图模块380,演示模块382,文字处理模块384,网站创建模 块386,盘编写模块388,和/或电子表格模块390,而便携式多功能设备100 (图1A)的存储 器102可选地并未存储运些模块。
[0201] 图3中的上述所识别的元件中的每个元件可存储在先前提到的存储器设备中的 一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的指 令集。上述所识别的模块或程序(即指令集)不需要被实现为独立的软件程序、过程或模 块,因此在各种实施例中,运些模块的各种子集可被组合或W其他方式被重新布置。在一些 实施例中,存储器370可存储上述所识别的模块和数据结构的子集。此外,存储器370可存 储上面未描述的附加模块和数据结构。
[0202] 现在转而关注可W例如实施在便携式多功能设备100上的用户界面的实施例。
[0203] 图4A示出了根据一些实施例的在便携式多功能设备100上用于应用菜单的示例 性用户界面。类似的用户界面可W在设备300上实施。在一些实施例中,用户界面400包 括W下元件,或者其子集或超级:
[0204] 信号强度指示符402,用于无线通信,诸如蜂窝和Wi-Fi信号;
[0205] 时间 404 ;
[020引蓝牙指示符405 ;
[0207] 电池状态指示符406 ;
[020引托盘408,具有用于频繁使用的应用的图标,诸如:
[0209] 图标416,用于电话模块138,标注为"电话",其可选地包括未接来电或语音邮件 消息的数目的指示符414;
[0210] 图标418,用于电子邮件客户端模块140,标注为"邮件",其可选地包括未读电子 邮件数目的指示符410;
[0211] 图标420,用于浏览器模块147,标注为"浏览器"化及
[0212] 图标422,用于视频和音乐播放器模块152,也称作iPod(苹果有限公司的商标) 模块152,标注为"i化d; 及
[0213] 用于其他应用的图标,诸如:
[0214] 图标424,用于IM模块141,标注为"消息"
[0215] 图标426,用于日历模块148,标注为"日历"
[0216] 图标428,用于图像管理模块144,标注为"照片"
[0217] 图标430,用于相机模块143,标注为"相机"
[021引图标432,用于在线视频模块155,标注为"在线视频"
[0219] 图标434,用于股票小部件149-2,标注为"股票"
[0220] 图标436,用于地图小部件154,标注为"地图"
[0221] 图标438,用于天气小部件149-1,标注为"天气"
[022引图标440,用于闹钟小部件149-1,标注为"闹钟"
[0223] 图标442,用于锻炼支持模块142,标注为"锻炼支持"
[0224] 图标444,用于设置应用或模块,标注为"设置",其提供了对用于设备100及其各 个应用136设置的访问。
[0225] 应该注意,图4A中所示图标符号仅是示例。例如,用于视频和音乐播放器模块152 的图标422可W可选地标注为"音乐"或"音乐播放器"。其他图标可选地用于各个应用图 标。在一些实施例中,用于相应应用图标的标注包括对应于相应应用图标的应用的名称。在 一些实施例中,用于特定应用图标的标注与对应于特定应用图标的应用名称不同。
[0226] 图4B示出了在具有与显示器450 (例如触摸屏显示器112)分离的触摸敏感表面 451 (例如平板或触摸板355,图3)的设备(例如设备300,图3)上的示例性用户界面。设 备300也可选地包括用于检测触摸敏感表面451上的接触强度的一个或多个接触强度传感 器(例如一个或多个传感器357)和/或用于向设备300的用户产生触感输出的一个或多 个触觉输出发生器359。
[0227] 尽管将参考触摸屏显示器112 (其中组合了触摸敏感表面和显示器)上的输入给 出随后的实例中的一些实例,但是在一些实施例中,设备检测与显示器分开的触摸敏感表 面上的输入,如图4B中所示。在一些实施例中,触摸敏感表面(例如,图4B中的451)具 有对应于显示器(例如,450)上的主轴(例如,图4B中的453)的主轴(例如,图4B中的 452)。根据运些实施例,设备检测在对应于显示器上的相应位置的位置(例如,在图4B中, 460对应于468并且462对应于470)处与触摸敏感表面451的接触(例如,图4B中的460 和462)。运样,当触摸敏感表面(例如,图4B中的451)与多功能设备的显示器(图4B中 的450)分开时,由设备在触摸敏感表面上检测到的用户输入(例如,接触460和462W及 它们的移动)被该设备用于操控显示器上的用户界面。应当理解,类似的方法可用于本文 所述的其他用户界面。
[022引尽管主要针对手指输入(例如,键盘按键上的手指接触、手指轻击手势、手指轻扫 手势、手指挥击)给出了W下实例,但是应当理解,在一些实施例中,可利用来自另一个输 入设备(例如,基于鼠标的输入或触笔输入)的输入来替换一个或多个手指输入。例如,轻 扫手势可被鼠标单击(例如,代替接触)替换,之后是光标沿轻扫路径的移动(例如,代替 接触的移动)。又如,在光标位于轻击手势的位置上方(例如,代替检测接触,之后是停止检 测接触)的同时,轻击手势可被鼠标单击替换。类似地,当同时检测到多个用户输入时,应 当理解,可同时使用多个计算机鼠标,或者可同时使用鼠标和手指接触。
[0229] 图5A示出了示例性个人电子设备500。设备500包括本体502。在一些实施例中, 设备500可W包括参照设备100和300 (例如图1A至图4B)所述的一些或所有特征。在一 些实施例中,设备500具有触摸敏感显示屏504,下文中称作触摸屏504。备选地,或者除了 触摸屏504之外,设备500具有显示器和触摸敏感表面。与设备100和300相同,在一些实 施例中,触摸屏504(或者触摸敏感表面)可W具有用于检测所施加接触(例如触摸)强度 的一个或多个强度传感器。触摸屏504 (或触摸敏感表面)的一个或多个强度传感器可W 提供表示触摸强度的输出数据。设备500的用户界面可W基于它们的强度而对触摸做出响 应,运意味着不同强度的触摸可W调用设备500上不同的用户界面操作。
[0230] 用于检测并处理触摸强度的技术可W例如在相关申请中找到:2013年5月8日 提交的、主题名称为"Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application"的国际专利申请序列 齡.口口'/肥2013/040061 ^及2013年11月11日提交的、主体名称为"06¥山6,]«6111〇(1,曰11(1 Graphical User Interface for Transitioning Between Touch Input to Display Ou化ut Relationships"的国际专利申请序列No. PCT/US2013/069483,这些申请在此通过 引用整体并入本文。
[0231] 在一些实施例中,设备500具有一个或多个输入机构506和508。如果包括的话, 则输入机构506和508可W是物理的。物理输入机构的示例包括推压按钮和可旋转机构。 在一些实施例中,设备500具有一个或多个附件机构。如果包括的话,则运些附件机构可W允许设备500的附件具有例如帽子、眼饰、耳环、项链、衬衣、夹克、手獨、表带、链条、裤子、 皮带、鞋子、钱包、背包等。运些附件机构可W允许由用户穿戴设备500。
[0232] 图5B示出了示例性个人电子设备500。在一些实施例中,设备500可W包括参照 图1A、图1B和图3所述的一些或所有部分。设备500具有总线512,其将I/O区段514与 一个或多个计算机处理器516和存储器518可操作地禪合。I/O区段514可W连接至显示 器504,其可W具有触摸敏感部分522,W及可选地触摸强度敏感部分524。此外,I/O区段 514可W与通信单元530组合W用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无 线通信技术来接收应用和操作系统数据。设备500可W包括输入机构506和/或508。输 入机构506可W例如是可旋转输入设备,或者可推压和可旋转输入设备。输入机构508在 一些示例中可W是按钮。
[0233]输入机构508在一些示例中可W是麦克风。个人电子设备500可W包括各种传感 器,诸如GI^S传感器532、加速度计534、方向传感器540 (例如罗盘)、巧螺仪536、运动传感 器538和/或其组合,所有运些设备可W可操作地连接至I/O区段514。
[0234] 个人电子设备500的存储器518可W是非易失性计算机可读存储介质,用于存储 计算机可执行指令,当由一个或多个计算机处理器执行时,计算机可执行指令例如可W使 得计算机处理器执行如上所述的技术,包括方法3300、3400、3500、3600、3700、3800、3900、 4000、4600和4900 (图33至图49)。计算机可执行指令也可W存储和/或输运在任何非易 失性计算机可读存储介质内,W由指令执行系统、设备或装置所使用或者与其连接。指令 执行系统、设备或装置诸如基于计算机的系统、包含处理器的系统、或者可W从指令执行系 统、设备或装置获取指令并且执行指令的其他系统。出于该文献的目的,"非易失性计算机 可读存储介质"可W是可W有形地包含或存储由指令执行系统、设备或装置所使用或者与 其连接地计算机可执行指令地任何介质。非易失性计算机可读存储介质可W包括但不限 于,磁、光学、和/或半导体存储。运些存储地示例包括磁盘,基于CD、DVD或蓝光技术的光 盘,化及诸如闪存、固态驱动器等的永久固态存储器。个人电子设备500并不限于图5B的 部分和配置,而是可W包括在多个配置结构中的其他或额外部分。
[0235] 如在此所使用的那样,术语"可供性"设及可W在设备100、300和/或500 (图1、 图3和图5)的显示屏上显示的用户交互图形用户界面对象。例如,图像(例如图标)、按钮 和文本(例如超文本)可W均构成可供性。
[0236] 如在此使用的那样,术语"焦点选择器"设及指示了用户界面的、与用户交互的当 前部分的输入元件。在包括光标或其他位置标记的一些实施方式中,光标用作"焦点选择 器",W使得当在触摸敏感表面(例如图3中触摸板355,或者图4B中触摸敏感表面451) 上检测到输入(例如推压输入)而光标在特定用户界面元件(例如按钮、窗口、滑块或其他 用户界面元件)之上时,根据检测到的输入而调整特定的用户界面元件。在包括实现与触 摸屏显示器上的用户界面元件直接交互的触摸屏显示器(例如图1A中触摸敏感显示系统 112,或者图4A中触摸屏112)的一些实施方式中,在触摸屏上检测到的接触用作"焦点选择 器",使得当在特定用户界面元件(例如按钮、窗口、滑块或其他用户界面元件)的位置处检 测到触摸屏显示器上输入(例如由接触输入的推压)时,根据检测到的输入调整特定用户 界面元件。在一些实施方式中,焦点从用户界面的一个区域移动至用户界面的另一区域而 并不具有对应的光标移动或者触摸屏显示器上接触的移动(例如通过使用制表键或方向 键将焦点从一个按钮移动至另一按钮);在运些实施方式中,焦点选择器根据用户界面不 同区域之间焦点的移动而移动。不考虑焦点选择器所采取的具体细节,焦点选择器通常是 由用户控制W便于将用户的目的交互与用户界面通信(例如通过向设备指示用户有意与 其交互的用户界面的元件)的用户界面元件(或者触摸屏显示器上接触)。例如,当在触摸 敏感表面(例如触摸板或触摸屏)上检测到推压输入时在相应按钮之上的焦点选择器(例 如光标、接触或选择框)的位置将指示用户旨在激活相应按钮(与在设备的显示器上所示 其他用户界面元件相反)。
[0237]如在说明书和权利要求中所使用,术语接触的"特性强度"设及基于接触的一个或 多个强度的接触的特性。在一些实施例中,特性强度是基于多个强度样本。特性强度可选 地基于预定数目的强度样本,或者在相对于预定事件(例如在检测到接触之后,在检测接 触抬起之前,在检测到接触开始移动之前或之后,在检测到接触结束之前,在检测到接触强 度增大之前或之后,和/或在检测到接触强度减小之前或之后)的预定时间段(例如0. 05、 0.1、0.2、1、2、5、10秒)期间收集到的强度样本的集合。接触的特性强度可选地基于^下 项中的一个或多个:接触强度的最大值,接触强度的中值,接触强度的平均值,接触强度的 最高10 %数值,接触强度半高处数值,接触强度90 %最大处数值等等。在一些实施例中,接 触的历时在确定特性强度(例如当特性强度是接触强度随时间的平均值时)中使用。在一 些实施例中,特性强度与一个或多个强度阔值的集合对比W确定是否已经由用户执行了操 作。例如,一个或多个强度阔值的集合可W包括第一强度阔值和第二强度阔值。在该示例 中,具有并未超过第一阔值的特性强度的接触导致第一操作,具有超过第一强度阔值并且 并未超过第二强度阔值的特性强度的接触导致第二操作,W及具有超过第二阔值的特性强 度的接触导致第=操作。在一些实施例中,特性强度与一个或多个阔值之间的比较用于确 定是否执行一个或多个操作(例如是否执行相应操作,或者放弃执行相应操作),而不是用 于确定是否执行第一操作或第二操作。
[023引在一些实施例中,识别手势的一部分W用于确定特性强度的目的。例如,触摸敏感 表面可W接收从开始位置转变并且到达结束位置的连续滑动接触,在该结束位置点处接触 强度增大。在该示例中,在结束位置处的接触的特性强度可W仅基于连续滑动接触的一部 分,而不是整个滑动接触(例如在结束位置处滑动接触的仅一部分)。在一些实施例中,平 滑算法可W在确定接触的特性强度之前应用于滑动接触的强度。例如,平滑算法可选地包 括W下项中的一种或多种:未加权的滑动平均平滑算法,=角平滑算法,中值过滤器平滑算 法,和/或指数平滑算法。在一些情形中,运些平滑算法为了确定特性强度的目的而消除了 滑动接触的强度中的窄尖峰或急降。
[0239] 在触摸敏感表面上接触的强度可W相对于一个或多个强度阔值而特征化,诸如接 触检测强度阔值、轻压强度阔值、深压强度阔值、和/或一个或多个其他强度阔值。在一些 实施例中,轻压强度阔值对应于在此强度下设备将执行通常与点击物理鼠标或轨迹板的按 钮相关联的操作的强度。在一些实施例中,深压强度阔值对应于在此强度下设备将执行与 通常与点击物理鼠标或轨迹板的按钮相关联操作不同的操作的强度。在一些实施例中,当 检测到接触具有低于轻压强度阔值的特性强度(例如,W及在额定接触检测强度阔值之 上,在该阔值之下不再检测到接触)时,设备将根据触摸敏感表面上接触的移动而移动焦 点选择器,而并不执行与轻压强度阔值或深压强度阔值相关联的操作。通常,除非上下文给 出相反指示,否则运些强度阔值在用户界面图形的不同集合之间是一致的。
[0240] 接触的特性强度从低于轻压强度阔值的强度增大至在轻压强度阔值与深压强度 阔值之间的强度有时称作"轻压"输入。接触的特性强度从低于深压强度阔值的强度增大 至深压强度阔值之上的强度有时称作"深压"输入。接触的特性强度从低于接触检测强度 阔值的强度增大至在接触检测强度阔值与轻压强度阔值之间的强度有时称作检测到触摸 表面上的接触。接触的特性强度从接触检测强度阔值之上的强度减小至低于接触检测强度 阔值的强度有时称作检测到接触从触摸表面抬起。在一些实施例中,接触检测强度阔值是 零。在一些实施例中,接触检测强度阔值大于零。
[0241] 在此所述的一些实施例中,响应于检测到包括相应推压输入的手势、或者响应于 检测到由相应接触(或多个接触)执行的推压输入来执行一个或多个操作,其中基于至少 部分地检测到接触(或多个接触)强度增大到推压输入强度阔值之上来检测相应推压输 入。在一些实施例中,响应于检测到相应接触强度增大至推压输入强度阔值之上来执行相 应操作(例如相应推压输入的"下冲程")。在一些实施例中,推压输入包括相应接触强度 增大至推压输入强度阔值之上,W及接触强度随后减小至低于推压输入强度阔值,W及响 应于检测到相应接触强度随后减小至低于推压输入阔值来执行相应操作(例如相应推压 输入的"上冲程")。
[0242] 在一些实施例中,设备利用强度迟滞W避免有时称作"抖动"的意外输入,其中设 备限定或者选择具有与推压输入强度的预定关系的迟滞强度阔值(例如,迟滞强度阔值比 推压输入阔值低X个强度单位,或者迟滞强度阔值是推压输入强度阔值的75%、90%或一 些合理的比例)。因此,在一些实施例中,推压输入包括相应接触强度增大至推压输入强度 阔值之上,W及随后接触强度减小至对应于推压输入强度阔值的迟滞强度阔值之下,并且 响应于随后检测到相应接触强度减小至迟滞强度阔值之下而执行相应操作(例如,相应推 压输入的"上冲程")。类似地,在一些实施例中,仅当设备检测到接触强度从迟滞强度阔值 处或之下增大至推压输入强度阔值处或之上时检测到推压输入,并且可选地,接触强度随 后减小至迟滞强度处或之下,并且响应于检测到推压输入来执行相应操作(例如,取决于 情况,接触强度增大,或者接触强度减小)。
[0243] 为了易于解读,响应于检测到W下项来可选地触发响应于与推压输入强度阔值相 关联的推压输入、或者响应于包括推压输入的手势来执行的操作的描述:接触强度增大至 推压输入强度阔值之上,接触强度从低于迟滞强度阔值的强度增大至在推压输入强度阔值 之上的强度,接触强度减小至推压输入强度阔值之下,和/或接触强度减小至对应于推压 输入强度阔值的迟滞强度阔值之下。额外地,在其中操作描述作为响应于检测到接触强度 减小至推压输入强度阔值之下而执行的示例中,可选地响应于检测到接触强度减小至对应 于并且低于推压输入强度阔值的迟滞强度阔值之下来执行操作。
[0244] 如在此所使用的那样,"安装的应用程序"设及已经下载至电子设备(例如设备 100、300和/或500)上并且准备在设备上运行(例如成为打开)的软件应用程序。在一些 实施例中,下载的应用程序借由从下载页面提取程序部分并且将所提取的部分与计算机系 统的操作系统集成的安装程序而成为已安装应用程序。
[0245] 如在此使用的那样,术语"打开的应用程序"或"执行的应用程序"设及具有保持 状态信息的软件应用程序(例如,作为设备/全局内部状态157和/或应用程序内部状态 192的一部分)。打开或执行的应用程序可W是W下类型应用程序的任意一种:
[0246] 活动应用程序,当前显示在设备的显示屏上的、正被使用的应用程序;
[0247] 后台应用程序(或后台过程),当前并未显示,但是用于应用程序的一个或多个过 程正由一个或多个处理器在处理;W及
[024引暂停或休眠应用程序,并未运行,但是具有存储在存储器(分别为易失性和非易 失性)中并且可W用于恢复应用程序执行的状态信息。
[0249] 如在此使用的那样,术语"关闭的应用程序"设及不具有保持的状态信息的软件应 用程序(例如,关闭的应用程序的状态信息并未存储在装置的存储器中)。因此,关闭应用 程序包括停止和/或去除用于应用程序的应用程序过程并且从装置存储器去除用于应用 程序的状态信息。通常,在第一应用程序中打开第二应用程序时并未关闭第一应用程序。当 显示了第二应用程序并且停止显示第一应用程序时,第一应用程序成为后台应用程序。
[0巧0] 现在转而关注用于捕获、发送和查看或播放媒体和位置数据的消息用户界面的实 施例。
[0巧1] 图6A至图32C示出了根据一些实施例的用于消息的示例性用户界面。在运些附 图中的用户界面用于示出W下所述的过程,包括图33至图49中的过程。
[0巧2] 图6A示出了可选地由设备100所显示的示例性消息用户界面。消息用户界面包 括用于显示在消息对话中参与者之间所发送消息的消息区域602,W及用于编写消息的消 息编写区域604。由参与者所交换的消息显示在界定的消息区域606内。在一些实施例中, 界定的消息区域是视觉上区分于应用程序画布背景的连续区域。
[0巧3] 在该实施例中,消息用户界面包括用于捕获W及发送媒体流的两个媒体可供性 608、610 :用于捕获并发送音频消息的音频捕获可供性608,W及用于捕获并发送图像或视 频的可视媒体捕获可供性610。在该实施例中,可视媒体捕获可供性和音频数据捕获可供性 显示在消息编写区域的两侧上。消息用户界面也包括用于在消息编写区域604中输入文本 的虚拟键盘612。在一些实施例中,如图6B中所示,响应于检测到在消息编写区域604中的 用户输入,设备100将音频捕获可供性608的显示替换为用于发送消息的发送按钮614的 显不。
[0254] 如W下详细所述,设备100可W捕获并且发送来自消息收发应用程序内的各类媒 体一诸如音频、视频和消息。
[0255] 在一些实施例中,设备100在消息收发应用程序内录制并且发送音频消息。例如, 如图6C-D所示,响应于检测到在音频捕获可供性608上的接触,设备100显示包含多个可 供性618、620、622的视觉辨别的区域616,并且开始使用设备100的麦克风录制音频消息。 音频消息可W是用户的讲话或歌唱,例如,或者可W由设备100捕获的一些其他类型音频 消息。
[0巧6] 在图抓中所示的实施例中,视觉辨别的区域616包含用于发送所捕获音频消息至 消息对话中参与者的发送可供性618,用于停止录制音频消息并且放弃发送音频消息至参 与者的取消可供性620,W及用于录制音频消息的录制可供性622。在一些实施例中,发送 可供性显示在显示器上媒体可供性附近。
[0巧7] 在该实施例中,视觉辨别的区域616显示在显示器的与音频捕获可供性608相同 的侧边上,并且垂直居中在对应于音频捕获可供性608的位置上。因此,当用户与音频捕获 可供性608接触时,视觉辨别的区域616出现在音频捕获可供性位置周围,其中录制可供性 622替代了音频捕获可供性608。
[0巧引如图抓中所示,示例性的视觉辨别区域616由显示器的边缘626W及半圆624 所界定,半圆开始并且结束于显示器的边缘626处并且抵靠显示器的边缘围闭发送可供性 618、取消可供性620W及录制可供性622。视觉辨别区域616可W向用户提供设备100已 经进入媒体捕获模式的视觉指示。
[0259] 在一些实施例中,只要接触维持在显示器上对应于录制可供性的位置处,则设备 100继续录制音频消息。在一些实施例中,如图7A至图7B中所示,响应于检测到显示器上 至第二可供性618的滑动手势,设备100停止录制音频消息并且立即将所录制的音频消息 发送至消息对话中的参与者。滑动手势可W对应于显示器上接触移动至第二可供性618,随 后接触在第二可供性618处抬起。在一些实施例中,在显示了第二可供性之后检测到接触 的移动。
[0260] 在一些实施例中,结合发送媒体(诸如音频消息)至消息对话中参与者,媒体的表 示显示在消息区域中。例如,如图7B中所示,在一些实施例中,设备100在插入在消息对话 中的界定消息区域708中显示了所发送音频消息的表示。在该实施例中,音频消息的表示 包括表示了音频消息的波形702的图像,用于播放音频消息的回放可供性704,W及音频消 息的时间历时706。在一些实施例中,基于所录制音频消息产生波形,并且示出了消息的音 频内容的具体特性。在一些实施例中,波形是图标的。在一些实施例中,波形的长度可W对 应于音频录制的长度。
[0261] 在一些实施例中,当录制音频消息时,设备100在消息编写区域中显示音频消息 的表示。表示可W是如上所述的波形,并且当用户录制音频消息W指示正在录制的变化音 频内容时可W动态地改变形状。
[0262] 在一些实施例中,响应于检测到回放可供性704上的接触,设备10播放音频消息。 在一些实施例中,在已经播放了音频消息之后回放可供性的颜色可W改变,W向用户提供 对于已经播放了音频消息的可视化指示。在一些实施例中,当播放音频消息的对应部分时, 回放可供性的一部分改变外观,提供了对流逝播放时间的可视化指示。
[0263] 在一些实施例中,设备100显示了W初始颜色表示音频消息的波形702,并且当播 放音频消息时,改变波形颜色W向用户提供对于已经播放了音频消息的可视化指示。在一 些实施例中,当播放音频消息的对应部分时,设备100改变波形702的一部分的颜色,从而 提供已流逝的播放时间的可视化表示。上述音频消息表示和颜色改变可W用于表现在消息 收发应用程序内交换的任何音频消息,其表现在消息对话中、在消息编写区域中或其他地 方。
[0264] 在一些实施例中,设备100响应于检测到接触远离音频捕获可供性、或者朝向发 送可供性或沿其他方向移动而停止录制音频消息。在一些实施例中,设备100响应于在接 触移动之后检测到在对应于发送可供性618的位置处的抬起而发送所录制的音频消息。在 音频捕获可供性上的初始接触W及接触随后移动至发送可供性可W由用户执行作为在显 示器上的单个、连续接触。
[026引如图7C至图7D中所示,在一些实施例中,如果设备100检测到显示器上的去往取 消可供性620的滑动手势,则设备100停止录制音频消息,从显示器去除视觉辨别的区域 616,重新显示音频捕获可供性608,W及放弃发送音频消息至参与者。在一些实施例中,如 之前参照发送可供性所述,滑动手势可W对应于从音频捕获可供性608上初始接触开始横 越显示器至取消可供性620的单个连续移动,接着在取消可供性620处抬起。
[0266] 在一些实施例中,如图8中所示,响应于检测到接触在显示器上的移离录制可供 性的移动,设备100扩展了视觉辨别区域616。在一些实施例中,视觉辨别区域616根据 接触的移动而扩展(例如,当视觉辨别区域扩展时视觉辨别区域的扩展与接触的移动成比 例)。在一些实施例中,视觉辨别区域616内发送可供性618和取消可供性620根据视觉辨 别区域616的扩展而向外移动。扩展视觉辨别区域可W向用户提供已经检测到设备100移 离录制可供性的位置的移动的指示,并且可W向用户提供用于执行滑动手势的较大显示器 面积,从而潜在地使得用户更易于控制滑动手势的轨迹或目的地。
[0267] 在一些实施例中,如图9A中所示,如果设备100检测到接触从显示器抬起而并未 检测到接触至发送可供性或取消可供性的之前移动,则设备100停止录制音频消息,在消 息编写区域604中显示音频消息的表示,并且将音频捕获可供性替换为用于发送所录制音 频消息至消息对话中参与者的发送按钮906。
[026引如之前参照图7A中所述,在一些实施例中,在消息编写区域中显示的所录制音频 消息的表示包括表示了所录制音频消息的波形702、所录制音频消息的历时706W及用于 播放所录制音频消息的回放可供性704的图像。
[0269] 在一些实施例中,如图9B中所示,响应于检测到发送按钮906上的接触,设备100 发送所录制音频消息至消息对话中参与者,并且将发送按钮906替换为音频捕获可供性 608。如图9B中所示,在一些实施例中,在响应于发送按钮上接触而发送音频消息之后,设 备100在插入消息对话中的界定消息区域908中显示了所发送音频消息的表示。
[0270] 因此,如上参照图6A至图9B中所述,在一些实施例中,设备100在消息收发应用 程序中显示了消息用户界面,使得用户在消息收发应用程序内录制并发送音频消息,而无 需用户发起分离的应用程序。此外,在一些实施例中,用户可W使用显示器上单个连续手势 来录制并发送音频消息,包括在音频捕获可供性上的初始接触,随后移动至发送可供性W 及抬起。该方案提高了用户界面的效率并且减小了对于用户的认知负担。
[0271] 在一些实施例中,设备100也可W在消息收发应用程序内捕获并发送相机图像。 在一些实施例中,如图10A至图10B中所示,响应于检测到在可视化媒体捕获可供性610上 的接触,设备100显示相机用户界面。相机用户界面包括来自设备100上的相机传感器的 实况媒体预览1010,W及包含用于使用相机传感器捕获图像的图像可供性1004W及录制 可供性1006的视觉辨别区域1002。可视化媒体捕获可供性610替换为取消可供性1008。 在一些实施例中,实况媒体预览替换了消息区域的显示。
[0272] 在该实施例中,视觉辨别区域1002出现在显示器的与可视化媒体捕获可供性610 相同的侧边上,并且垂直地居中在对应于可视化媒体捕获可供性610的位置上。因此,当用 户接触可视化媒体捕获可供性610时,视觉辨别区域1002出现在可视化媒体捕获可供性位 置的周围,并且取消可供性替代可视化媒体捕获可供性。
[0273] 如图11A至图11B中所示,在一些实施例中,响应于检测到显示器上至图像可供性 1004的滑动手势,设备100捕获了预览中所示的图像并且将图像作为消息发送至参与者。 滑动手势可W对应于接触横越显示器移动至图像可供性1004,随后在图像可供性1004处 抬起。在一些实施例中,设备100响应于检测到移动而捕获图像,并且响应于抬起而发送图 像。
[0274] 如图11B中所示,在一些实施例中,在作为消息发送图像之后,设备100停止显 示预览并且重新显示消息区域、消息编辑区域、W及媒体可供性。在一些实施例中,设备 100在插入所显示的消息对话中的界定消息区域1106中显示表现了所捕获图像的缩略图 1104。
[0275] 图11C至图11E示出了另一技术,设备100可W可选地在消息收发应用程序内用 于捕获并且发送图像。在一些实施例中,如图11C至图11E中所示,响应于检测到在可视化 媒体可供性上的接触,而不是如参照图10A至图10B所述在消息区域中显示实况媒体预览, 设备100扩展了消息编写区域604并且在消息编写区域604中显示了实况媒体预览。在一 些实施例中,设备100将音频捕获可供性的显示替换为发送按钮614的显示。在一些实施 例中,响应于检测到接触从可视化媒体捕获可供性610的抬起,设备100捕获新图像。在一 些实施例中,响应于检测到从可视化媒体可供性抬起或者响应于检测到在发送按钮614上 的接触,所捕获的图像作为消息发送至参与者。在一些实施例中,如图11C中所示,在发送 了图像之后,设备100在插入所显示消息对话中的界定消息区域中显示了表示图像的缩略 图。在一些实施例中,在发送图像之后,设备100重新显示音频捕获可供性W替代发送按 钮。
[0276] 如图11F中所示,在一些实施例中,在检测到抬起并捕获新图像之后,设备100在 消息编写区域604中显示所捕获图像的表示1108。在一些实施例中,当在消息编写区域中 显示了所捕获图像的表示时,设备100检测在消息编写区域中额外内容1110的用户输入; 例如,额外内容可W与所捕获图像的表示邻近地输入。该额外内容可W是如图11F中所示 的文本内容,例如,或者可W是诸如表情符号(emoji)或图标的图形对象。在一些实施例 中,额外内容和所捕获图像响应于检测到发送按钮上接触而被发送至参与者。
[0277] 在一些实施例中,如图11G中所示,在发送图像和额外内容至参与者之后,设备 100在插入对话中的界定消息区域1112中显示表现了所捕获图像与额外内容1110的缩略 图1114。在一些实施例中,发送消息和额外内容之后,设备100重新显示音频捕获可供性W 替代发送按钮。
[027引在一些实施例中,设备100也可W在消息收发应用程序内捕获并发送视频。如之 前参照图10A所述的那样,在一些实施例中,响应于检测到可视化媒体捕获可供性610上的 接触,设备100显示相机预览和视觉辨别区域,具有用于捕获图像的图像可供性、用于捕获 视频的录制可供性、W及用于取消媒体捕获的取消可供性。
[0279] 在一些实施例中,如图12A至图12B中所示,响应于检测到录制可供性1006上的 接触,设备100开始录制视频,将录制可供性替换为用于停止录制视频的停止可供性122, W及将图像可供性1004替换为用于发送视频至参与者的发送可供性1210。在一些实施例 中,设备100响应于检测到接触移动至录制可供性1006上、或者响应于在录制可供性1006 上接触或轻击而开始录制视频。在一些实施例中,当设备100录制视频时,设备100显示了 对已流逝录制时间1208的指示。
[0280] 如图13A至图13C中所示,在一些实施例中,如果设备100检测到当设备100录制 视频时接触已经从显示器抬起而并未检测到在发送可供性1210上的接触,则设备100继续 录制视频并且将录制可供性1006的显示替换为停止可供性1212的显示。在一些实施例中, 当设备100录制视频时,响应于检测到在停止可供性1212上的接触,设备100停止录制视 频,并且将停止可供性1212替换为用于在发送至收件人之前查看所录制视频数据的回放 可供性1314。
[0281] 在一些实施例中,响应于检测到发送可供性1210上的接触,设备100停止录制视 频(如果尚未停止录制的话)并且将所录制视频发送至消息对话中参与者。在一些实施例 中,如图14中所示,设备100将视频的缩略图1402插入参与者之间消息对话中,并且去除 视觉辨别区域的显示,包括录制可供性和发送可供性。在一些实施例中,插入缩略图包括在 消息区域中界定消息区域1406中显示缩略图1402和回放可供性1414。在一些实施例中, 响应于在界定消息区域1406中检测到回放可供性1414上接触,设备100在界定消息区域 1406的边界内播放视频。在一些实施例中,响应于检测到回放可供性1414上接触,设备100 W全屏模式播放视频。
[028引返回至图12A,在一些实施例中,当设备100录制视频时,设备100响应于检测到从 录制可供性1006抬起而停止录制视频。在一些实施例中,在检测到从录制可供性1006抬 起W及停止录制视频之后,设备100将录制可供性1006的显示替换为用于在发送至收件人 之前查看视频的回放可供性1314,如图13C中所示。
[0283] 因此,在一些实施例中,当显示了视觉辨别区域时,向上至图像可供性的滑动捕获 并发送图像,当滑动至录制可供性之上随后向上朝向发送可供性滑动时,捕获并且发送视 频。
[0284] 在一些实施例中,图10A中所示可视化媒体捕获可供性610可W用于选择一个或 多个现有图像或视频W添加至消息对话。可W使用除了消息收发应用程序之外的应用程序 来捕获运些图像;例如,可W使用运行在设备100上或运行在远程设备上的相机应用程序 捕获图像或视频,或者可W由其他用户使用在设备100上或在远程设备上不同应用程序而 捕获。运些已有的图像或视频可W存储在设备100的存储器中或者从远程存储位置访问。
[0285] 图15A显示了示例性媒体选择器界面,设备100可W可选地响应于对添加媒体至 对话的请求而显示,诸如在可视化媒体捕获可供性610上的接触。在一些实施例中,媒体 选择器界面使得用户选择一个或多个已有图像、视频或音频文件W添加至消息对话。在一 些实施例中,当显示消息对话时,媒体选择器界面在消息区域下方显示。媒体选择器界面包 括幻灯片1502,具有表示了已有图像或视频的数个缩略图1504。在一些实施例中,缩略图 1504表示了最近捕获或访问的图像、视频或音频文件。在一些实施例中,响应于检测到在与 幻灯片1502相关联的位置上的滑动手势,设备100根据滑动手势滚动幻灯片。
[0286] 在一些实施例中,响应于检测到特定缩略图1504上的接触,设备100将与缩略图 相关联的图像、视频或音频文件发送至消息对话中参与者,并且将图像、视频或音频文件的 表示1506插入对话中,如图15B示例中所示。
[0287] 在一些实施例中,响应于检测到在幻灯片1502中特定缩略图1504上的接触,设备 100显示了由缩略图表示的图像或视频。在一些实施例中,图像或视频可W显示在由缩略图 所表示图像的更大版本中,诸如在全屏显示中。
[028引在一些实施例中,幻灯片1502中的一个缩略图表示相机预览。在一些实施例中, 响应于检测到对表示预览的缩略图的选择,设备100使用设备100上的相机捕获新图像并 且发送新图像至对话中参与者。
[0289] 图16A至图1她示出了用于添加媒体至对话的媒体选择器界面的另一实施例。在 该实施例中,幻灯片1602在消息编写区域604下方显示。响应于检测到幻灯片中缩略图 1604的选择,在一些实施例中,设备100在消息编写区域604中显示所选择缩略图的表示 1608,并且将音频捕获可供性的显示替换为用于发送图像至消息对话中参与者的发送按钮 614的显示。在一些实施例中,响应于检测到发送按钮1610上的接触,设备100发送图像至 参与者,并且将所发送图像的表示插入对话中,如参照图11B之前所示和所述。
[0290] 在一些实施例中,响应于设备100检测到幻灯片中的两个或多个缩略图的选择W 及随后选择发送按钮1610,设备100将对应于所选择缩略图的两个或多个图像或视频发送 至消息对话中参与者。
[0291] 图17A-图17C示出了用于添加媒体至对话的媒体选择器界面的另一实施例。如 图17A中所示,在一些实施例中,设备100显示了具有缩略图1704的幻灯片1702W及用于 从库选择图像或视频的照片库按钮1706,用于捕获新照片或视频的获取照片按钮1710,W 及用于取消并退出媒体选择器界面显示的取消按钮1708。在一些实施例中,幻灯片中的缩 略图1704展示了最近捕获或访问的图像或视频。
[0292] 在一些实施例中,响应于检测照片库按钮1706的选择,设备100显示了照片库 1712、1714的列表。在一些实施例中,响应于检测到在列表中照片库的选择,设备100显示 具有来自所选照片库的图像或视频的缩略图1718的另一幻灯片1716。在一些实施例中,响 应于检测到特定缩略图1718的选择,设备100显示由缩略图所展示的图像或视频,或者将 对应的图像或视频发送至对话中参与者,如上参照图15A所述。
[029引现在参照图18A至图18C,如图18B中所示,在一些实施例中,响应于检测到对用 于获取新照片或视频的获取照片按钮1710的选择,设备100显示用于捕获新图像或视频的 用户界面。在一些实施例中,用户界面包括实况相机预览1802和用于捕获图像的捕获按 钮1804。如图18C中所示,在一些实施例中,响应于检测捕获按钮1804的选择,设备100 捕获了预览中所示图像,并且在显示器上显示所捕获的图像,其中具有用于重新获取图像 (例如捕获另一图像)的重新获取按钮1806W及用于发送所捕获图像至参与者的使用按钮 1808。在一些实施例中,响应于检测在使用按钮1808上的接触,设备100立即发送所捕获 图像至参与者并且返回至消息对话的显示画面。在一些实施例中,设备100将所发送图像 的表示插入对话中,如之前参照图11B中所述。
[0294] 在一些实施例中,可视化媒体捕获可供性可W用于添加已有媒体至对话W及用于 捕获新媒体W添加至对话。返回至图10A,在一些实施例中,响应于检测到显示器上的对应 于可视化媒体捕获可供性610的位置处的接触,设备100可W确定接触的历时。如果历时 大于阔值历时,例如如果接触是在可视化媒体捕获可供性上的触摸并保持,则设备100可 W如上参照图10至图13所述而做出响应,并且在消息收发应用程序内显示用于捕获并发 送图像或视频的用户界面。然而,如果接触的历时并未超过阔值历时,例如如果接触是在可 视化媒体捕获可供性610上的短轻击,则设备100可W显示用于选择一个或多个已有图像 或视频W添加至消息对话的媒体选择器界面。阔值历时可W例如在0. 5秒至10秒的范围 内。
[0295] 图6A至图她中所示的用户界面示出了媒体可供性W及在设备100上显示器中 部之上水平显示的消息编写区域,其中在消息编写区域的每个侧边上具有沿着显示器相对 的边缘显示的每个媒体可供性(可视化媒体捕获可供性W及音频捕获可供性)。当在显示 器上显示虚拟键盘W用于输入消息至接收方时,运些位置可W是适当的,例如如图6A中所 示。然而,媒体可供性和消息编写区域无需显示在图6A至图6B中所示的位置或朝向中。图 19A至图19B示出了示例性备选位置,在该位置处设备100可W显示音频捕获可供性608、 可视化媒体捕获可供性610W及消息编写区域604。当并未在显示器上显示虚拟键盘时运 些备选位置可W是适当的,并且可W提供更大消息区域W用于显示消息对话。
[0296] 如图19A中所示,在一些实施例中,设备100在显示器角落处显示音频捕获可供性 608。如图20中所示,在一些实施例中,例如,响应于检测到在角落中在音频捕获可供性上 的接触,设备100显示了由开始于并结束于触摸敏感显示器的两个不同边缘2006、2008处 的弧线2004所界定的视觉辨别区域2002,而不是显示了如之前参照图6D所述开始并结束 于显示器相同边缘处的半圆。如之前参照图8所述,响应于检测到在显示器上接触移离音 频捕获可供性608的位置的移动,在一些实施例中,设备100扩展视觉辨别区域2002。在 一些实施例中,在视觉辨别区域内显示的可供性的位置根据视觉辨别区域的扩展而向外移 动。
[0297] 在一些实施例中,显示器上的命中区域分配至媒体可供性,W使得在命中区域上 的接触由设备100解读为在媒体可供性上的接触。在一些实施例中,命中区域大于所显示 的媒体可供性。如图19C至图19D中所示,在一些实施例中,用于媒体可供性的命中区域 1902诸如图19C中当并未显示虚拟键盘时比诸如图19D中当显示了虚拟键盘时更大。例如, 当显示了虚拟键盘时,用于媒体可供性的命中区域可W稍微大于媒体可供性(例如比媒体 可供性大5、10、15或20% ),并且当并未显示虚拟键盘时,用于媒体可供性的命中区域可W 环绕直至显示器底部四分之一的一半。当显示器上存在足够空间W允许更大命中区域时, 该方案允许用户更容易地调用对媒体可供性上接触的检测。
[029引在一些实施例中,设备100也可W播放所接收的音频消息。在一些实施例中,如图 21A至图21B中所示,响应于接收来自第一参与者的音频消息,设备100显示了在消息对话 中音频消息的表示2108。在该实施例中,表示包括示出了表示音频消息的波形2102的图 像,用于播放音频消息的回放可供性2104,W及音频消息2106的历时。在一些实施例中,表 示被显示在界定消息区域内。在一些实施例中,响应于检测到回放可供性2104上的接触, 设备100播放音频消息。
[0299] 在一些实施例中,在显示了音频消息的表示2108之后,设备100响应于检测到设 备的升起而播放音频消息。在一些实施例中,设备100通过使用一个或多个用于检测设备 100移动的设备运动或朝向传感器和/或使用用于检测设备100邻近用户耳部的邻近传感 器或环境光传感器来检测用户已经拿起设备100。返回至图21A,在一些实施例中,设备100 通过显示指示用户拿起设备100W听取消息的指令2110W如此方式促使用户播放音频消 息。
[0300] 如图22A至图22C中所示,在一些实施例中,设备100响应于检测到设备100的升 起而录制第二音频消息。例如,如果设备100已经播放了所接收的音频消息(其可W如图 22A中所示由W不同颜色显示波形或回放可供性而指示)并且设备100检测到设备100升 起,则设备100开始录制第二音频消息。在一些实施例中,如果设备100已经响应于检测 到装置的升起而播放所接收音频消息(例如,而不是响应于检测到回放可供性上的接触), 则设备100在检测到设备100的下降之后、在检测到设备100的第二次抬起之前仅录制第 二音频消息。换言之,在一些实施例中,用户可W拿起设备100W听取音频消息,降低设备 100,并且随后再次拿起设备100W录制新音频消息。在一些实施例中,设备100通过显示 指示用户拿起设备100W录制音频消息的指令而促使用户拿起设备100W录制消息。
[0301] 在一些实施例中,如果当录制第二音频消息时,设备100检测到设备100的下降, 设备100停止录制第二音频消息,并且发送第二音频消息至第一参与者。例如可W通过使 用一个或多个设备运动/朝向传感器W检测设备移动和/或使用邻近传感器或环境光传感 器W检测设备至用户耳部的邻近端部从而检测设备的下降。因此,如参照图22A至图22B所 述,在接收并且听取来自消息对话中参与者的音频消息之后,在一些实施例中,用户可W通 过拿起设备100W录制第二音频消息并且随后降低设备100W自动发送第二音频消息至参 与者从而做出响应。在一些实施例中,如图22C中所示,设备100在对话中插入所发送的第 二音频消息的表示。在一些实施例中,设备100基于消息的特性(例如,没有检测到人类说 话,或者消息历时太长因此指示了意外消息收发W及计算资源的浪费)确定不应发送所录 制的消息。该特征方面示出在图22D中。如所示,在一些实施例中,设备100显示了消息可 供性2214,其指示已经录制了消息但是一旦设备降低则不自动发送消息。相反地,设备100 显示可供性2216,当其被选择时则发送消息至指定联系人。
[0302] 如图23A中所示,在一些实施例中,设备100显示了可供性2302,指示了当设备 100工作在锁定状态下时所接收的消息。锁定状态可W是其中设备100限制了与设备100 用户交互的状态。
[0303] 在一些实施例中,如图23B中所示,响应于检测到在可供性2302上沿第一方向的 滑动手势,设备100显示了用于回复消息的回复可供性2304。如图23C中所示,响应于检测 到回复可供性2304上的接触,设备100可选地显示指令2306,指示用户拿起电子设备W录 制用于发送在回复消息中的音频消息。在一些实施例中,响应于检测到设备100的拿起,设 备100开始如之前参照图22A至图22B所述录制音频消息,W及类似地,响应于随后装置下 降,设备100如上参照图22C所述发送音频消息。
[0304] 返回至图23A,响应于检测到沿相反方向上在可供性2302上的滑动手势,设备100 可选地促使用户解锁设备100,并且在一些实施例中,在解锁了设备100之后,设备100将所 接收的消息作为所显示消息对话的一部分而显示。
[0305] 在一些实施例中,如图24A中所示,设备100在显示器的通知区域2404中显示了 所接收的音频消息的通知2402。如图24B中所示,响应于检测到在通知2402或通知区域 2404上的接触,诸如向下拖拽或轻击,在一些实施例中,设备100显示了具有用于播放音频 消息的播放可供性2406、用于录制回复音频消息的音频捕获可供性608、W及用于退出用 户界面的取消可供性2408的用户界面。在一些实施例中,如图24C中所示,响应于检测到 在音频捕获可供性608上的接触,设备100显示了具有用于录制并发送音频消息的多个可 供性的视觉辨别区域2410,例如参照图6D和图20所示和所述。
[0306] 类似于如上所述用于录制音频消息的过程,在一些实施例中,设备100可W响应 于检测到设备100的拿起和降低而播放、录制并发送视频消息。在运些实施例中,设备100 可W使用面部识别技术W确定设备100是否已经升起至用于视频消息回放或录制的合适 位置。
[0307]在一些实施例中,由设备100使用如上所述用户界面所捕获的媒体包括元数据。 该元数据可W包括例如设备100的位置的表示。在一些实施例中,设备100提供选项W允 许用户指定是否防止发送具有媒体的元数据。
[030引如前所述,设备100可W发送并接收包含媒体(诸如音频、视频或图像)、文本或两 者的消息。在一些实施例中,如果设备100在时间间隔内接收多个消息,并且所接收的消息 满足消息分组准则,则设备100在单个群组界定的消息区域内显示消息,而不是在多个界 定消息区域中显示消息。时间间隔可W例如范围从10秒至十分钟。
[0309] W如此方式对消息的表示分组可W减少在用于显示消息的消息区域中所需的面 积量,并且可W减小与接收多个消息相关联的簇。分组可W对于音频消息是特别有用的,音 频消息可W压缩为相对较小的表示W用于显示。
[0310] 在一些实施例中,消息分组准则包括当消息数目超过数字阔值时满足的准则。例 如,如果设备100在时间间隔内接收了一些数目的相继的消息,并且数目超过数字阔值,贝U 设备100可W可选地确定消息满足消息分组准则并且在单个分组界定消息区域内显示消 息的表示。数字阔值可W例如是在时间间隔内接收的3、5、7或10个消息。
[0311] 在一些实施例中,消息分组准则包括当接收到的消息W小于时间阔值量相互间隔 开时所满足的准则。例如,W小于30、20、10或5秒相互间隔开的相继的消息可W满足消息 分组准则。例如,如果设备100在音频消息之后小于30秒内接收文本消息,则设备100可 W可选地确定消息满足消息分组准则并且在对话中显示消息的分组表示。
[0312] 在一些实施例中,消息分组准则是基于所接收到消息的类型。例如,如果设备100 在时间间隔内接收多个相继的音频消息,则设备100可W可选地确定消息满足消息分组准 贝1J。然而,如果设备100接收并非是音频消息的插入消息,则设备100可W可选地确定所接 收消息并未满足消息分组准则并且在分离界定消息区域内显示所接收消息的表示。
[0313] 在一些实施例中,消息分组准则是基于消息的发送方。例如,从消息对话中单个参 与者接收的相继的消息可W满足消息分组准则,但是从不同参与者接收的相继的消息可W 不满足消息分组准则。
[0314] 在一些实施例中,消息分组准则是基于消息是否均具有相同读取状态。在一些实 施例中,读取状态对应于消息是否已经读取、播放或查看。例如,均未读(例如未播放)的 相继的音频消息可W满足消息分组准则,但是具有不同读取状态一也即一些已经播放而一 些尚未播放一的相继的音频消息可W不满足消息分组准则。
[0315] 图25A示出了在分组界定消息区域2502中显示满足消息分组准则的多个音频消 息的表示的示例。在一些实施例中,除了显示用于每个单独音频消息的回放可供性2506 之外或者作为对其的替代,设备100显示了用于播放所有分组音频消息的全部播放可供性 2504。在一些实施例中,设备100响应于检测到设备100的升起而回放全部分组音频消息。 在一些实施例中,设备100显示了指示用户那样设备100W播放所有多个分组音频消息的 指令。
[0316] 在图25A所示实施例中,每个音频消息由分离的波形图像表示。然而,在一些实施 例中,设备100显示了表现多个分组音频消息的单个复合波形。
[0317]图25B示出了在多个界定消息区域2508中显示的并未满足消息分组准则的多个 音频消息的示例。
[031引在一些实施例中,响应于检测到在分组界定消息区域2502上的接触,诸如图25A中所示,设备100在分离界定消息区域2508中显示了由分组界定消息区域2502表示的音 频消息,诸如图25B中所示。
[0319] 图25C示出了在分组界定消息区域2512中显示满足消息分组准则的多个图像消 息2510的缩略图表示的示例。图25D示出了在多个界定消息区域2514中显示的并未满足 消息分组准则的多个图像消息的表示的示例。
[0320] 在一些实施例中,响应于检测到在分组界定消息区域2512上的接触,设备100在 分离界定消息区域2514中显示图像消息的表示,诸如图25D中所示。
[0321] 如图25E中所示,在一些实施例中,响应于检测到在表现多个图像或视频消息的 分组界定消息区域2512上的接触,设备100在显示器上的幻灯片2516中显示了表示图像 或视频的缩略图2518。在一些实施例中,在幻灯片2516上显示的缩略图2518要大于在界 定消息区域中所显示的缩略图,并且可选地是可滚动的。
[0322]因为如上所述的用户界面使得参与者易于在消息对话中交换媒体,因此在一些情 形中,参与者可W在对话对话期内交换许多媒体消息。例如,参与者可W在消息对话期间交 换多个短音频消息。在一些情形中,运些交换的消息可W设计为无需保持的快速、非正式通 信,并且可W扰乱参与者的消息对话显示。因此,在一些实施例中,设备100调度了基于一 旦满足一些失效准则则停止在对话中显示的消息。在一些实施例中,停止显示消息包括从 设备100删除消息。自动删除的目的并非是保密,而是相反地,避免由瞬时消息扰乱对话。
[0323] 在一些实施例中,失效准则是基于消息是否包含任何媒体内容,或者基于消息包 含哪种媒体内容。例如,音频消息可W具有与视频消息不同的失效准则。在一些实施例中, 文本消息并不具有任何失效准则并且因此从不自动删除。
[0324] 在一些实施例中,失效准则是基于时间间隔。在一些实施例中,时间间隔可W从媒 体捕获的时间(例如,对于捕获了媒体的对话参与者)、或者从媒体已经播放的时间(例如, 对于接收媒体的对话参与者)开始测量。在一些实施例中,对于消息的失效准则对于第一 参与者与对于第二参与者是不同的。在一些实施例中,时间间隔可W例如是1分钟、2分钟、 3分钟、4分钟、5分钟或10分钟。
[0325] 在一些实施例中,失效准则是基于是否使用如上参照图6A至图14所述的消息用 户界面捕获媒体对象,例如,或者使用诸如相机应用程序之类的不同应用程序而捕获。在一 些实施例中,使用参照图6A至图14所述的快速媒体捕获方案而捕获并且添加至对话的媒 体(其旨在作为非正式临时通信)可W具有与使用不同方案(诸如参照图15A至图18C所 述的媒体选择器界面)添加至对话的媒体不同的失效准则。
[0326]本领域技术人员将理解的是,可许多方式组合或修改如上所述的示例性失效 准则。
[0327] 在一些实施例中,如图26中所示,设备100提供了对在消息的表示中失效准则 2602的指示。在图26所示实施例中,失效准则2602的指示包括时间间隔,在该时间间隔之 后消息将停止显示在消息对话中。
[032引如图26中所示,在一些实施例中,设备100显示了保持可供性2604,用于保持原本 将在满足失效准则之后删除的信息。在一些实施例中,响应于检测到保持可供性2604的选 择,设备100忽略失效准则并且继续在对话中显示消息。在一些实施例中,响应于检测到在 保持可供性2604上的接触,设备100停止显示对失效准则的指示和/或停止显示保持可供 性。
[0329] 在一些实施例中,当使用图6A至图14中所述的界面添加至对话的、可W旨在作为 非正式临时通信的媒体消息被发送或接收时,该媒体消息并未添加至媒体库(诸如相机卷 或音频库),而是使用图15A至图18C中所述界面添加至对话的媒体消息被添加至媒体库。 在一些实施例中,保持媒体消息(通过例如选择保持可供性)添加媒体至媒体库。
[0330] 在一些实施例中,可W由第一参与者、由第二参与者、由两者或由任一者保持具有 从消息对话中第一参与者发送至第二参与者的相关失效准则的消息。
[0331] 如图27A中所示,在将音频消息从消息对话中第一参与者发送至第二参与者之 后,设备100可选地向第一参与者提供了关于音频消息已经传输至第二参与者的指示 2702。如图27B中所示,响应于检测到第二参与者已经播放了至少一部分音频消息,设备 100可选地向第一参与者提供关于已经播放了音频消息的指示2704。如图27C中所示,响 应于检测到第二参与者已经选择了与音频消息相关联的保持可供性,设备100可选地向第 一参与者提供关于第二参与者已经保持了消息的指示2706。在一些实施例中,消息已被保 持的指示符替换已被传输或播放/查看/读取消息的指示符。
[0332] 在一些实施例中,设备100也可W在消息对话中两个或多个参与者之间发送静态 位置信息或共享动态位置信息,W及在地图上显示两个或多个参与者的位置信息。
[0333] 在一些实施例中,如图28A中所示,当显示消息对话时,设备100显示了用于显示 关于消息对话的额外细节的细节可供性2702。如图28B中所示,在一些实施例中,响应于检 测到在细节可供性上的接触,设备100显示了在对话期间已经交换的媒体的表示2704(诸 如缩略图或波形),用于发送设备100的当前位置信息至对话中一个或多个参与者的发送 位置可供性2706,W及用于W预定时间段将设备100的位置信息与一个或多个参与者共享 的共享位置可供性2708。
[0334] 在一些实施例中,响应于检测到发送位置可供性2706的选择,设备100向消息对 话中参与者提供了对于设备100的当前位置信息。如图28C中所示,在一些实施例中,设备 100将示出了当前位置信息的地图2710插入对话中。在一些实施例中,响应于检测到发送 位置可供性2706上的接触而发送的位置信息是静态的,并且随后并未根据设备100位置改 变而更新。
[0335] 如图29A至图29B中所示,在一些实施例中,响应于检测到共享位置可供性2708 的选择,设备100显示了用于选择预定时间段的用户界面2902,在该预定时间段期间将共 享位置信息。响应于检测到对一个预定时间段的选择,设备100向消息对话中参与者提供 了使得参与者确定在所选时间段期间设备100位置的信息。在一些实施例中,提供该信息 使得由接收信息的参与者所使用的远程电子设备促使参与者将他们的位置与设备100的 用户共享。在一些实施例中,在所选时间段已经流逝之后,设备100可W停止与参与者共享 位置信息。
[0336] 在一些实施例中,使得参与者确定设备100的位置包括使得参与者从设备100发 送位置信息至其的位置服务器请求关于设备100位置的信息。
[0337]如图29C中所示,在一些实施例中,当共享位置信息时,设备100显示了在时间段 已经流逝之前用于停止与参与者共享位置信息的停止共享可供性2904。
[033引在一些实施例中,设备100可W从消息对话中另一参与者接收位置信息。在一些 实施例中,响应于接收到位置信息,如图30中所示,设备100促使设备100的用户与其他参 与者共享他们的位置信息。在一些实施例中,响应于检测到用户已经选择共享他们的位置 信息,设备100向其他参与者提供了使得参与者确定设备100位置的信息。如之前参照图 29B所述,设备100可W可选地允许用户选择将要共享位置信息的预定时间段。
[0339] 如上所述,在一些实施例中,设备100从消息对话中参与者接收所共享的位置信 息。在一些实施例中,位置信息包括外部装置的位置。在一些实施例中,响应于接收位置信 息,设备100显示地图,示出了电子设备的位置化及外部设备的位置。
[0340] 如图31中所示,在一些实施例中,设备10可W从消息对话中多个参与者接收所共 享的位置信息,并且作为响应,(在相同地图上)显示了示出多个参与者的位置3104W及 设备100的位置3106的地图3102。在一些实施例中,设备100显示了关于其位置显示在地 图上的每个参与者的信息3108。
[0341] 在一些实施例中,对话中多个参与者的任一个可W从对话添加或去除一个或多个 其他参与者,或者可W改变消息对话的名称。
[034引如图32A中所示,在一些实施例中,响应于检测到消息对话中地图3202上的接触, 设备100显示了地图的更大版本3204。在一些实施例中,响应于检测到在更大地图3204上 的接触,设备100显示了由消息对话中参与者所共享的位置信息的卫星图像3206,位置信 息的地图图像3208,W及用于显示去往位置信息的方向3210或来自位置信息的方向3212 的可供性。
[0343] 如之前参照图28A至图28C和图29A至图29C如上所述,在一些实施例中,设备 100提供了消息用户界面,其允许参与者容易地相互发送他们当前位置,或者W预定时间段 相互共享他们的位置。
[0344] 在一些实施例中,在预定时间段已经流逝之后,设备100改变所显示地图(例如图 28C中地图2701)的颜色W指示不再采用位置信息对其更新。在一些实施例中,响应于在预 定时间段已经流逝之后检测到地图上接触,设备100显示了指示不再共享位置信息的可供 性。
[0345] 图33是图示了用于媒体的快速捕获和发送的过程3300的流程图。可W在具有显 示器和触摸敏感表面的电子设备处执行过程3300,像设备100 (图2)。在框3302处,设备 在其触摸敏感显示器上显示媒体可供性和用于显示消息对话的参与者之间发送的消息的 消息区域。在框3304处,设备检测触摸敏感表面上的手势,包括检测在触摸敏感表面上的、 对应于显示器上的媒体可供性的位置的位置处的接触。在框3306处,响应于检测到接触, 设备在其触摸敏感显示器上显示发送可供性。在框3308中,设备检测手势的后续,包括检 测接触跨触摸敏感表面的移动W及然后检测接触从触摸敏感表面的抬起。在框3310处, 设备确定接触是否移动到触摸敏感表面上的、对应于发送可供性的位置的位置。在框3312 处,根据接触移动到触摸敏感表面上的、对应于发送可供性的位置的位置的确定,并且响应 于检测到抬起,设备向消息对话的参与者发送响应于手势的至少一部分所捕获的媒体。可 选地,在一些实施例中,响应于框3304中示出的检测到接触,设备可W在显示器上显示取 消可供性,确定接触是否移动到触摸敏感表面上的、对应于显示器上的取消可供性的位置 的位置,并且根据接触移动到触摸敏感表面上的、对应于取消可供性的位置的位置W及然 后抬起的确定,设备可W放弃向参与者发送所捕获的媒体。在一些实施例中,根据接触未移 动到对应于发送可供性的位置的触摸敏感表面上的位置也未移动到对应于取消可供性的 位置的触摸敏感表面上的位置的确定,并且响应于检测到抬起,设备可W显示消息编辑域 中的图像,图像具有表示所捕获的媒体的波形(在图33中由B表示)。在一些实施例中,根 据接触未移动到在触摸敏感表面上的、对应于发送可供性的位置的位置并且接触也未移动 到在触摸敏感表面上的、对应于取消可供性的位置的位置的确定,并且响应于检测到移动, 设备可W停止捕获媒体(在图33中由B'表示)。
[0346] 注意,上文关于过程3300所描述的过程的细节(例如,图33和图6A-图14)也W 类似的方式适应于本文所描述的其他过程。例如,过程3400、3500、3600、3700、3800、3900、 4000、4600和4900可W包括上文参考过程3300所描述的各个过程的一个或者多个特征。 为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)3300所描述的 各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图50所描述的那些单元。
[0347] 图34是图示了用于快速视频捕获的过程3400的流程图。可W在具有显示器和触 摸敏感表面的电子设备处执行过程3400,该电子设备像设备100 (图2)。在框3402处,设备 在显示器上显示媒体可供性和用于显示消息对话的参与者之间发送的消息的消息区域。在 框3404处,设备检测触摸敏感表面上的对应于显示器上的媒体可供性的位置的第一输入。 在框3406处,响应于检测到第一输入,设备显示录制可供性和发送可供性。在框3408处, 设备检测触摸敏感表面上的对应于显示器上的录制可供性的位置的第二输入。在框3410 处,响应于检测到第二输入,设备开始录制视频。在框3412处,设备检测触摸敏感表面上的 对应于显示器上的发送可供性的位置的第=输入。在框3414处,响应于检测到第=输入, 设备向参与者发送录制的视频并且从显示器中去除发送可供性和录制可供性。可选地,在 框3414处,响应于检测到第=输入,设备可W将录制的视频的缩略图表示插入到显示的消 息对话中。
[034引注意,上文关于过程3400所描述的过程的细节(例如,图34、图10A-10B和图12A-图14)也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3500、3600、 3700、3800、3900、4000、4600和4900可W包括上文参考过程3400所描述的各个过程的一个 或者多个特征。为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方 法)3400所描述的各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图51所 描述的那些单元。
[0349] 图35是图示了用于通过拿起电子设备来答复音频消息的过程3500的流程图。可 W在具有显示器和触摸敏感表面的电子设备处执行过程3500,该电子设备像设备100 (图 2)。在框3502处,设备显示从消息对话的第一参与者接收的第一音频消息的表示。在框 3504处,设备检测播放第一音频消息的请求。可选地,在一些实施例中,在框3504处,设备 通过在显示第一音频消息的表示时检测设备的分离的拿起W检测播放第一音频消息的请 求。可选地,在一些实施例中,在框3504处,设备通过检测在触摸敏感表面上的对应于第一 音频消息的显示的表示的位置的位置处的接触来检测播放第一音频消息的请求。在框3506 处,响应于检测到请求,设备播放第一音频消息。在框3508处,在播放第一音频消息之后, 设备检测设备的拿起。在3510处,响应于检测到设备的拿起,设备录制第二音频消息。可 选地,在框3510处,在录制第二音频消息时,设备可W检测设备的降低,并且响应于检测到 设备的降低,设备可W停止录制第二音频消息。在框3512处,在录制第二音频消息之后,设 备向第一参与者发送第二音频消息。可选地,在框3512处,响应于检测到设备的降低,并且 在停止录制第二音频消息之后,设备可W向第一参与者发送第二音频消息。
[0350] 注意,上文关于过程3500所描述的过程的细节(例如,图35和图21A-24C)也W 类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3600、3700、3800、3900、 4000、4600和4900可W包括上文参考过程3500所描述的各个过程的一个或者多个特征。 为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)3500所描述的 各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图52所描述的那些单元。
[0351] 图36是图示了用于消息分组的过程3600的流程图。可W在具有显示器和触摸敏 感表面的电子设备处执行过程3600,电子设备像设备100 (图2)。在框3602处,设备在时 间间隔内从第一参与者接收多个消息。在框3604处,设备确定多个消息是否满足消息分 组准则。在一些实施例中,消息分组准则可W包括当多个消息中的消息的数目超过数值阔 值时满足的准则。在一些实施例中,消息分组准则可W包括当多个消息彼此间隔少于阔值 时间量时满足的准则。在一些实施例中,消息分组准则可W包括当多个消息是顺序邻近消 息时所满足的准则。在一些实施例中,顺序邻近消息可W包括在不包含具有不同的读取状 态的中间的接收的消息的情况下具有相同读取状态的消息。在框3606处,根据多个消息满 足消息分组准则的确定,显示器显示表示多个消息的单个组界定的消息区域。可选地,在框 3606处,在其中分组界定的消息区域表示至少两个音频消息的一些实施例中,设备可W接 收请求W顺序地播放至少两个音频消息,并且响应于接收到请求,顺序地播放至少两个音 频消息。在3608处,根据多个消息不满足消息分组准则的确定,设备显示表示多个消息的 多个分离的界定的消息区域。
[035引注意,上文关于过程3600所描述的过程的细节(例如,图36和图25A-25巧也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3700、3800、3900、 4000、4600和4900可W包括上文参考过程3600所描述的各个过程的一个或者多个特征。 为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)3600所描述的 各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图53所描述的那些单元。
[0353] 图37是图示了用于基于失效准则管理消息显示的过程3700的流程图。可W在具 有显示器和触摸敏感表面的电子设备处执行过程3700,电子设备像设备100 (图2)。在框 3702处,设备接收第一消息。在框3704处,设备在显示器上显示第一消息的表示,第一消息 计划在满足失效准则之后被删除。在一些实施例中,失效准则可W基于时间间隔。在一些 实施例中,失效准则可W基于第一消息是否包含媒体。在一些实施例中,失效准则可W基于 使用诸如关于图6A-图14所描述的快速媒体捕获方法还是使用另一方法来捕获媒体。在 框3706处,设备显示用于保持第一消息的可供性。在框3708处,根据可供性在满足失效准 则之前被选择的确定,设备保持第一消息。可选地,在框3708处,如果第一消息包含媒体, 则根据可供性在满足失效准则之前被选择的确定,设备可W将媒体保存在媒体库中。在一 些实施例中,设备100仅保存使用诸如关于图6A-图14所描述的快速媒体捕获方法所捕获 的媒体。在一些实施例中,如果第一消息包含媒体并且失效基于时间间隔,则时间间隔可W 从媒体被播放之后的时间开始被测量。在一些实施例中,如果第一消息包含媒体并且失效 基于时间间隔,则时间间隔可W从媒体被创建时的时间开始被测量。在框3710处,根据失 效准则已经被满足而没有检测到可供性的选择的确定,设备停止在显示器上显示第一消息 的表示。可选地,在框3710处,设备可W接收第二消息,第二消息基于失效准则不被删除。
[0354] 注意,上文关于过程3700所描述的过程的细节(例如,图37和图26-27C)也W 类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3600、3800、3900、 4000、4600和4900可W包括上文参考过程3700所描述的各个过程的一个或者多个特征。 为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)3700所描述的 各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图54所描述的那些单元。
[0355] 图38是图示了用于位置共享的过程3800的流程图。可W在具有显示器和触摸敏 感表面的电子设备处执行过程3800,该电子设备像设备100 (图2)。在框3802处,设备在显 示器上显示用于显示在消息对话的第一参与者和第二参与者之间发送的消息的消息区域。 在框3804处,随着位置在至少预定时间段内变化,设备显示用于将第一参与者的位置与第 二参与者共享的共享位置可供性。在框3806处,设备检测在触摸敏感显示器上的、对应于 显示器上的共享位置可供性的位置的位置处的接触。在框3808处,响应于检测到在触摸敏 感显示器上的、对应于共享位置可供性的位置的位置处的接触,设备向第二参与者提供使 得第二参与者能够确定至少预定时间段期间第一参与者的当前位置的信息。在一些实施例 中,设备可W允许用户选择时间段。可选地,在框3808处,响应于检测到对应于共享位置可 供性的位置处的接触,设备可W显示对应于至少两个预定时间段的至少两个可供性,检测 在触摸敏感表面上的对应于显示器上的至少两个可供性之一的位置的位置处的接触,并且 响应于检测到在触摸敏感表面上的对应于显示器上的至少两个可供性之一的位置处的接 触,向第二参与者提供使得第二参与者能够确定对应于至少两个可供性之一的预定时间段 期间的第一参与者的当前位置的信息。可选地,在框3808处,设备可W从第二参与者接收 动态地指示第一外部设备的位置的位置信息,并且在显示器上显示用户设备在地图上的位 置W及第一外部设备在地图上的位置。可选地,在框3808处,设备可W向消息对话添加第 =参与者、从第=参与者接收指示第二外部设备的位置的位置信息、W及在显示器上显示 第二外部设备在地图上的位置。可选地,在框3808处,设备可W在显示器上与消息对话一 起显示细节可供性、检测对应于显示器上的细节可供性的位置的触摸敏感表面上的位置处 的接触、并且响应于检测到在触摸敏感表面上的对应于显示器上的细节可供性的位置的位 置处的接触,显示示出已经共享他们的位置的消息对话的两个或者更多参与者的位置的地 图。
[0356] 注意,上文关于过程3800所描述的过程的细节(例如,图38和图28A-图32C) 也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3600、3700、 3900、4000、4600和4900可W包括上文参考过程3800所描述的各个过程的一个或者多个特 征。为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)3800所 描述的各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图55所描述的那 些单元。
[0357] 图39是图示了用于向消息对话添加媒体的过程3900的流程图。可W在具有显示 器、触摸敏感表面和相机传感器的电子设备处执行过程3900。在框3902处,设备在显示器 上显示用于显示消息对话的消息区域。在框3904处,设备接收向消息对话添加媒体的请 求。在框3906处,响应于接收到请求,设备与消息对话的至少一部分并行显示媒体选择界 面,媒体选择界面包括用于选择向消息对话添加媒体的多个可供性,至少多个可供性的子 集包括可W向消息对话添加的媒体的缩略图表示。在框3908处,设备检测从多个可供性选 择相应的可供性。在框3910处,响应于检测到相应的可供性的选择,设备选择用于向消息 对话添加的对应的媒体。可选地,在框3910处,响应于检测到相应的可供性的选择,设备可 W向消息对话添加媒体。可选地,在框3910处,如果多个可供性包括实时预览可供性,设备 可W检测在触摸敏感显示器上的对应于显示器上的实时预览可供性的位置的位置处的接 触,并且响应于检测到在触摸敏感表面上的对应于实时相机预览的位置的位置处的接触, 基于实时相机预览捕获新图像并且选择向消息对话添加的新图像。
[035引注意,上文关于过程3900所描述的过程的细节(例如,图39和图15A-图18C)也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3600、3700、 3800、4000、4600和4900可W包括上文参考过程3900所描述的各个过程的一个或者多个特 征。为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)3900所 描述的各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图56所描述的那 些单元。
[0359] 图40是图示了用于发起音频操作的过程4000的流程图。过程4000在具有显示器 (例如,设备100的显示器112)和麦克风(例如,设备100的麦克风113)的电子设备(例 如,设备100)处执行。在框4002处,设备基于电子设备的移动和一个或者多个接近传感器 读数检测设备情景的变化(例如,通过如图21B所描述的上升运动)。在框4004处,响应于 检测到设备情景的变化,设备确定设备是否满足音频操作准则。例如,音频操作准则包括当 电子设备的移动满足移动准则并且接近传感器读数满足接近准则时满足的准则。在框4006 处,根据设备情景的变化满足音频操作准则的确定,设备发起音频操作。在框4008处,根据 设备情景的变化不满足音频操作准则的确定,设备放弃发起音频操作。
[0360] 有利地,过程4000使得用户能够发起具有单个手势(例如,通过拿起电话到用户 的耳朵)的音频操作。过程4000降低用户查看手机并且在其上选择可供性W便发起诸如 音频消息的发送之类的音频操作的需要。进一步地,移动准则和接近准则相结合W有利地 降低错误音频操作的量。用户界面增加的效率W及错误音频操作的降低的发生频率和持续 时间均降低设备的能量使用,运对于电池供电的设备是非常重要的,其中降低的能量使用 增加电池寿命。
[0361] 在一些实施例中,当设备选择图21A-22C中图示的向上轨迹时满足移动准则。在 一些实施例中,使用一个或者多个加速计168和设备100上可选的传感器(图1A)追踪设 备的移动。在一些实施例中,当设备处于与预定定向不同的定向时满足移动准则(例如,当 设备并不上下颠倒时满足)。在一些实施例中,当设备选择基本上向上的轨迹或者在设备从 使其显示器接近与地球表面平行(例如,当用户观看显示器上的通信的指示时)向使其显 示器接近与地球表面垂直(例如,当用户已经拿起设备W将其放置靠近用户耳朵W倾听或 者录制音频消息时)旋转的情况下向上的轨迹时满足移动准则。
[0362] 在一些实施例中,如图21B所示,当电话在用户的脸处时满足接近准则。在一些实 施例中,接近传感器读数由设备100的接近传感器166提供,并且当传感器指示与物体(可 w是用户的脸)接近时满足接近准则。
[0363] 图41A和图41B是图示了过程4000(图40)的框4002内的可选的子过程的流程 图。在一些实施例中,在框4002(图40)中执行图41A中描绘的一个或者多个可选的过程 4102-4106。在框4102处,设备接收通信,例如,音频消息、文本消息、语音邮件、电话呼叫。 在框4104处,响应于接收到通信并且因此在检测到设备情景的变化之前(例如,在图40中 的过程4000的框4004之前),设备提供通信被接收的指示。可能的指示包括可视通知(例 如,接收到消息的标志或者特定应用的显示,诸如消息泡)、触觉通知(例如,震动)或者音 频通知(例如,蜂鸣或者铃声)。可能的指示包括显示在锁屏状态的用户界面中或者未锁屏 状态的用户界面中的那些指示。在一些实施例中,显示通信被接收的指示设及发起消息收 发应用。消息收发应用是配置为经由诸如SMS和MMS之类的服务处理短消息和/或经由诸 如例如由加利福尼亚,库比蒂诺的苹果公司提供的iMessage".之类的服务处理文本消息 的应用。
[0364] 在框4106处,在检测到设备的情景的变化之前,设备播放所接收的通信的音频部 分。例如,如果通信包括具有尚未由设备播放的音频部分的消息(例如,新的音频消息),则 音频操作包括播放消息的音频部分。作为另一示例,如果通信包括语音邮件消息,则播放语 首邮件消息。
[0365] 转到图41B,在一些实施例中,在框4002 (图40)处执行可选的步骤4108和4110。 在框4108处,在检测到设备情景的变化之前,设备检测它在音频消息收发情景中。例如,当 具有音频部分的收到的消息被接收时(可选地在最近的一些窗口内),设备确定它在音频 消息收发情景中。作为另一示例,当消息收发应用活跃时,设备确定它在消息情景中。在框 4110处,只有当电子设备在音频消息收发情景中(例如,当通信引用被打开或者通信最近 已经被接收时),设备才检测设备情景的变化。过程4108和4110的有利的效果是当设备不 在音频情景中时检测拿起讲话移动所需要的加速计和/或接近传感器可W被断电(或者至 少不被活跃地监控),由此降低功率使用(例如,降低用于监控设备情景的变化的资源W及 降低用于录制和处理假阳性检测的音频的资源),并且因此节省功率并且延长设备的电池 寿命。
[0366] 在一些实施例中,如上文所讨论的那样,在框4110处,只有当电子设备在音频消 息收发情景中,设备才监控设备情景的变化。在一些实施例中,设备不监控满足音频操作 准则的设备情景的变化,甚至当多媒体消息收发应用打开时,直到多媒体消息收发应用中 的当前选择的对话包括具有音频部分(例如,由用户或者对话的其他参与者之一录制和发 送的音频部分)的至少一个消息。如上文所述,减少其中设备监控设备情景的变化的情况 降低设备的功率使用,由此节省功率并且延长电池操作设备的电池寿命。另外,减少其中设 备监控设备情景的变化的情况降低音频操作的假阳性发起的可能性(例如,当在新闻应用 中,当用户举起设备并且将其放置在梳妆台上时,开始录制音频),由此改善用户体验的整 体质量。
[0367] 图42A-图43C是图示了过程4000的框4004内的可选的子过程的流程图(图40)。 转到图42A,在一些实施例中,可选的过程4202被执行在框4004 (图40)处。在框4202处, 设备确定消息是否在检测到设备情景的变化之前的预定时间间隔内被接收,并且播放消息 的音频部分包括如果消息在预定时间间隔内被接收,则播放消息的音频部分。如果消息不 是在预定时间间隔内被接收,则框4202(W及因此框4004)提供"否"的结果,并且处理前 进至框4008 (图40),其中设备放弃发起诸如录制新音频消息之类的音频操作的机会。如果 消息是在时间间隔内被接收,则框4202提供"是"的结果,并且如果框4004内的其他要求 也被满足,则处理前进至框4006 (图40),其中设备可W发起诸如录制新的音频消息之类的 音频操作。作为示例,新录制的音频消息是对接收的通信的答复。
[036引转到图42B,在一些实施例中,在过程4000的框4004(图40)处执行可选的步 骤4204。回想在一些实施例中,在到达过程4204之前,设备已经播放了接收的通信的音 频部分。在运些情况下,设备可W执行可选的框4204W确定设备情景的所检测的变化是 否发生在播放音频消息的预定时间间隔内。如果设备情景的变化发生在时间间隔外,则框 4204 (W及因此框4004)提供"否"的结果,并且处理前进至框4008 (图40),其中设备放弃 发起诸如录制新音频消息之类的音频操作的机会。如果情景的变化被检测在从音频部分被 播放的时间的预定时间间隔内,则框4204提供"是"的结果,并且如果框4004内的其他要 求也被满足,则处理前进至框4006,其中设备可W发起诸如录制新消息之类的音频操作。
[0369] 转到图43A,在一些实施例中,在过程4000的框4004 (图40)处执行可选的过程 4302。在框4302处,设备确定移动的结束和移动结束时电子设备的定向。例如,确定移动 的结束包括,在高于阔值速度(例如,0. 75英尺每秒、1英尺每秒、1. 5英尺每秒、2英尺每 秒)移动之后,确定设备在不多于时间段(例如,0. 5s、0. 75s、ls、1.25s、1.5s)的时间移动 高于阔值量(例如,由本领域技术人员之一鉴于所使用的精确加速计确定的噪音滤波值)。 例如,确定设备的定向包括确定设备是否在预定定向中(例如,面朝下或者面朝上、麦克风 朝下或者麦克风朝上)。在一些实施例中,当移动结束时电子设备不在预定定向(例如,面 朝下)中时,满足移动准则。
[0370] 有利地,该特征具有降低错误音频操作的情况的效果。因为一些设备定向不可能 与音频操作相关联,所W当设备在那些定向中时防止音频操作降低错误音频操作的情况。 用户界面的增加的效率W及错误音频操作的降低的发生概率和持续时间均降低设备的功 率使用,运对于电池供电设备是特别重要的,其中降低的能量使用增加电池寿命。
[0371] 在一些实施例中,电子设备包括定位在设备的表面上的扬声器(例如,扬声器 111,图2)并且在预定定向中表面朝下(例如,相对于重力)。在一些实施例中,电子设备包 括扬声器,并且在预定定向中,麦克风被定位在耳机之上(例如,相对于重力)。如果移动 结束时的设备定向不满足移动准则,则框4302 (W及因此框4004)提供"否"的结果并且处 理前进至框4008 (图40),其中设备放弃发起诸如录制新音频消息之类的音频操作的机会。 如果移动结束时设备定向满足移动准则,则框4302提供"是"的结果并且如果框4004内的 其他要求也被满足,则处理前进至框4006,其中设备可W发起诸如录制新消息之类的音频 操作。
[0372] 转到图43B,在一些实施例中,可选的过程4304被执行在过程4000的框4004 (图 40)处。在框4304处,设备确定接近传感器读数是否指示接近电子设备的物体的检测在满 足移动准则的移动被检测之后的预定时间间隔内。接近的物体可选地在设备的例如0. 01、 0. 02、0. 05、1、2或者5英寸内或者另一合理的阔值内。预定时间间隔包括例如0. 5、0. 75、 1、 1. 25或者1. 5秒。如果接近传感器读数被检测在时间间隔外,则框4304(W及因此框 4004)提供"否"的结果,并且处理前进至框4008(图40),其中设备放弃发起诸如录制新音 频消息之类的音频操作的机会。如果接近传感器读数被检测在时间间隔内,则框4304提供 "是"的结果,并且如果框4004内的其他要求也被满足,则处理前进至框4006,其中设备可 W发起诸如录制新消息之类的音频操作。
[0373] 转到图43C,在一些实施例中,在过程4000的框4004 (图40)处执行可选的过程 4306。在框4306处,设备确定在移动满足移动准则并且一个或者多个接近传感器读数满足 接近准则的确定的预定时间间隔(例如,3秒)内电子设备是否在预定定向中。如果在预 定时间间隔内设备在预定定向中,则设备不满足音频操作准则,其中框4306(W及因此框 4004)提供"否"的结果并且处理前进至框4008 (图40),其中设备放弃发起诸如录制新音频 消息之类的操作的机会。如果在时间间隔内设备不在预定定向中,则框4304提供"是"的 结果并且如果框4004内的其他要求也被满足,则处理前进至框4006,其中设备可W发起诸 如录制新消息之类的音频操作。
[0374] 图44A-图45C是图示了过程4000的框4006(图40)内的可选的子过程的流程 图。在一些实施例中,框4006包括描绘在图44A中的可选的过程4402-4406。在框4402(图 44A)处,在发起音频操作之后,设备确定电子设备是否在预定定向中。如果是,则处理前进 至框4404,其中设备根据电子设备在预定定向中的确定而结束音频操作。结束音频操作可 选地包括停止回放音频和/或停止录制音频;可选地,删除任何已经录制的音频;可选地, 存储已经录制的音频并且提醒用户递送录制的音频。如果否,则处理前进至框4406,设备根 据电子设备不在预定定向中的确定放弃结束音频操作。
[0375] 在一些实施例中,电子设备包括定位在设备的表面上的扬声器(例如,设备100的 扬声器111)并且在预定定向中表面朝下(例如,相对于重力)。在一些实施例中,电子设备 包括耳机,并且在预定定向中,麦克风被定位在耳机之上(例如,相对于重力)。
[0376] 转到图44B,在一些实施例中,在过程4000的框4006 (图40)处执行可选的过程 4408-4410。在框4408处,在发起音频操作之后,设备检测电子设备的特征移动高于预定阔 值。特征移动可W基于加速计随时间的输出(平均)、峰值输出、输出持续时间或者重复。 不太可能的音频消息收发场景的示例性特征移动是在袖子上擦手机。在框4410处,响应于 检测到电子设备的特征移动高于预定阔值,设备结束音频操作。结束音频操作可选地包括 停止回放音频和/或停止录制音频;可选地,删除任何已经录制的音频;可选地,存储已经 录制的音频已经提醒用户递送录制的音频。
[0377] 运些特征设及在它已经开始之后结束音频操作的能力,运些特征具有降低由于错 误音频操作对用户体验的影响的有益效果。快速发起音频操作W由此改善响应度并且增强 用户的体验是有利的。在运样的情况下,很多事情可W看起来像用户旨在发起音频操作。例 如,拿起电话并且将其放在口袋里可能触发移动准则和接近传感器准则。上文的特征移动 和预定定向不太可能与音频相关联。当那些移动和/或定向被检测到时结束音频操作有利 地降低错误音频操作的数据,而不影响用户对设备的响应度的感知。用户界面的增加的效 率W及错误音频操作的降低的发生率和持续时间均降低设备的能量使用,运对于电池供电 的设备是特别重要的,其中降低的能量使用增加电池寿命。
[037引转到图44C,在一些实施例中,过程4000的框4006 (图40)包括可选的过程 4412-4416。回想,如上文所讨论的那样,根据上游处理,设备可W发起新消息的录制。在框 4412处,设备确定消息是否包括讲话。为了检测讲话,设备可选地将检测到的信号与讲话波 形的已知特征比较:如果录制的数据包括讲话波形的已知特征,则设备确定消息包括讲话; 如果数据中没有运样的特征,则设备确定消息不包括讲话。在框4414处,根据消息不包括 讲话的确定,设备结束消息的录制。结束音频操作可选地包括停止回放音频和/或停止录 审暗频巧选地,删除任何已经录制的音频巧选地,存储已经录制的音频W及提醒用户递 送录制的音频。在框4416处,根据消息不包括讲话的确定,设备放弃结束消息的录制。
[0379] 转到图45A,在一些实施例中,在过程4000的框4006 (图40)处执行可选的过程 4502-4504。在框4502处,在播放语音邮件消息之后,设备检测电子设备的竖摇运动(pump motion)。竖摇运动可选地包括向下运动W及然后向上运动(例如,满足音频操作准则的运 动)。图22A-图22C中图示了示例性竖摇运动。在框4504处,响应于检测到竖摇运动,设 备向与语音邮件消息相关联的电话号码发起电话呼叫(例如,设备进行回电呼叫)。
[0380] 转到图45B,在一些实施例中,在过程4000的框4006 (图40)处执行可选的过程 4506-4510。在框4506处,设备确定音频回放准则已经被满足。在框4508处,根据音频回 放准则已经被满足的确定,设备播放对应于接收的通信的音频。在一些实施例中,音频回放 准则包括当通信包括W前在设备上没有播放过的音频部分时满足的准则。在一些实施例 中,音频回放准则包括当通信在从设备情景的变化被检测到时的预定时间段内被接收时满 足的准则。在一些实施例中,音频回放准则包括当通信对应于当设备情景的变化被检测到 时设备的显示器上显示的通信警告(例如,用户界面锁屏上的弹出通知、置于显示在显示 器上的另一用户界面上的弹出窗口或者对话中的消息)时满足的准则。在框4510处,根据 音频回放准则没有被满足的确定,设备放弃回放。
[0381] 转到图45C,在一些实施例中,在过程4000的框4006 (图40)处执行可选的过程 4512-4516。在框4512处,设备确定音频录制准则已经被满足。在框4514处,根据音频录 制准则已经被满足的确定,设备录制用于答复接收的通信的音频。在一些实施例中,音频录 制准则包括当用于通信应用(例如,电话拨号应用、其中至少一个音频消息已经被发送或 者接收的多媒体消息收发应用的对话)的用户界面被显示在显示器上时满足的准则。在一 些实施例中,音频录制准则包括当消息的音频部分在当设备情景的变化被检测到时的预定 时间段内被播放时满足的准则。在框4516处,根据音频录制准则未被满足的确定,设备放 弃录制。
[0382] 注意,上文关于过程4000所描述的过程的细节(例如,图40-图45、图21和图22) 也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3600、3700、 3800、3900、4600和4900可W包括上文参考过程4000所描述的各个过程的一个或者多个特 征。为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)4000所 描述的各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图57所描述的那 些单元。
[0383] 图46是图示了用于发送消息的过程4600的流程图。在一些实施例中,在具有显 示器(例如,设备100的显示器112)和至少一个麦克风(例如,设备100的麦克风113)的 电子设备(例如,设备100)处执行过程4600。在框4602处,设备检测解读为录制用于指定 联系人的音频消息的请求的一个或者多个条件。指定联系人可选地包括通讯录中的人、电 子邮件、与接收的消息或者语音邮件相关联的电话号码。然而,对语音输入有响应而没有更 多的应用不应当被认为是"联系人"。指定联系人是由用户或者由设备100标识(例如,指 定)的联系人。在框4604处,响应于检测到一个或者多个条件,设备使用至少一个麦克风 生成音频录音。在框4606处,设备确定音频录音是否满足拒绝准则。在框4608处,根据拒 绝准则不被满足的确定,设备向指定联系人发送音频录音。在框4610处,根据拒绝准则被 满足的确定,设备放弃向指定联系人发送录音。
[0384] 有利地,过程4600可W降低错误消息的发送。通过针对拒绝准则监控进行中的音 频录制,设备有利地确定用户已经非故意地激活的音频录制或者在录制期间已经改变他/ 她的想法。运具有改善客户对消息收发系统的满意度的效果。用户界面的增加的效率W及 错误音频操作的降低的发生率和持续时间均降低设备的能量使用,运对于电池供电设备是 特别有利的,其中降低的能量使用增加电池寿命。
[0385] 框4602中的一个或者多个条件可选地包括设备情景的变化或者诸如上文参考过 程4000 (图40)更加详细地描述的拿起手势之类的用户输入,或者诸如使多媒体消息收发 应用显示在显示器上的消息收发情景中的其他输入。
[0386] 在一些实施例中,当音频录制的持续时间超过预定持续时间(例如,15秒)时,框 4606中的拒绝准则被满足。该特征有利地防止当用户分屯、时发送音频消息。
[0387] 图47A-图47D是图示了过程4600的框4606 (图46)内的可选的子过程的流程 图。转到图47A,在一些实施例中,可选的过程4702被执行在过程4600的框4606 (图46) 处。在框4702处,设备检测音频录音中是否存在讲话。当音频录音被确定不包括多于阔值 量时,满足拒绝准则。阔值量可选地是绝对量或者诸如百分比之类的相对量。在一些实施 例中,阔值量是能量阔值,诸如短时能量和过零率。在一些实施例中,阔值量基于讲话模型。 在一些实施例中,当没有声音(高于噪声滤波阔值)被检测到时,满足拒绝准则。
[038引现在关注基于设备的位置的拒绝准则。在一些实施例中,当电子设备在距声音源 的距离阔值内时,满足拒绝准则。可选地,设备通过确定设备的接近传感器(例如,设备100 的接近传感器166)是否已经检测到设备的距离阔值内的物体来确定电子设备是否在距离 阔值内。
[0389] 转到图47B,在一些实施例中,在过程4600的框4606 (图46)内执行可选的过程 4704。在框4704处,设备通过分析通过组合由第一麦克风和第二麦克风捕获的信号产生 的波形(例如,经由波束成形评价所形成的束中的基衰减,其中评价可选地基于近场束的 均衡化)来确定电子设备是否在声音源的距离阔值内。如果设备不在距离阔值内,则框 4704(W及因此框4606)产生"否"的输出,处理前进至框4610,其中设备结束进行中的录 审IJ。如果设备在距离阔值内,则框4704提供"是"的结果,并且如果框4604内的其他要求 也被满足,则处理前进至框4608,其中设备可选地继续录制并且发送录制的消息。
[0390] 转到图47C,在一些实施例中,在过程4600的框4606 (图46)处执行可选的过程 4706。在框4706处,设备通过确定至少一个麦克风处的声压级是否超过声压级阔值来确 定电子设备是否在距离阔值内。在一些实施例中,声压级阔值基于由电子设备先前检测到 的声压级的函数(例如,时间平均,用于耳语、大声说话、轻声细语、正常音调的参考级,等 等)。如果设备不在距离阔值内,框4706(W及因此框4606)产生"否"的输出,处理前进至 框4610,其中设备结束正在进行的录制。如果设备在距离阔值内,则框4704提供"是"的结 果,并且如果框4604内的其他要求也被满足,则处理前进至框4608,其中设备可W继续录 制并且发送录制的消息。
[0391] 转到图47D,在一些实施例中,在过程4600的框4606 (图46)处执行可选的过程 4708。在框4708处,设备通过比较声压级与由至少一个麦克风检测的混响级(例如,计算 直接讲话能量与混响能量的比例,并且将比例与阔值进行比较)来确定电子设备是否在距 离阔值内。如果比例指示远场音质,则处理前进至框4610,其中设备结束进行中的录制。如 果比例指示近场音质,并且如果框4604内的其他要求也被满足,则处理前进至框4608,其 中设备可W继续录制并且发送录制的消息。
[0392] 虽然本文的描述主要关于音频操作提供,但是应当领会的是所描述的系统和方法 可W被扩展至其他操作。例如,确定电话的位置可W利用在其他应用中并且可W被呈现为 平台服务W提供关于电话靠近用户还是远离用户的信息。运样的信息可W被使用例如m受 置铃声的音量。
[0393]在一些实施例中,拒绝准则基于电子设备的定向。在一些实施例中,电子设备包括 定位在设备的表面上的扬声器(例如,设备100的扬声器111)并且当表面面向下时(例如, 相对于重力)拒绝准则被满足。在一些实施例中,电子设备包括耳机,并且当麦克风被定位 在耳机之上(例如,相对于重力)时,满足拒绝准则。
[0394]在一些实施例中,当电子设备的特征移动超过阔值时,满足拒绝准则。特征移动可 选地包括巧螺仪和/或加速计随时间的输出(平均)、峰值移动、移动持续时间或者移动的 重复(诸如在袖子上擦手机)。
[0395]在一些实施例中,确定音频录音是否满足拒绝准则是响应于检测被解读为向指定 联系人发送音频录制的请求的一个或者多个条件。在一些实施例中,在录制音频之后(例 如,在音频的简短分段被录制之后),执行确定。在一些实施例中,在录制音频时,执行确定 (例如,W便当用户不打算录制音频时终止长音频分段的录制)。
[0396] 图48A-图48B是图示了 一些实施例中的过程4600的框4610 (图46)内的可选子 过程的流程图。转到图48A,可W在过程4600的框4610 (图46)处执行可选的过程4802。 在框4802处,当音频录音满足拒绝准则时,设备并行显示包括音频录音的草稿消息的表示 和发送可供性。(运方面被图示在图22D的设备100上)。在检测到发送可供性的用户选 择之后,设备向指定联系人发送草稿消息。
[0397] 转到图48B,在一些实施例中,在过程4600的框4610 (图46)处执行可选过程 4804-4808。在框4804 (图48B)处,当音频录音满足拒绝准则时,设备确定检测一个或者多 个条件(例如,接收用户输入或者开始录制音频)和确定音频录音满足拒绝准则之间的经 过时间是否超过时间阔值。在框4806处,根据经过时间超过时间阔值的确定,设备显示包 括音频录音的草稿消息的表示(例如,图22D中的设备100的用户界面)。在框4808处,根 据经过时间不超过时间阔值的确定,设备删除音频录音而不显示草稿消息的表示。例如,如 果音频消息的录制在开始录制音频之后不久或者在完成录制音频之后不久被确定为错误, 则音频消息被删除并且用户不用麻烦播放草稿音频消息。在运种情况下,很可能是录制被 错误地发起,并且该实施例消除由可能的无意录制来麻烦用户的需要。然而,如果音频消息 的录制在录制音频之后或者在开始录制音频之后大于阔值时间被确定为错误,则音频消息 被保存为可W用户用于发送的草稿W便避免使用户迷惑或者困扰。
[039引注意,上文关于过程4600所描述的过程的细节(例如,图46-图48、图21和图22) 也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3600、3700、 3800、3900、4000和4900可W包括上文参考过程4600所描述的各个过程的一个或者多个特 征。为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)4600所 描述的各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图58所描述的那 些单元。
[0399] 图49是图示了用于捕获和发送媒体的过程4900的流程图。可W在具有显示器和 触摸敏感表面的电子设备处执行过程4900,该电子设备像设备100 (图2)。在框4902处, 设备在显示器上显示媒体可供性、消息编辑域W及参与者之间的消息对话,其中对话被显 示在消息区域中。在框4904处,设备检测在触摸敏感表面上的对应于显示器上的媒体可供 性的位置的位置处的接触。在框4906处,响应于检测到接触,设备显示消息编辑域中的实 时的媒体预览。在框4908处,设备检测接触的抬起。在框4910处,响应于检测到抬起,设 备基于实时的媒体预览捕获新图像,并且向消息对话的参与者发送捕获的图像。可选地,响 应于检测到抬起,所捕获的图像被发送给参与者。可选地,显示器显示用于发送消息的发送 按钮。响应于检测到对应于发送按钮的位置处的接触,捕获的图像被发送给参与者。可选 地,响应于检测到抬起,捕获的图像的表示被显示在消息编辑域中。设备检测消息编辑域中 的附加的内容的用户条目。响应于检测到接触,附加的内容和捕获的图像被发送给参与者。 可选地,捕获的图像的缩略图和附加的内容被显示在插入到显示的消息对话中的界定消息 区域中。
[0400] 注意,上文关于过程4900所描述的过程的细节(例如,图49和图11C-图11G) 也W类似的方式适应于本文所描述的其他过程。例如,过程3300、3400、3500、3600、3700、 3800、3900、4000和4600可W包括上文参考过程4900所描述的各个过程的一个或者多个特 征。为了简单起见,运些细节不在其他过程的描述中重复。上文参考过程(方法)4900所 描述的各种方法和技术可W可选地实现为一个或者多个单元,诸如关于图59所描述的那 些单元。
[0401] 如图50所示,电子设备5000包括:显示器单元5002,配置成显示用户界面;触摸 敏感表面单元5004,配置成接收接触;W及处理单元5006,禪合到显示器单元5002和触摸 敏感表面单元5004。在一些实施例中,处理单元5006包括显示使能单元5008、检测单元 5010、确定单元5012、发送单元5014、媒体捕获单元5016、分配单元5018和接收单元5020。
[0402] 处理单元5006被配置为实现(例如,使用显示使能单元5008)媒体可供性和用 于显示消息对话的参与者之间发送的消息的消息区域的显示;检测(例如,使用检测单元 5010)触摸敏感表面单元5004上的手势,包括检测在触摸敏感表面单元5004上的、对应 于显示器单元5002上的媒体可供性的位置的位置处的接触;响应于检测到接触:实现(例 如,使用显示使能单元5008)显示器上的发送可供性的显示;检测(例如,使用检测单元 5010)手势的后续,包括检测接触跨触摸敏感表面单元5004的移动W及然后检测接触从触 摸敏感表面的抬起;确定(例如,使用确定单元5012)接触是否移动到在触摸敏感表面单元 上的对应于发送可供性的位置的位置;W及根据接触移动到对应于发送可供性的位置的触 摸敏感表面单元上的位置的确定,并且响应于检测到抬起,向消息对话的参与者发送(例 如,使用发送单元5014)响应于手势的至少一部分所捕获(例如,使用媒体捕获单元5016) 的媒体。
[0403] 在一些实施例中,接触W及然后接触的移动是触摸敏感表面单元5004上的单个 连续的接触。
[0404] 在一些实施例中,处理单元5006被进一步配置为:响应于检测到接触,实现在显 示器单元5002上(例如,使用显示使能单元5008)取消可供性的显示;确定(例如,使用确 定单元5012)接触是否移动到在触摸敏感表面单元5004上的、对应于取消可供性的位置的 位置;W及根据接触移动到在触摸敏感表面单元上的对应于取消可供性的位置的位置W及 然后抬起的确定,放弃向参与者发送所捕获的媒体。
[0405] 在一些实施例中,处理单元5006被进一步配置为:在检测到(例如,利用检测单元 5010)抬起之后,实现(例如,使用显示使能单元5008)从显示器单元去除发送可供性。
[0406] 在一些实施例中,处理单元5006被进一步配置为:根据接触移动到触摸敏感表面 单元5004上的对应于显示器单元5002上的发送可供性的位置的位置,并且响应于检测到 抬起:捕获媒体(例如,使用媒体捕获单元5016),W向参与者发送(例如,使用发送单元 5014)媒体。
[0407] 在一些实施例中,处理单元5006被进一步配置为:响应于检测到接触,开始捕获 媒体(例如,使用媒体捕获单元5016) 及根据接触移动到触摸敏感表面单元5004上的 对应于显示器单元5002上的发送可供性的位置的位置的确定,并且响应于检测到抬起:停 止捕获媒体,W及向参与者发送(例如,使用发送单元5014)媒体。
[0408] 在一些实施例中,处理单元5006被进一步配置为:响应于检测接触,开始捕获媒 体(例如,使用媒体捕获单元5016);响应于检测到接触的移动,停止捕获媒体;W及根据接 触移动到接触敏感表面单元5004上的对应于显示器单元5002上的发送可供性的位置的 位置,并且响应于在接触在触摸敏感表面单元上的对应于发送可供性的位置处时检测到抬 起,向参与者发送(例如,使用发送单元5014)媒体。
[0409]在一些实施例中,媒体是从麦克风接收的音频数据,并且抬起在触摸敏感表面单 元上的对应于显示器单元上的发送可供性的位置的位置处,并且处理单元5006被进一步 配置为:响应于检测到接触,开始捕获音频数据(例如,使用媒体捕获单元5016) 及根据 接触移动到触摸敏感表面单元5004上的对应于显示器单元5002上的发送可供性的位置的 位置的确定,并且响应于检测到抬起,停止捕获音频数据并且向参与者发送(例如,使用发 送单元5014)音频数据。
[0410] 在一些实施例中,处理单元5006被进一步配置为:使得能够在显示器单元5002上 显示消息编辑域(例如,使用显示使能单元5008) 及根据接触未移动到接触敏感表面单 元5004上的对应于发送可供性的位置的位置并且也未移动到触摸敏感表面上的对应于取 消可供性的位置的位置的确定,并且响应于检测到抬起:实现在显示器单元5002上显示消 息编辑域中的图像的显示,图像具有表示捕获的媒体的波形。
[0411] 在一些实施例中,处理单元5006被进一步配置为:响应于检测到抬起,实现利用 用于向参与者发送(例如,使用发送单元5014)捕获的媒体的发送按钮的显示代替媒体可 供性的显示(例如,使用显示使能单元5008)。
[0412] 在一些实施例中,处理单元5006被进一步配置为:响应于检测到(例如,使用检测 单元5010)触摸敏感表面单元5004上的接触,实现在显示器单元5002上媒体预览的显示 (例如,使用显示使能单元5008) ;W及在检测到抬起之后,停止在显示器单元上显示媒体 预览。
[0413] 在一些实施例中,处理单元5006被进一步配置为:当接触被保持在媒体可供性上 时:实现在显示器单元5002上的视觉辨别的区域的显示,其中视觉辨别的区域围闭媒体可 供性和发送可供性;W及响应于检测到接触的移动,扩展视觉辨别的区域的显示(例如,使 用显示使能单元5008)。
[0414] 在一些实施例中,处理单元5006被进一步配置为:向参与者实现在显示器单元 5002上的用于输入消息的虚拟键盘的显示(例如,使用显示使能单元5008) 及实现在虚 拟键盘上方沿着显示器单元5002的特定边缘的媒体可供性的显示(例如,使用显示使能单 元5008),其中所显示的视觉辨别的区域由特定边缘部分地界定。
[0415] 在一些实施例中,处理单元5006被进一步配置为:实现在显示器单元5002的角落 处的媒体可供性的显示(例如,使用显示使能单元),其中显示的视觉辨别区域由显示器单 元的两个不同边缘部分地界定。
[0416] 在一些实施例中,触摸敏感表面单元5004是触摸敏感显示器(例如,触摸敏感表 面单元5004是显示器单元5002的一部分),并且处理单元5006被进一步配置为:向媒体 可供性分配(例如,使用分配单元5018)命中区域,其中命中区域是显示器单元的响应于触 摸输入的区域,并且其中命中区域在虚拟键盘被显示在显示器单元上时比虚拟键盘不被显 示时具有更大的尺寸。
[0417] 在一些实施例中,处理单元5006被进一步配置为:确定(例如,使用确定单元 5012)媒体可供性上的接触的持续时间;W及根据接触的持续时间小于阔值持续时间的确 定,实现在显示器单元5002上的用于选择向参与者发送的现有媒体的媒体选择器用户界 面的显示(例如,使用显示使能单元5008)。
[0418] 在一些实施例中,处理单元5006被进一步配置为:接收(例如,使用接收单元 5020)是否防止向参与者发送捕获的媒体的元数据的集合的用户指定。
[0419] 在一些实施例中,元数据包括电子服务的位置的表示。
[0420] 在一些实施例中,媒体可供性是第一媒体可供性,其中处理单元5006被进一步 配置为:实现在显示器单元5002上的第二媒体可供性的显示(例如,使用显示使能单元 5008)〇
[0421] 在一些实施例中,第一媒体可供性是用于捕获音频数据的音频捕获可供性并且第 二媒体可供性是用于捕获视频或者图像的视觉媒体捕获可供性。
[0422] 在一些实施例中,向参与者发送的媒体基于失效准则而失效。
[0423] 上文参考图33所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图50 中的部分来实现。例如,显示使能操作3302、检测操作3304和/或确定操作3310可选地由 事件分类器170、事件识别器180和事件处理器190实现。事件分类器170中的事件监控 器171检测触摸敏感显示器112上的接触,并且事件调度器模块174将事件信息递送至应 用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定义186比较,并 且确定触摸敏感表面上的手势是否对应于预定事件或者子事件,诸如用户界面上的可供性 的激活。当相应的预定事件或者子事件被检测到时,事件识别器180激活与事件或者子事 件的检测相关联的事件处理器190。事件处理器190可W利用或者调用数据更新器176或 者物体更新器177W更新应用内部状态192。在一些实施例中,事件处理器190访问相应 的GUI更新器178W更新由应用所显示的内容。同样地,对于本领域技术人员清楚的是可W基于图1A-图1B、图3、图5B或者图50中描绘的部分如何实现其他过程。
[0424]如图51所示,电子设备5100包括:显示器单元5102,配置成显示用户界面;触摸 敏感表面单元5104,配置成接收接触;W及处理单元5106,禪合到显示器单元5102和触摸 敏感表面单元5104。在一些实施例中,处理单元5106包括显示使能单元5108、检测单元 5110、确定单元5112、发送单元5114、媒体捕获单元5116和媒体回放单元5118。
[04巧]处理单元5106被配置为实现在显示器单元5102上的媒体可供性和用于显示消 息对话的参与者之间发送的消息的消息区域的显示(例如,使用显示使能单元5108);检测 (例如,使用检测单元5110)触摸敏感表面单元5104上的第一输入,其中第一输入对应于显 示器单元5102上的媒体可供性的位置;响应于检测到第一接触,实现显示器单元5102上的 录制可供性和发送可供性的显示(例如,使用显示使能单元5108);检测(例如,使用检测 单元5110)触摸敏感表面单元5104上的第二输入,其中第二输入对应于显示器单元5102 上的录制可供性的位置;响应于检测到第二输入,开始录制视频(例如,使用媒体捕获单元 5116);检测触摸敏感表面单元5104上的第S输入,其中第S输入对应于显示器单元5102 上的发送可供性的位置,W及响应于检测到第=输入:向参与者发送(例如,使用发送单元 5114)录制的视频,并且实现从显示器单元5102去除(例如,使用显示使能单元5108)发送 可供性和录制可供性。
[0426] 在一些实施例中,第一输入、第二输入和第=输入是触摸敏感表面单元5104上的 =个分离的接触。
[0427] 在一些实施例中,第一输入是触摸敏感表面单元5104上的接触,并且第二输入是 触摸敏感表面单元5104上的接触的后续,包括接触从在触摸敏感表面单元5104上的对应 于显示器单元5102上的媒体可供性的位置的位置向在触摸敏感表面单元5104上的对应于 显示器单元5102上的录制可供性的位置的位置的移动。
[0428] 在一些实施例中,第一输入是触摸敏感表面单元5104上的接触,并且第二输入是 触摸敏感表面单元5104上的分离的接触,并且第=输入是触摸敏感表面单元5104上的分 离的接触的后续,包括接触从在触摸敏感表面单元5104上的对应于显示器单元5102上的 录制可供性的位置的位置向在触摸敏感表面单元5104上的对应于显示器单元5102上的发 送可供性的位置的位置的移动。
[0429] 在一些实施例中,处理单元5106被进一步配置为:响应于检测到第=输入,实现 (例如,使用显示使能单元5108)将录制的视频的缩略图表示插入到所显示的消息对话中。
[0430] 在一些实施例中,处理单元5106被进一步配置为:在录制视频时,检测第二接触 的抬起(例如,使用检测单元5110) 及在抬起之后继续录制(例如,使用媒体捕获单元 5116)视频。
[0431] 在一些实施例中,处理单元5106被进一步配置为:在录制视频时,检测第二接触 的抬起(例如,使用检测单元5110) 及响应于检测到抬起,停止录制视频。
[0432] 在一些实施例中,处理单元5106被进一步配置为:响应于检测到抬起,实现利用 用于播放尚未向参与者发送的视频的回放可供性的显示代替在显示器单元5102上的录制 可供性的显示(例如,使用显示使能单元5108)。
[0433] 在一些实施例中,处理单元5106被进一步配置为:在录制视频时,实现在显示器 单元5102上的录制的视频的时间长度的指示的显示(例如,使用显示使能单元5108)。
[0434] 在一些实施例中,实现在显示的消息对话中插入捕获的视频的缩略图表示包括: 实现在显示器单元5102上的显示消息对话中的界定消息区域的显示(例如,使用显示使能 单元5108),W及在显示器单元5102上的界定消息区域中的回放可供性的显示(例如,使 用显示使能单元5108)。处理单元5106被进一步配置为:检测(例如,使用检测单元5110) 在触摸敏感表面单元5104上的对应于显示器单元5102上的回放可供性的位置的位置处的 第五接触,并且响应于检测到第五接触,播放(例如,使用媒体回放单元5118)界定消息区 域的边界内的录制视频。
[0435] 在一些实施例中,向参与者发送的录制视频基于失效准则而失效。
[0436] 上文参考图34所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图51 中的部分实现。例如,显示使能操作3402、3406、和/或检测操作3404、3408可选地由事件 分类器170、事件识别器180和事件处理器190实现。事件分类器170中的事件监控器171 检测触摸敏感显示器112或者其他输入控制设备116上的接触,并且事件调度器模块174 将事件信息递送至应用136-1。应用136-1的相应的事件识别器180将事件信息与相应的 事件定义186比较,并且确定对应于显示器位置的第一输入是否对应于预定事件或者子事 件,诸如用户界面上的可供性的激活。当相应的预定事件或者子事件被检测到时,事件识别 器180激活与事件或者子事件的检测相关联的事件处理器190。事件处理器190可W利用 或者调用数据更新器176或者物体更新器177W更新应用内部状态192。在一些实施例中, 事件处理器190访问相应的GUI更新器178W更新由应用所显示的内容。同样地,对于本 领域技术人员清楚的是可W基于图1A-图1B、图3、图5B或者图51中描绘的部分如何实现 其他过程。
[0437] 如图52所示,电子设备5200包括:显示器单元5202,配置成显示用户界面;可 选的,触摸敏感表面单元5204,配置成接收接触;W及处理单元5206,禪合到显示器单元 5202 ;W及,可选的触摸敏感表面单元5204。在一些实施例中,处理单元5206包括显示使 能单元5208、检测单元5210、确定单元5212、发送单元5214、媒体捕获单元5216和媒体回 放单元5218。
[0438] 处理单元5206被配置为:实现在显示器单元5202上的从消息对话的第一参与者 接收的第一音频消息的表示的显示(例如,利用显示使能单元5208);检测(例如,使用检 测单元5210)播放第一音频消息的请求;响应于检测到请求,播放(例如,使用媒体回放单 元5218)第一音频消息;在播放第一音频消息之后,检测(例如,使用检测单元5210)设备 5200的拿起;响应于检测到设备5200的拿起,录制(例如,使用媒体捕获单元5216)第二 音频消息;W及在录制第二音频消息之后,向第一参与者发送(例如,使用发送单元5214) 第二音频消息。
[0439] 在一些实施例中,处理单元5206被进一步配置为:在录制第二音频消息时,检测 (例如,使用检测单元5210)设备5200的降低,W及响应于检测到设备的降低:停止录制第 二音频消息,并且向第一参与者发送(例如,使用发送单元5214)录制的第二音频消息。
[0440] 在一些实施例中,检测播放第一音频消息的请求包括在第一音频消息的表示被显 示在显示器单元5202上时检测设备5200的分离的拿起。
[0441] 在一些实施例中,处理单元5200被进一步配置为:在播放第一音频消息之后并且 在录制第二音频消息之前,检测(例如,使用检测单元5210)设备5200的降低。
[0442] 在一些实施例中,检测播放第一音频消息的请求包括检测在触摸敏感表面单元 5204上的对应于显示器单元5202上的第一音频消息的显示的表示的位置的位置处的接 触。
[0443] 在一些实施例中,显示器单元5202是触摸敏感显示器单元,并且使能显示表示包 括:实现在显示器单元5202上的接收的消息的可供性的显示(例如,使用显示使能单元 5208);检测(例如,使用检测单元5210)所显示的可供性的滑动手势;W及响应于检测到 滑动手势,实现在显示器单元5002上的指示用户拿起设备5200录制第二音频消息的指令 的显示(例如,使用显示使能单元5208)。
[0444] 在一些实施例中,指示接收的消息的可供性被显示在显示器单元5202上的锁屏 上。
[0445] 在一些实施例中,处理单元5206被进一步配置为:响应于检测到滑动手势:实现 在显示器单元5202上的用于回复接收的消息的回复可供性的显示(例如,使用显示使能单 元5208),检测(例如,使用检测单元5210)回复可供性的选择,W及响应于检测到回复可供 性的选择,实现在显示器单元5202上的指示用户拿起设备5200录制第二音频消息的指令 的显示(例如,使用显示使能单元5208)。
[0446] 在一些实施例中,指示用户拿起设备5200录制第二音频消息的指令被显示在显 示器单元5202上的消息编辑域中,并且处理单元5200被进一步配置为:实现在显示器单元5202上的媒体可供性的显示(例如,使用显示使能单元5208);检测(例如,使用检测单元 5210)在触摸敏感表面单元5204上的对应于显示器单元5202上的媒体可供性的位置的位 置处的接触;响应于检测到接触,录制第二音频消息(例如,使用媒体捕获单元5216) 及 在录制第二音频消息之后,向第一参与者发送(例如,使用发送单元5214)第二音频消息。
[0447] 在一些实施例中,处理单元5206被进一步配置为:检测(例如,检测单元5210)在 触摸敏感表面单元5204上的对应于显示器单元5202上的消息录入域的位置的位置处的接 触;W及响应于检测到触摸敏感表面单元5204上的对应于消息录入域的位置的位置处的 接触,实现在显示器单元5202上的虚拟键盘的显示(例如,使用显示使能单元5208)。
[0448] 在一些实施例中,第二音频消息基于失效准则而失效。
[0449] 上文参考图35所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图52中 的部分来实现。例如,检测操作3504、3508可选地由加速计168、事件分类器170、事件识别 器180和/或事件处理器190实现。事件分类器170中的事件监控器171检测诸如由接触 或者设备的拿起所表示的请求之类的请求,并且事件调度器模块174将事件信息递送至应 用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定义186比较,并 且确定请求是否对应于预定事件或者子事件,诸如播放音频消息的请求。当相应的预定事 件或者子事件被检测到时,事件识别器180激活与事件或者子事件的检测相关联的事件处 理器190。事件处理器190可W利用或者调用数据更新器176或者物体更新器177W更新 应用内部状态192。在一些实施例中,事件处理器190访问音频电路装置110W播放音频消 息。同样地,对于本领域技术人员清楚的是可W基于图1A-图1B、图3、图5B或者图52中 描绘的部分如何实现其他过程。
[0450] 如图53所示,电子设备5300包括:显示器单元5302,配置成显示用户界面;可选 地,触摸敏感表面单元5304,配置成接收接触;W及处理单元5306,禪合到显示器单元5302 和可选地触摸敏感表面单元5304。在一些实施例中,处理单元5306包括显示使能单元 5308、检测单元5310、确定单元5312、接收单元5314和媒体回放单元5316。
[0451] 处理单元5306被配置为:在时间间隔内从第一参与者接收(例如,使用接收单元 5314)多个消息,并且确定(例如,使用确定单元5314)多个消息是否满足消息分组准则。根 据多个消息不满足消息分组准则的确定,处理单元5306被配置为实现在显示器单元5302 上的表示多个消息的多个分离的界定的消息区域的显示(例如,使用显示使能单元5308)。 根据多个消息满足消息分组准则的确定,处理单元5306被配置为实现在显示器单元5302 上的表示多个消息的单个组界定的消息区域的显示(例如,使用显示使能单元5308)。
[0452] 在一些实施例中,消息分组准则包括当多个消息中的消息的数目超过数值阔值时 满足的准则。
[0453] 在一些实施例中,消息分组准则包括当多个消息彼此间隔至少阔值时间量时满足 的准则。
[0454] 在一些实施例中,消息分组准则包括当多个消息是顺序邻近消息时所满足的准 则。
[0455] 在一些实施例中,顺序邻近消息是在没有来自其他参与者的中间的接收的消息的 情况下从单个参与者接收的消息。
[0456] 在一些实施例中,顺序邻近消息是在没有不同类型的任何中间的接收的消息的情 况下接收的相同类型的消息。
[0457] 在一些实施例中,顺序邻近消息是在不包含具有不同的读取状态的任何中间的接 收的消息的情况下具有相同读取状态的消息。
[0458] 在一些实施例中,多个消息中的消息是音频消息,并且处理单元被进一步配置为: 实现在显示器单元5302上对应于音频消息的界定消息区域内的波形图像的显示(例如,使 用显示使能单元5308),波形图像具有表示音频消息的内容的波形。
[0459] 在一些实施例中,实现界定消息内的波形图像的显示包括:实现初始颜色中的波 形的显示;接收(例如,使用接收单元5314)播放音频消息的请求;W及响应于接收到播放 音频消息的请求,播放(例如,使用媒体回放单元5316)音频消息,W及实现在回放期间改 变波形的至少一部分的颜色(例如,使用显示使能单元5308)W指示已经被播放的音频消 息的部分。
[0460] 在一些实施例中,处理单元5306被进一步配置为:实现当音频消息的对应的部分 被播放(例如,由媒体回放单元5316)时改变波形的部分的颜色。
[0461] 在一些实施例中,分组界定消息区域表示至少两个音频消息,并且处理单元5306 被进一步配置为:接收(例如,使用接收单元5314)请求W顺序地播放至少两个音频消息, 并且响应于接收到请求,顺序地播放(例如,使用媒体回放单元5316)至少两个音频消息。
[0462] 在一些实施例中,顺序播放至少两个音频消息的请求包括检测设备5300的拿起 的检测。
[0463] 在一些实施例中,处理单元5306被进一步配置为:实现在显示器单元5302上的用 于播放顺序音频消息的可供性的显示(例如,使用显示使能单元5308),其中接收顺序播放 至少两个音频消息的请求包括可供性上的接触的检测(例如,使用检测单元5310)。
[0464] 在一些实施例中,处理单元5306被进一步配置为:检测(例如,使用检测单元 5310)分组界定消息区域的选择;W及响应于检测到分组界定消息区域的选择,使用利用 多个消息的多个表示的显示代替单个分组界定消息区域在显示器单元5302上的显示(例 如,使用显示使能单元5308)。
[0465] 在一些实施例中,分组界定消息区域包括表示多个消息中的第一消息的文本和表 示多个消息中的第二消息的图像缩略图,并且处理单元5306被进一步配置为:检测(例如, 使用检测单元5310)触摸敏感表面单元5304上的对应于所显示的图像缩略图的位置的位 置处的接触;W及响应于检测到对应于所显示的图像缩略图的位置处的接触,实现在显示 器单元5302上的由图像缩略图表示的图像的更大版本的显示。
[0466] 在一些实施例中,显示图像的更大版本包括将图像作为全屏图像显示。
[0467] 在一些实施例中,分组界定消息区域包括表示多个消息中的第一消息的文本和表 示多个消息中的视频消息的图像缩略图,并且处理单元5306被进一步配置为:检测(例如, 使用检测单元5310)在触摸敏感表面单元5304上的、对应于所显示的图像缩略图的位置的 位置处的接触;W及响应于检测到在触摸敏感表面单元5304上的对应于所显示的图像缩 略图的位置的位置处的接触,播放(例如,使用媒体回放单元5316)由图像缩略图表示的视 频消息。
[0468] 在一些实施例中,播放视频消息包括W全屏模式播放视频消息。
[0469] 在一些实施例中,播放视频消息包括播放分组界定消息区域内的视频消息。
[0470] 在一些实施例中,分组界定消息区域包括表示多个消息中的第一消息的文本和表 示多个消息中的音频消息的波形图像,并且处理单元5306被进一步配置为:实现在显示器 单元5302上的分组界定消息区域中的回放可供性的显示(例如,使用显示使能单元5308), 回放可供性与波形图像相关联;检测(例如,使用检测单元5310)在触摸敏感表面单元 5304上的、对应于显示的分组界定消息区域内的回放可供性的位置的位置处的接触;W及 响应于检测到在触摸敏感表面单元5304上的、对应于回放可供性的位置的位置处的接触, 播放(例如,使用媒体回放单元5316)由波形图像所表示的音频消息。
[0471] 上文参考图36所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图53 中的部分来实现。例如,接收操作3602、确定操作3604和/或显示使能操作3606可选地 由外围接口 118、事件分类器170、事件识别器180和事件处理器190实现。外围接口 118 接收消息,并且事件分类器170中的事件监控器171检测已经接收的消息,事件调度器模块 174将事件信息递送至应用136-1。应用136-1的相应的事件识别器180将事件信息与相 应的事件定义186比较,并且确定多个接收的消息是否对应于预定事件或者子事件,诸如 满足分组准则。当相应的预定事件或者子事件被检测到时,事件识别器180激活与事件或 者子事件的检测相关联的事件处理器190。事件处理器190可W利用或者调用数据更新器 176或者物体更新器177W更新应用内部状态192。在一些实施例中,事件处理器190访问 相应的GUI更新器178W更新由应用显示的内容。同样地,对于本领域技术人员清楚的是 可W基于图1A-图1B、图3、图5B或者图53中描绘的部分如何实现其他过程。
[0472] 如图54所示,电子设备5400包括配置成显示用户界面的显示器单元5402,W及禪 合到显示器单元5402的处理单元5406。在一些实施例中,处理单元5406包括显示使能单 元5408、检测单元5410、确定单元5412、接收单元5414、保持单元5416、保存单元5418和提 供单元5420。
[0473] 处理单元5406被配置为:接收(例如,使用接收单元5414)第一消息;实现在显示 器单元5402上的第一消息的表示的显示(例如,使用显示使能单元5408),其中第一消息 计划在满足失效准则之后被删除;实现在显示器单元5402上的用于保持第一消息的可供 性的显示(例如,使用显示使能单元5408);根据可供性在满足失效准则之前被选择的确定 (例如,使用确定单元5412),保持(例如,使用保持单元5416)第一消息;W及根据失效准 则已经被满足而没有检测到可供性的选择的确定,停止在显示器单元5402上显示第一消 息的表示。
[0474] 在一些实施例中,处理单元5406被进一步配置为:接收(例如,使用接收单元 5414)第二消息,其中第二消息基于失效准则不被删除。
[04巧]在一些实施例中,失效准则基于时间间隔。
[0476] 在一些实施例中,失效准则基于第一消息是否包含媒体。
[0477] 在一些实施例中,失效准则基于媒体是否使用消息收发应用被捕获。
[0478] 在一些实施例中,第一消息包含媒体,并且时间间隔从媒体被播放之后的时间开 始进行测量。
[0479] 在一些实施例中,第一消息包含媒体,并且时间间隔从媒体被创建时的时间开始 进行测量。
[0480] 在一些实施例中,第一消息包含媒体,并且处理单元5406被进一步配置为:根据 可供性在满足失效准则之前被选择的确定,将媒体保存(例如,使用保存单元5418)在媒体 库中。
[0481] 在一些实施例中,第一消息包含媒体,并且处理单元5406被进一步配置为:确定 (例如,使用确定单元5412)媒体是否使用消息收发应用被捕获;W及根据媒体不是使用消 息收发应用被捕获的确定,将媒体保存到(例如,使用保存单元5418)媒体库。
[0482] 在一些实施例中,第一消息是从第一参与者接收的,并且处理单元5406被进一步 配置为:根据可供性在满足失效准则之前被选择的确定,向第一参与者提供(例如,使用提 供单元5420)第一消息已经被保持的指示。
[0483] 在一些实施例中,处理单元5406被进一步配置为:确定(例如,使用确定单元 5412)第一消息是否是音频消息;W及根据第一消息是音频消息的确定,实现在显示器单 元5402上的用于保持第一消息的可供性的显示(例如,使用显示使能单元5408)。
[0484] 在一些实施例中,第二消息是文本消息。
[0485] 在一些实施例中,失效准则包括文本消息不失效的准则。
[0486] 上文参考图37所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图54 中的部分来实现。例如,接收操作3702、显示使能操作3704和/或保持操作3708可选地由 外围接口 118、事件分类器170、事件识别器180和事件处理器190实现。外围接口 118接 收消息,并且事件分类器170中的事件监控器171检测已经被接收的消息。事件分类器170 中的事件监控器171检测触摸敏感显示器112上的接触,并且事件调度器模块174将事件 信息递送至应用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定 义186比较,并且确定选择是否对应于预定事件或者子事件,诸如用户界面上的可供性的 激活或者选择。当相应的预定事件或者子事件被检测到时,事件识别器180激活与事件或 者子事件的检测相关联的事件处理器190。事件处理器190可W利用或者调用数据更新器 176或者物体更新器177W更新应用内部状态192。在一些实施例中,事件处理器190访问 相应的GUI更新器178W更新由应用显示的内容。同样地,对于本领域技术人员清楚的是 可W基于图1A-图1B、图3、图5B或者图54中描绘的部分如何实现其他过程。
[0487] 如图55所示,电子设备5500包括:显示器单元5502,配置成显示用户界面;可选 的触摸敏感表面单元5504,配置成接收接触;W及处理单元5506,禪合到显示器单元5502 和可选的触摸敏感表面单元5504。在一些实施例中,处理单元5506包括显示使能单元 5508、检测单元5510、确定单元5512、接收单元5514、提供单元5516、添加单元5518、发送单 元5520和插入单元5522。
[0488] 处理单元5506被配置为:实现在显示器单元5502上的用于显示消息对话的第一 参与者和第二参与者之间发送的消息的消息区域的显示;实现在显示器单元5502上的用 于随着位置在至少预定时间段内变化将第一参与者的位置与第二参与者共享的共享位置 可供性的显示(例如,使用显示使能单元5508);检测(例如,使用检测单元5510)共享位 置可供性的选择;W及响应于检测到共享位置可供性的选择:向第二参与者提供(例如,使 用提供单元5516)实现第二参与者能够确定至少预定时间段期间第一参与者的当前位置 的信息。
[0489] 在一些实施例中,处理单元5506被进一步配置为:从第二参与者接收(例如,使用 接收单元5514)动态地指示第一外部设备的位置的位置信息;在显示器单元5502上实现电 子设备在地图上的位置和第一外部设备的位置的显示(例如,使用显示使能单元5508)。
[0490] 在一些实施例中,处理单元5506被进一步配置为:向消息对话添加(例如,使用添 加单元5518)第=参与者;从第=参与者接收(例如,使用接收单元5514)指示第二外部 设备的位置的位置信息;W及实现在显示器单元上的第二外部设备在地图上的位置的显示 (例如,使用显示使能单元5508)。
[0491] 在一些实施例中,处理单元5506被进一步配置为:响应于检测到对应于共享位 置可供性的位置处的接触的选择,实现在显示器单元5502上的对应于至少两个预定时间 段的至少两个可供性的显示(例如,使用显示使能单元5508);检测(例如,使用检测单元 5510)在触摸敏感表面单元5504上的、对应于显示器单元5502上的至少两个可供性之一的 位置的位置处的接触;W及响应于检测到在触摸敏感表面单元上的、对应于显示器单元上 的至少两个可供性之一的位置的位置处的接触,向第二参与者提供(例如,使用提供单元 5516)使得第二参与者能够确定对应于至少两个可供性之一的预定时间段期间的第一参与 者的当前位置的信息。
[0492] 在一些实施例中,处理单元5506被进一步配置为:实现在显示器单元5502上的将 共享的位置的剩余时间量的指示的显示(例如,使用显示使能单元5508)。
[0493] 在一些实施例中,处理单元5506被进一步配置为:实现在显示器单元5502上的用 于停止向第二参与者提供信息的可供性的显示(例如,使用显示使能单元5506)。
[0494] 在一些实施例中,处理单元5506被进一步配置为:实现在显示器单元5502上与 消息对话一起的细节可供性的显示(例如,使用显示使能单元5508);检测(例如,使用检 测单元5510)在触摸敏感表面单元5504上的对应于显示器单元5502上的细节可供性的位 置的位置处的接触;W及响应于检测到在触摸敏感表面单元5504上的对应于显示器单元 5502上的细节可供性的位置的位置处的接触,实现在显示器单元5502上的示出已经共享 他们的位置的消息对话的两个或者更多参与者的位置的地图的显示(例如,使用显示使能 单元5508)。
[0495] 在一些实施例中,处理单元5506被进一步配置为:实现在显示器单元5502上的标 识已经共享他们的位置的消息对话的两个或者更多参与者的信息的显示(例如,使用显示 使能单元5508)。
[0496] 在一些实施例中,处理单元5506被进一步配置为:向两个或者更多参与者提供 (例如,使用提供单元5516)用于从消息对话中去除两个或者更多参与者中的参与者的选 项。
[0497] 在一些实施例中,处理单元5506被进一步配置为:向两个或者更多参与者提供 (例如,使用提供单元5516)用于向消息对话添加新参与者的选项。
[0498] 在一些实施例中,消息对话具有名称,并且处理单元5506被进一步配置为:向两 个或者更多参与者提供(例如,使用提供单元5516)用于更改消息对话的名称的选项。
[0499] 在一些实施例中,地图不与消息对话中的特定消息相关联。
[0500] 在一些实施例中,在显示器单元5502上轻敲在对应于地图的显示位置的位置处 的触摸敏感表面单元5504,启动地图应用,并且地图应用提供用于获取去往地图上显示的 位置的方向的选项。
[0501] 在一些实施例中,向第二参与者提供(例如,使用提供单元5516)信息使得由第二 参与者使用的远程电子设备提示第二用户共享他们的位置。
[0502] 在一些实施例中,处理单元5506被进一步配置为:实现在显示器单元5502上用 于向第二参与者发送(例如,使用发送单元5520)第一参与者的静态位置信息的发送位置 可供性的显示(例如,使用显示使能单元5508),其中静态位置信息不根据设备的位置而更 新;检测(例如,使用检测单元5510)发送位置可供性的选择;W及响应于检测到发送位置 可供性的选择,向第二参与者发送(例如,使用发送单元5520)静态位置信息。
[0503] 在一些实施例中,发送静态位置信息包括将包括静态位置信息的静态地图插入 (例如,使用插入单元5522)到消息对话中。
[0504] 在一些实施例中,静态地图不与消息对话中的特定消息相关联。
[0505] 在一些实施例中,轻敲静态地图启动地图应用,并且地图应用提供用于获取去往 静态地图上显示的位置信息的方向的选项。
[0506] 上文参考图38所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图55中 的部分来实现。例如,显示使能操作3802、检测操作3806和/或提供操作3808可选地由事 件分类器170、事件识别器180、事件处理器190和外围接口 118实现。事件分类器170中 的事件监控器171检测触摸敏感显示器112上的接触,并且事件调度器模块174将事件信 息递送至应用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定义 186比较,并且确定触摸敏感表面上的接触是否对应于预定事件或者子事件,诸如用户界面 上的可供性的激活。当相应的预定事件或者子事件被检测到时,事件识别器180激活与事 件或者子事件的检测相关联的事件处理器190。事件处理器190可W利用或者调用数据更 新器176或者物体更新器177W更新应用内部状态192。在一些实施例中,事件处理器190 访问相应的GUI更新器178W更新由应用显示的内容,或者访问外围接口 118W向外部设 备提供数据。同样地,对于本领域技术人员清楚的是可W基于图lA-图IB、图3、图5B或者 图55中描绘的部分如何实现其他过程。
[0507]如图56所示,电子设备5600包括:显示器单元5602,配置成显示用户界面;可选 地,触摸敏感表面单元5604,配置成接收接触;W及处理单元5606,禪合到显示器单元5602 和可选地触摸敏感表面单元5604。在一些实施例中,处理单元5606包括显示使能单元 5608、检测单元5610、确定单元5612、接收单元5614、选择单元5616、添加单元5618、插入单 元5620、指示单元5622、发送单元5624和捕获单元5626。
[050引处理单元5606被配置为:实现在显示器单元5602上的用于显示消息对话的消息 区域的显示(例如,使用显示使能单元5608);接收(例如,使用接收单元5614)向消息对 话添加媒体的请求;响应于接收到请求,实现媒体选择界面的与消息对话的至少一部分的 并行显示(例如,使用显示使能单元5608),其中媒体选择界面包括用于选择向消息对话添 加媒体的多个可供性,至少多个可供性的子集包括可W向消息对话添加的媒体的缩略图表 示;检测(例如,使用检测单元5610)从多个可供性选择相应的可供性;W及响应于检测到 相应的可供性的选择,选择(例如,使用选择单元5616)用于向消息对话添加的对应的媒 体。
[0509] 在一些实施例中,处理单元5606被进一步配置为:响应于检测到相应的可供性的 选择,向消息对话添加(例如,使用添加单元5618)媒体。
[0510] 在一些实施例中,处理单元5606被进一步配置为:响应于检测到相应的可供性 的选择,将媒体插入(例如,使用插入单元5620)到消息编辑域中,并且实现在显示器单元 5602上的用于向消息对话添加消息编辑域的内容的发送可供性的显示(例如,使用显示使 能单元5608)。
[0511] 在一些实施例中,处理单元5606被进一步配置为:检测(例如,使用检测单元 5610)触摸敏感表面单元5604上的对应于显示器单元5602上的媒体选择界面的位置的位 置处的滑动手势;W及响应于检测到滑动手势,实现在显示器单元5602上的多个可供性的 滚动(例如,使用显示使能单元5608)。
[0512] 在一些实施例中,多个可供性对应于相机相册中的最新获得的照片。
[0513] 在一些实施例中,处理单元5606被进一步配置为:响应于检测到可供性从多个可 供性的选择,实现在显示器单元5602上的媒体选择界面的尺寸的增加(例如,使用显示使 能单元5608)。
[0514] 在一些实施例中,处理单元5606被进一步配置为:实现显示器单元5602上的媒 体可供性的显示(例如,使用显示使能单元5608),其中向消息对话添加媒体的请求包括在 触摸敏感表面单元5604上的对应于显示器单元5602上的媒体可供性的位置的位置处的接 触;响应于检测到接触,确定(例如,使用确定单元5612)接触的持续时间;根据接触的持 续时间不超过阔值的确定,实现在显示器单元5602上用于使用相机传感器捕获新图像的 可供性的显示(例如,使用显示使能单元5608);在用于捕获新图像的可供性被显示时,检 测(例如,使用检测单元5610)触摸敏感表面单元5604上的滑动手势;W及响应于检测到 滑动手势:指示(例如,使用指示单元5622)相机传感器捕获图像;W及向消息对话的参与 者发送(例如,使用发送单元5624)图像。
[0515] 在一些实施例中,实现媒体选择界面的显示包括:检测(例如,使用检测单元 5610)在触摸敏感表面单元5604上的对应于显示器单元5602上的第一可供性的位置的位 置处的接触;W及响应于检测到在触摸敏感表面单元5604上的对应于显示器单元5602上 的第一可供性的位置的位置处的接触,向对话的参与者发送(例如,使用发送单元5624)对 应的媒体。
[0516] 在一些实施例中,实现媒体选择界面的显示进一步包括:实现在显示器单元上的 发送可供性的显示(例如,使用显示使能单元5608);检测(例如,使用检测单元5610)在 触摸敏感表面单元5604上的对应于显示器单元5602上的第一可供性、第二可供性和发送 可供性的位置的位置处的接触;W及响应于检测到在触摸敏感表面单元5604上的对应于 显示器单元5602上的第一可供性、第二可供性和发送可供性的位置的位置处的接触:向对 话的参与者发送(例如,使用发送单元5624)对应的第一媒体和第二媒体。
[0517] 在一些实施例中,多个可供性包括实时预览可供性,并且处理单元5606被进一步 配置为:检测(例如,使用检测单元5610)在触摸敏感表面单元5604上的对应于显示器单 元5602上的实时预览可供性的位置的位置处的接触;W及响应于检测到在触摸敏感表面 单元5604上的对应于实时相机预览的位置的位置处的接触:基于实时相机预览捕获(例 如,使用捕获单元5626)新图像,并且选择(例如,使用选择单元5616)新图像W用于向消 息对话添加。
[051引在一些实施例中,处理单元5606被进一步配置为:检测(例如,使用检测单元 5610)发送新图像的请求;W及响应于检测到请求,向第一参与者发送(例如,使用发送单 元5624)新图像。
[0519] 上文参考图39所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图56 中的部分来实现。例如,显示使能操作3902、3906、接收操作3904、检测操作3908和/或选 择操作3910可选地由事件分类器170、事件识别器180、事件处理器190和其他输入控制设 备116实现。事件分类器170中的事件监控器171检测触摸敏感显示器112上的接触或者 来自其他输入控制设备116上的不同的用户输入,并且事件调度器模块174将事件信息递 送至应用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定义186 比较,并且确定接触或者其他输入是否对应于预定事件或者子事件,诸如用户界面上的可 供性的激活或者其他用户请求。当相应的预定事件或者子事件被检测到时,事件识别器180 激活与事件或者子事件的检测相关联的事件处理器190。事件处理器190可W利用或者调 用数据更新器176或者物体更新器177W更新应用内部状态192。在一些实施例中,事件 处理器190访问相应的GUI更新器178W更新由应用显示的内容。同样地,对于本领域技 术人员清楚的是可W基于图1A-图1B、图3、图5B或者图56中描绘的部分如何实现其他过 程。
[0520] 如图57所示,电子设备5700包括处理单元5702。在一些实施例中,处理单元5702 包括检测单元5704、确定单元5706、发起单元5708、接收单元5710、提供单元5712、媒体回 放单元5714和录制单元5716。
[0521] 处理单元5702被配置为:基于电子设备5700的移动和一个或者多个接近传感器 读数检测(例如,使用检测单元5704)设备情景的变化;响应于检测到设备情景的变化:确 定(例如,使用确定单元5706)设备是否满足音频操作准则,其中音频操作准则包括当电 子设备5700的移动满足移动准则并且一个或者多个接近传感器读数满足接近准则时满足 的准则;w及根据设备情景的变化满足音频操作准则的确定,发起(例如,使用发起单元5708)音频操作;W及根据设备情景的变化不满足音频操作准则的确定,放弃发起音频操 作。
[0522] 在一些实施例中,移动准则包括预定轨迹。
[0523] 在一些实施例中,确定移动是否满足移动准则包括确定移动的结束W及移动结束 时电子设备的定向,并且其中当在移动结束时电子设备不在预定定向中时满足移动准则。
[0524] 在一些实施例中,处理单元5702被进一步配置为,在发起音频操作之后:确定(例 如,使用确定单元5706)电子设备是否在预定定向中;W及根据电子设备在预定定向中的 确定:结束音频操作。
[0525] 在一些实施例中,电子设备在预定定向中的确定包括:在移动满足移动准则并且 一个或者多个接近传感器读数满足接近准则的确定的预定时间间隔内电子设备在预定定 向中的确定。
[0526] 在一些实施例中,电子设备5700进一步包括扬声器,并且其中扬声器被定位在设 备5700的表面上,并且其中在预定定向中,表面面朝下。
[0527] 在一些实施例中,电子设备5700进一步包括耳机,并且在预定定向中,麦克风被 定位在耳机上方。
[052引在一些实施例中,确定一个或者多个接近传感器读数是否满足接近准则包括确定 指示接近电子设备的物体的检测的接近传感器读数是否在满足移动准则的移动被检测之 后的预定时间间隔内被检测到。
[0529] 在一些实施例中,处理单元5700被进一步配置为,在发起音频操作之后:检测(例 如,使用检测单元5704)高于预定阔值的电子设备5700的特征移动;W及响应于检测到高 于预定阔值的电子设备5700的特征移动:结束音频操作。
[0530] 在一些实施例中,音频操作包括录制新消息,并且处理单元5702被进一步配置 为:确定(例如,使用确定单元5706)消息是否包括讲话;W及根据消息不包括讲话的确 定:结束新消息的录制。
[0531] 在一些实施例中,处理单元被进一步配置为:接收(例如,使用接收单元5710)通 信;W及响应于接收到通信并且在检测到设备情景的变化之前,提供(例如,使用提供单元 5712)通信被接收得到的指示。
[0532] 在一些实施例中,提供通信被接收的指示包括启动消息收发应用。
[0533] 在一些实施例中,通信包括含尚未由设备播放的音频部分的消息,并且音频操作 包括播放(例如,使用媒体回放单元5714)消息的音频部分。
[0534] 在一些实施例中,处理单元5702被进一步配置为:确定(例如,使用确定单元 5706)消息是否在检测到设备情景的变化之前的预定时间间隔内被接收,其中播放消息的 音频部分包括如果消息在预定时间间隔内被接收,则播放(例如,使用媒体回放单元5714) 消息的音频部分。
[0535] 在一些实施例中,通信包括语音邮件消息,并且其中音频操作包括回放(例如,使 用媒体回放单元5714)语音邮件消息。
[0536] 在一些实施例中,处理单元5702被进一步配置为:在播放语音邮件消息之后,检 测(例如,使用检测单元5704)电子设备的竖摇运动,其中竖摇运动包括向下运动W及然后 向上运动;w及响应于检测到电子设备的竖摇运动,向与语音邮件消息相关联的电话号码 发起电话呼叫(例如,使用发起单元5708)。
[0537] 在一些实施例中,通信包括对应于来自电话号码的电话呼叫的语音邮件消息,并 且处理单元5702被进一步配置为:在检测到设备情景的变化之前,播放(例如,使用媒体回 放单元5714)语音邮件消息的至少一部分,并且语音操作包括向对应于语音邮件消息的电 话号码发起电话呼叫(例如,使用发起单元5708)。
[053引在一些实施例中,通信包括具有音频部分的消息,并且处理单元5702被进一步配 置为:在检查到设备的情景的变化之前,播放(例如,使用媒体回放单元5714)消息的音频 部分;W及确定(例如,使用确定单元5706)电子设备的移动是否在播放音频消息之后的预 定时间间隔内被检测,并且其中发起音频操作包括如果设备情景的变化在从消息的音频部 分被播放时的时间的预定时间间隔内被检测,则录制(例如,使用录制单元5716)用于新消 息的首频。
[0539] 在一些实施例中,通信包括具有由设备先前播放的音频部分的消息,并且消息操 作包括录制(例如,使用录制单元5716)新消息。
[0540] 在一些实施例中,处理单元5702被进一步配置为:在检测到设备情景的变化之 前,检测(例如,使用检测单元5704)电子设备在音频消息收发情景中;化及只有当电子设 备在音频消息收发情景中,才检测(例如,使用检测单元5704)设备情景的变化。
[0541] 在一些实施例中,发起音频操作包括:根据音频回放准则已经被满足的确定,回放 (例如,使用音频回放单元5714)对应于接收的通信的音频;W及根据音频录制准则已经被 满足的确定,录制音频用于答复接收的通信。
[0542] 上文参考图40-图45C所描述的操作可选地由描绘在图1A-图1B、图3、图5B或 者图57中的部分来实现。例如,检测操作4002、确定操作4004和/或发起操作4006可选 地由事件分类器170、事件识别器180、事件处理器190、接近传感器166和加速计168实现。 事件分类器170中的事件监控器171基于来自诸如接近传感器166和/或加速计168之类 的一个或者多个传感器的读数检测设备情景的变化。事件调度器模块174将事件信息递送 至应用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定义186比 较,并且确定设备情景的变化是否对应于预定事件或者子事件,诸如满足某些准则。当相 应的预定事件或者子事件被检测到时,事件识别器180激活与事件或者子事件的检测相关 联的事件处理器190。事件处理器190可W利用或者调用数据更新器176或者物体更新器 177W更新应用内部状态192。在一些实施例中,事件处理器190访问音频电路装置110W 发起音频操作。同样地,对于本领域技术人员清楚的是可W基于图1A-图1B、图3、图5B或 者图40-图45C中描绘的部分如何实现其他过程。
[0543] 如图58所示,电子设备5800包括:至少一个麦克风5820W及可选地,配置成显示 用户界面的显示器单元5802,W及禪合到至少一个麦克风5820和可选地显示器单元5802 的处理单元5804。在一些实施例中,处理单元5804包括显示使能单元5806、检测单元5808、 确定单元5810、生成单元5812、发送单元5814、比较单元5816和删除单元5818。
[0544] 处理单元5804被配置为:检测(例如,使用检测单元5808)解读为录制用于指定 联系人的音频消息的请求的一个或者多个条件;响应于检测到一个或者多个条件,使用至 少一个麦克风5820生成(例如,使用生成单元5812)音频录音;确定(例如,使用确定单 元5810)音频录音是否满足拒绝准则;根据不满足拒绝准则的确定,向指定联系人发送(例 如,使用发送单元5814)音频录音;W及根据拒绝准则被满足的确定,放弃向指定联系人发 送录音。
[0545] 在一些实施例中,当音频录音的持续时间超过预定持续时间时,满足拒绝准则。
[0546] 在一些实施例中,处理单元5804被进一步配置为:检测(例如,使用检测单元 5808)音频录音中是否存在讲话,并且当音频录音被确定不包括多于阔值量的人类讲话时, 满足拒绝准则。
[0547] 在一些实施例中,拒绝准则基于设备的位置。
[054引在一些实施例中,当电子设备在与声音源距离阔值内时,满足拒绝准则。
[0549] 在一些实施例中,处理单元5804被进一步配置为:通过确定设备的接近传感器是 否已经检测到物体在设备的距离阔值内,确定(例如,使用确定单元5810)电子设备是否在 距离阔值内。
[0巧0] 在一些实施例中,处理单元5804被进一步配置为:通过分析通过组合由至少一个 麦克风捕获的信号产生的波形,确定(例如,使用确定单元5810)电子设备是否在距离阔值 内,至少一个麦克风包括第一麦克风和第二麦克风。
[0巧1] 在一些实施例中,处理单元5806被进一步配置为:通过确定至少一个麦克风处的 声压级是否超过声压级阔值来确定(例如,使用确定单元5810)电子设备是否在距离阔值 内。
[0巧2] 在一些实施例中,声压级阔值基于由电子设备先前检测到的声压级的函数。
[0553] 在一些实施例中,处理单元5804被进一步配置为:通过比较(例如,使用比较单元 5816)声压级与由至少一个麦克风检测的混响级,确定电子设备5800是否在距离阔值内。 [0巧4] 在一些实施例中,拒绝准则基于电子设备5800的定向。
[0巧5] 在一些实施例中,电子设备5800包括扬声器(例如,耳机),并且扬声器被定位在 设备的表面上,并且当表面面向下时,拒绝准则被满足。
[0巧6] 在一些实施例中,电子设备5800包括扬声器(例如,耳机),并且当电子设备的定 向将麦克风放置在扬声器之上时,满足拒绝准则。
[0557] 在一些实施例中,当电子设备的特征移动超过阔值时,满足拒绝准则。
[0巧引在一些实施例中,电子设备包括显示器单元5802,并且处理单元5804被进一步配 置为,当音频录音满足拒绝准则时,实现在显示器单元5802上如下项的并行显示(例如,使 用显示使能单元5806):包括音频录音的草稿消息的表示;W及发送可供性,其中当由用户 选择时,发送可供性使得设备向指定联系人发送草稿消息。
[0巧9] 在一些实施例中,处理单元5804被进一步配置为,当音频录音满足拒绝准则时: 在确定(例如,使用确定单元5810)检测一个或者多个条件和确定音频录音满足拒绝准则 之间的经过时间是否超过时间阔值;根据经过时间超过时间阔值的确定,实现在显示器单 元5802上的包括音频录音的草稿消息的表示的显示(例如,使用显示使能单元5806) 及根据经过时间不超过时间阔值的确定,删除(例如,使用删除单元5818)音频录音而不实 现草稿消息的表示的显示。
[0560] 上文参考图46-图48B所描述的操作可选地由描绘在图1A-图1B、图3、图5B或 者图58中的部分来实现。例如,检测操作4602、显示使能操作4802、生成操作4604、确定操 作4606和/或发送操作4608可选地由事件分类器170、事件识别器180、事件处理器190、 加速计168、接近传感器166和外围接口 118实现。事件分类器170中的事件监控器171检 测触摸敏感显示器112上的接触和/或设备情景的变化(例如,使用接近传感器166和/ 或加速计168),并且事件调度器模块174将事件信息递送至应用136-1。应用136-1的相 应的事件识别器180将事件信息与相应的事件定义186比较,并且确定触摸敏感表面上的 接触或者设备情景的变化是否对应于预定事件或者子事件,诸如录制音频消息的请求。当 相应的预定事件或者子事件被检测到时,事件识别器180激活与事件或者子事件的检测相 关联的事件处理器190。事件处理器190可W利用或者调用数据更新器176或者物体更新 器177W更新应用内部状态192。在一些实施例中,事件处理器190访问相应的GUI更新器 178W更新由应用显示的内容,或者访问音频电路装置110和麦克风113W生成音频录音。 在一些实施例中,事件处理器190访问外围接口 118W向指定联系人发送录音。同样地,对 于本领域技术人员清楚的是可W基于图1A-图1B、图3、图5B或者图46-48B中描绘的部分 如何实现其他过程。
[0561] 如图59所示,电子设备5900包括:显示器单元5902,配置成显示用户界面;触摸 敏感表面单元5904,配置成接收接触;W及处理单元5906,禪合到显示器单元5902和触摸 敏感表面单元5904。在一些实施例中,处理单元5906包括显示使能单元5908、检测单元 5910、确定单元5912、发送单元5914和媒体捕获单元5916。
[0562] 处理单元5906被配置为:实现在显示器单元5902上媒体可供性、消息编辑域W及 参与者之间的消息对话的显示(例如,使用显示使能单元5908),其中对话被显示在显示器 单元5902上的消息区域中;检测(例如,使用检测单元5910)在触摸敏感表面单元5904上 的对应于显示器单元5902上的媒体可供性的位置的位置处的接触;响应于检测到接触,在 显示器单元5902上实现消息编辑域中的媒体预览的显示(例如,使用显示使能单元5908); 检测(例如,使用检测单元5910)接触从触摸敏感表面单元5904的抬起;响应于检测到抬 起,基于媒体预览捕获(例如,使用媒体捕获单元5916)新图像;W及向消息对话的参与者 发送(例如,使用发送单元5914)捕获的图像。
[0563] 在一些实施例中,响应于检测到抬起,所捕获的图像被发送给参与者。
[0564] 在一些实施例中,处理单元5906被进一步配置为:在显示器单元5902上实现用于 向消息对话的参与者发送消息的发送按钮的显示(例如,使用显示使能单元5908);在检测 到抬起并且捕获媒体之后,检测(例如,使用检测单元5910)在触摸敏感表面单元5902上 的对应于显示器单元5902上的发送按钮的位置的位置处的第二接触,并且响应于检测到 第二接触,捕获的图像被发送给参与者。
[0565] 在一些实施例中,处理单元5906被进一步配置为:进一步响应于检测到抬起,在 显示器单元5902上实现消息编辑域中的捕获的图像的表示的显示。
[0566] 在一些实施例中,处理单元5906被进一步配置为:当显示消息编辑域中的捕获的 图像的表示时,检测(例如,使用检测单元5910)消息编辑域中的附加内容的用户条目,并 且响应于检测到第二接触,附加的内容和所捕获的图像被发送给参与者。
[0567] 在一些实施例中,实现消息编辑域中的媒体预览的显示包括在显示器单元5902 上实现消息编辑域的扩展(例如,使用显示使能单元5908)。
[056引上文参考图49所描述的操作可选地由描绘在图1A-图1B、图3、图5B或者图59中 的部分来实现。例如,显示使能操作4902、检测操作4904和/或捕获操作4910可选地由事 件分类器170、事件识别器180、事件处理器190和外围接口 118实现。事件分类器170中 的事件监控器171检测触摸敏感显示器112上的接触,并且事件调度器模块174将事件信 息递送至应用136-1。应用136-1的相应的事件识别器180将事件信息与相应的事件定义 186比较,并且确定触摸敏感表面上的接触是否对应于预定事件或者子事件,诸如用户界面 上的可供性的激活。当相应的预定事件或者子事件被检测到时,事件识别器180激活与事 件或者子事件的检测相关联的事件处理器190。事件处理器190可W利用或者调用数据更 新器176或者物体更新器177W更新应用内部状态192。在一些实施例中,事件处理器190 访问相应的GUI更新器178W更新由应用显示的内容。在一些实施例中,事件处理器190 访问外围接口 118W捕获图像。同样地,对于本领域技术人员清楚的是可W基于图1A-图 1B、图3、图5B或者图59中描绘的部分如何实现其他过程。
[0569] 前述描述是为了解读的目的参考特定实施例进行描述的。然而,上文示例性的讨 论并不旨在是穷尽式的或者将本发明限制到所公开的精确形式。鉴于W上教导,很多修改 和变化是可能的。实施例被选择和描述W便最好地解读技术的原理和它们的实际应用。本 领域中其他技术人员由此能够最好地利用该技术和适于构思具体使用的具有各种修改的 各种实施例。
[0570] 虽然已经参考附图充分详细地描述了本公开和示例,注意各种变化和修改将对于 本领域技术人员变得明显。注意的变化和修改应当被理解为包括在如由权利要求书限定的 本公开和示例的范围内。
[0571] 如上文所描述的,本技术的一个方面是从各种源可获得的数据的收集和使用W与 消息对话的其他参与者共享位置信息。本公开构思在一些情况下,该收集的数据可W包括 唯一地标识特定人或者可W用于联系或者定位特定人的个人信息数据。运样的个人信息数 据可W包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、家庭地址或者任何 其他标识信息。
[0572] 本公开认识到运样的个人信息数据在本技术中的使用可W为了用户的利益被使 用。例如,个人信息数据可W被用于使得参与者能够确定彼此的位置和预计抵达时间。进 一步地,本公开也构思了对用户有益的个人信息数据的其他使用。
[0573] 本公开进一步构思对运样的个人信息数据的收集、分析、公开、转移、存储或者其 他使用负责的实体将遵从完善的隐私策略和/或隐私实践。具体地,运样的实体应当实现 和一致地使用隐私策略和实践,运样的隐私策略和实践通常被认为满足或者超过对保持个 人信息数据隐私和安全的工业或者政府要求。例如,来自用户的个人信息应当被收集用于 合法且合理的实体使用,并且不在那些合法使用之外共享和销售。进一步地,运样的收集应 当仅发生在接收到用户告知的知情之后。另外,运样的实体将采取任何所需要的步骤用于 保护和守卫对运样的个人信息的访问和确保对个人信息有访问权的其他实体坚守他们的 隐私策略和程序。进一步地,运样的实体可W让他们接受第=方的评估W证明他们坚守广 为接受的隐私策略和实践。
[0574] 此外,本公开还构思其中用户选择性地阻止对个人信息数据的使用或者访问的实 施例。目P,本公开构思硬件和/或软件元件可W被提供W防止或者阻挡对运样的个人信息 数据的访问。例如,在位置共享特征的情况下,本技术可W被配置为允许用户选择不向消息 对话参与者提供位置信息。在又一实施例中,用户可w选择不提供精确的位置信息,但允许 共享位置区信息。
[0575] 因此,虽然本公开广义地涵盖个人信息数据的使用W实现一个或者多个各种公开 实施例,但是本公开也构思各种实施例也可W在不需要运样的个人信息数据的情况下被实 现。目P,本技术的各种实施例不会因为运样的个人信息数据的全部或者部分的缺乏而行不 通。例如,预计抵达时间内容可W使用最小量的个人信息而被确定,诸如位置区信息或者公 开可获得的信息。

Claims (25)

1. 一种方法,包括: 在具有触摸敏感表面和显示器的电子设备处: 显示从消息对话的第一参与者接收的第一音频消息的表示; 检测播放所述第一音频消息的请求; 响应于检测到所述请求,播放所述第一音频消息; 在播放所述第一音频消息之后,检测所述设备的拿起; 响应于检测到所述设备的所述拿起,录制第二音频消息;以及 在录制所述第二音频消息之后,向所述第一参与者发送所述第二音频消息。
2. 根据权利要求1所述的方法,进一步包括: 当录制所述第二音频消息时,检测所述设备的降低,并且响应于检测到所述设备的所 述降低: 停止录制所述第二音频消息,以及 向所述第一参与者发送录制的所述第二音频消息。
3. 根据权利要求1-2中任一项所述的方法,其中: 检测播放所述第一音频消息的所述请求包括在所述第一音频消息的所述表示被显示 时检测所述设备的单独的拿起。
4. 根据权利要求1-3中任一项所述的方法,进一步包括: 在播放所述第一音频消息之后并且在录制所述第二音频消息之前,检测所述设备的降 低。
5. 根据权利要求1所述的方法,其中: 检测播放所述第一音频的所述请求包括检测在所述触摸敏感表面上的、与所述第一音 频消息的显示的表示的位置相对应的位置处的接触。
6. 根据权利要求1-5中任一项所述的方法,其中所述显示器是触摸敏感显示器,并且 其中显示所述表示包括: 在所述显示器上显示指示接收的所述消息的可供性; 检测显示的所述可供性上的滑动手势;以及 响应于检测到所述滑动手势,显示指示用户拿起所述电子设备以录制所述第二音频消 息的指令。
7. 根据权利要求6所述的方法,其中指示接收的所述消息的所述可供性被显示在锁屏 上。
8. 根据权利要求7所述的方法,进一步包括: 响应于检测到所述滑动手势: 在所述显示器上显示用于回复接收的所述消息的回复可供性, 检测在所述显示器上的所述回复可供性的选择,以及 响应于检测到所述回复可供性的所述选择,显示指示所述用户拿起所述电子设备以录 制所述第二音频消息的所述指令。
9. 根据权利要求6所述的方法,其中指示所述用户拿起所述电子设备以录制所述第二 音频消息的所述指令被显示在消息编辑域中,所述方法进一步包括: 在所述显示器上显示媒体可供性; 检测在所述触摸敏感表面上的、与所述显示器上的所述媒体可供性的位置相对应的位 置处的接触; 响应于检测到所述接触,录制第二音频消息;以及 在录制所述第二音频消息之后,向所述第一参与者发送所述第二音频消息。
10. 根据权利要求9所述的方法,进一步包括: 检测在所述触摸敏感表面上的、与所述显示器上的消息录入域的位置相对应的位置处 的接触;以及 响应于检测到在所述触摸敏感表面上的、与所述消息录入域的位置相对应的位置处的 所述接触,在所述显示器上显示虚拟键盘。
11. 根据权利要求1所述的方法,其中所述第二音频消息基于失效准则而失效。
12. -种电子设备,包括: 显示器; 触摸敏感表面; 一个或者多个处理器; 存储器;以及 一个或者多个程序,其中所述一个或者多个程序被存储在所述存储器中并且被配置为 由所述一个或者多个处理器执行,所述一个或者多个程序包括用于执行根据权利要求1-11 所述的方法中的任一项的指令。
13. -种存储一个或者多个程序的非瞬时计算机可读存储介质,所述一个或者多个程 序包括指令,当所述指令由具有显示器和触摸敏感表面的电子设备的一个或者多个处理器 执行时,所述指令使得所述设备执行根据权利要求1-11所述的方法中的任一项。
14. 一种电子设备,包括: 显示器; 触摸敏感表面; 用于执行根据权利要求1-11所述的方法中的任一项的装置。
15. -种电子设备,包括: 触摸敏感表面单元; 显示器单元;以及 处理器单元,被耦合到所述显示器单元和所述触摸敏感表面单元,所述处理器单元被 配置为: 实现在所述显示器单元上的、从消息对话的第一参与者接收的第一音频消息的表示的 显不; 检测播放所述第一音频消息的请求; 响应于检测到所述请求,播放所述第一音频消息; 在播放所述第一音频消息之后,检测所述设备的拿起; 响应于检测到所述设备的所述拿起,录制第二音频消息;以及 在录制所述第二音频消息之后,向所述第一参与者发送所述第二音频消息。
16. 根据权利要求15所述的电子设备,其中所述处理器单元被进一步配置为 在录制所述第二音频消息时,检测所述设备的降低,并且响应于检测到所述设备的所 述降低: 停止录制所述第二音频消息,以及 向所述第一参与者发送所录制的第二音频消息。
17. 根据权利要求15-16中任一项所述的电子设备,其中: 检测播放所述第一音频消息的所述请求包括在所述第一音频消息的所述表示被显示 在所述显示器单元上时检测所述设备的单独的拿起。
18. 根据权利要求15-17中任一项所述的电子设备,其中所述处理器单元被进一步配 置为 在播放所述第一音频消息之后并且在录制所述第二音频消息之前,检测所述设备的降 低。
19. 根据权利要求15所述的电子设备,其中: 检测播放所述第一音频的所述请求包括检测在所述触摸敏感表面单元上的、与所述第 一音频消息在所述显示器单元上所显示的表示的位置相对应的位置处的接触。
20. 根据权利要求15-17中任一项所述的电子设备,其中所述显示器单元是触摸敏感 显示器单元,并且其中实现所述表示的显示包括: 实现在所述显示器单元上指示接收的所述消息的可供性的显示; 检测所显示的可供性上的滑动手势;以及 响应于检测到所述滑动手势,实现在所述显示器单元上指示用户拿起所述电子设备以 录制所述第二音频消息的指令的显示。
21. 根据权利要求20所述的电子设备,其中指示接收的所述消息的所述可供性被显示 在所述显示器单元上的锁屏上。
22. 根据权利要求21所述的电子设备,其中所述处理器单元被进一步配置为 响应于检测到所述滑动手势: 实现在所述显示器单元上的用于回复接收的所述消息的回复可供性的显示, 检测所述显示器单元上的所述回复可供性的选择,以及 响应于检测到所述回复可供性的所述选择,实现在所述显示器单元上的指示所述用户 拿起所述电子设备以录制所述第二音频消息的所述指令的显示。
23. 根据权利要求20所述的电子设备,其中指示所述用户拿起所述电子设备以录制所 述第二音频消息的所述指令被显示在所述显示器单元上的消息编辑域中,其中所述处理单 元被进一步配置为 实现在所述显示器单元上的媒体可供性的显示; 检测在所述触摸敏感表面单元上的、与所述显示器单元上的所述媒体可供性的位置相 对应的位置处的接触; 响应于检测到所述接触,录制第二音频消息;以及 在录制所述第二音频消息之后,向所述第一参与者发送所述第二音频消息。
24. 根据权利要求23所述的电子设备,其中所述处理单元被进一步配置为: 检测在所述触摸敏感表面单元上的、与所述显示器单元上的消息录入域的位置相对应 的位置处的接触;以及 响应于检测到在所述触摸敏感表面上的、与所述消息录入域的位置相对应的位置处的 所述接触,实现在所述显示器单元上的虚拟键盘的显示。
25.根据权利要求15所述的电子设备,其中所述第二音频消息基于失效准则而失效。
CN201510291012.9A 2014-05-31 2015-05-29 用于媒体和位置内容的捕获和传输的消息用户界面 Active CN105183443B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US201462006071P true 2014-05-31 2014-05-31
US62/006,071 2014-05-31
US201462047622P true 2014-09-08 2014-09-08
US62/047,622 2014-09-08
PCT/US2015/032305 WO2015183755A1 (en) 2014-05-31 2015-05-22 Message user interfaces for captured and transmittal of media and location
USPCT/US2015/032309 2015-05-22
PCT/US2015/032309 WO2015183756A1 (en) 2014-05-31 2015-05-22 Message user interfaces for capture and transmittal of media and location content
USPCT/US2015/032305 2015-05-22

Publications (2)

Publication Number Publication Date
CN105183443A true CN105183443A (zh) 2015-12-23
CN105183443B CN105183443B (zh) 2019-03-22

Family

ID=53836331

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201710267617.3A CN107122049A (zh) 2014-05-31 2015-05-22 用于捕获和传输媒体和位置内容的消息用户界面
CN201580029071.7A CN106575149A (zh) 2014-05-31 2015-05-22 用于捕获和传输媒体和位置内容的消息用户界面
CN201510291012.9A Active CN105183443B (zh) 2014-05-31 2015-05-29 用于媒体和位置内容的捕获和传输的消息用户界面
CN201520365358.4U CN204946542U (zh) 2014-05-31 2015-05-29 电子设备
CN201520365843.1U CN205263700U (zh) 2014-05-31 2015-05-29 电子设备
CN201510290133.1A CN105183442B (zh) 2014-05-31 2015-05-29 用于媒体和位置内容的捕获和传输的消息用户界面

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710267617.3A CN107122049A (zh) 2014-05-31 2015-05-22 用于捕获和传输媒体和位置内容的消息用户界面
CN201580029071.7A CN106575149A (zh) 2014-05-31 2015-05-22 用于捕获和传输媒体和位置内容的消息用户界面

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201520365358.4U CN204946542U (zh) 2014-05-31 2015-05-29 电子设备
CN201520365843.1U CN205263700U (zh) 2014-05-31 2015-05-29 电子设备
CN201510290133.1A CN105183442B (zh) 2014-05-31 2015-05-29 用于媒体和位置内容的捕获和传输的消息用户界面

Country Status (7)

Country Link
US (8) US9185062B1 (zh)
EP (3) EP3108422A1 (zh)
JP (5) JP6500093B2 (zh)
CN (6) CN107122049A (zh)
AU (8) AU2015267259B2 (zh)
DE (4) DE202015009346U1 (zh)
HK (2) HK1216556A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305459A (zh) * 2016-04-25 2017-10-31 阿里巴巴集团控股有限公司 语音和多媒体消息的发送方法及装置

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971924B2 (en) 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
US10715380B2 (en) 2011-05-23 2020-07-14 Apple Inc. Setting a reminder that is triggered by a target user device
US9247377B2 (en) 2011-05-23 2016-01-26 Apple Inc. Setting a reminder that is triggered by a target user device
KR102013443B1 (ko) 2012-09-25 2019-08-22 삼성전자주식회사 이미지를 전송하기 위한 방법 및 그 전자 장치
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
USD737319S1 (en) * 2013-06-09 2015-08-25 Apple Inc. Display screen or portion thereof with graphical user interface
USD742894S1 (en) 2013-06-10 2015-11-10 Apple Inc. Display screen or portion thereof with graphical user interface
KR102161764B1 (ko) * 2013-10-31 2020-10-05 삼성전자주식회사 카툰 이미지를 이용한 메신저 대화창 표시 방법 및 컴퓨터 판독 가능한 기록 매체
USD759668S1 (en) * 2014-01-13 2016-06-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD751117S1 (en) 2014-02-07 2016-03-08 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
USD771112S1 (en) 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
US10721594B2 (en) * 2014-06-26 2020-07-21 Microsoft Technology Licensing, Llc Location-based audio messaging
DE212015000194U1 (de) 2014-08-06 2017-05-31 Apple Inc. Verkleinerte Benutzeroberflächen für Batteriemanagement
TWI549504B (zh) * 2014-08-11 2016-09-11 宏碁股份有限公司 影像擷取裝置及其自動對焦補償方法
KR102016160B1 (ko) * 2014-09-02 2019-08-29 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
EP3189406A2 (en) 2014-09-02 2017-07-12 Apple Inc. Phone user interface
USD762693S1 (en) 2014-09-03 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
KR20160050336A (ko) * 2014-10-29 2016-05-11 삼성전자주식회사 단말장치 및 그 제어 방법
USD805102S1 (en) 2015-01-27 2017-12-12 Twitter, Inc. Media sharing device with graphical user interface
USD763889S1 (en) * 2015-01-28 2016-08-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN112152905A (zh) 2015-02-16 2020-12-29 钉钉控股(开曼)有限公司 通讯方法、装置及移动设备
KR20160111268A (ko) * 2015-03-16 2016-09-26 삼성전자주식회사 모션 인식 서비스 제공 방법 및 그 전자 장치
CN106034068A (zh) 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 群聊中进行私聊的方法、装置、客户端、服务器及系统
US20170083168A1 (en) * 2015-04-20 2017-03-23 Idt Messaging, Llc System and method for managing multiple chat sessions
US9973615B2 (en) * 2015-05-11 2018-05-15 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling recording thereof
CN105094801B (zh) * 2015-06-12 2019-12-24 阿里巴巴集团控股有限公司 应用功能激活方法及装置
USD884003S1 (en) 2015-07-29 2020-05-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US20170061935A1 (en) * 2015-08-31 2017-03-02 Sap Se Adaptive message display duration
KR20170035079A (ko) * 2015-09-22 2017-03-30 삼성전자주식회사 전자 장치 및 촬영 방법
US9734686B2 (en) * 2015-11-06 2017-08-15 Blackberry Limited System and method for enhancing a proximity warning sound
US10078482B2 (en) * 2015-11-25 2018-09-18 Samsung Electronics Co., Ltd. Managing display of information on multiple devices based on context for a user task
US9913114B1 (en) 2015-12-15 2018-03-06 Snap Inc. Simplified message grouping and display
CN105610695B (zh) 2015-12-21 2021-01-12 阿里巴巴集团控股有限公司 对象分配方法及装置
US20170214651A1 (en) 2016-01-05 2017-07-27 William McMichael Systems and methods of transmitting and displaying private message data via a text input application
CN105681056B (zh) 2016-01-13 2019-03-19 阿里巴巴集团控股有限公司 对象分配方法及装置
USD781907S1 (en) * 2016-01-19 2017-03-21 Apple Inc. Display screen or portion thereof with graphical user interface
CN105824541B (zh) * 2016-02-29 2017-12-26 维沃移动通信有限公司 一种提示信息的处理方法及移动终端
CN105812237B (zh) 2016-03-07 2020-12-04 钉钉控股(开曼)有限公司 快速添加提醒对象的方法及装置
CN107306286B (zh) 2016-04-21 2020-12-04 钉钉控股(开曼)有限公司 离线考勤的处理方法及装置
US20170336960A1 (en) 2016-05-18 2017-11-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for Messaging
DK201670641A1 (en) * 2016-05-18 2017-12-04 Apple Inc Devices, Methods, and Graphical User Interfaces for Messaging
USD797137S1 (en) * 2016-06-03 2017-09-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD803238S1 (en) 2016-06-12 2017-11-21 Apple Inc. Display screen or portion thereof with graphical user interface
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10545653B2 (en) * 2016-06-12 2020-01-28 Apple Inc. Device, method, and graphical user interface for media playback
USD825612S1 (en) * 2016-07-27 2018-08-14 Apple Inc. Display screen or portion thereof with graphical user interface
US10318125B2 (en) * 2016-08-29 2019-06-11 Sap Se Graphical user interface magnetic panel
CN107846345A (zh) 2016-09-18 2018-03-27 阿里巴巴集团控股有限公司 通讯方法及装置
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. Image data for enhanced user interactions
CN106502527A (zh) * 2016-09-29 2017-03-15 北京小米移动软件有限公司 一种内容分享的方法、装置及终端
USD846575S1 (en) * 2016-12-02 2019-04-23 Lyft, Inc. Display screen or portion thereof with graphical user interface
US10051107B1 (en) 2017-03-16 2018-08-14 Microsoft Technology Licensing, Llc Opportunistic timing of device notifications
US20180295091A1 (en) * 2017-04-10 2018-10-11 Facebook, Inc. Systems and methods for sharing content
DK179948B1 (da) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
JP2020520030A (ja) 2017-05-16 2020-07-02 アップル インコーポレイテッドApple Inc. 絵文字の記録及び送信
US10498775B2 (en) * 2017-08-31 2019-12-03 T-Mobile Usa, Inc. Exchanging non-text content in real time text messages
US20190082122A1 (en) * 2017-09-08 2019-03-14 Samsung Electronics Co., Ltd. Method and device for providing contextual information
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
USD846567S1 (en) 2017-10-06 2019-04-23 Apple Inc. Electronic device with graphical user interface
USD857033S1 (en) 2017-11-07 2019-08-20 Apple Inc. Electronic device with graphical user interface
US20190206102A1 (en) * 2017-12-29 2019-07-04 Facebook, Inc. Systems and methods for enhancing content
CN110457104A (zh) * 2018-05-07 2019-11-15 苹果公司 多参与者实时通信用户界面
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
JP2019197519A (ja) * 2018-05-07 2019-11-14 アップル インコーポレイテッドApple Inc. クリエイティブカメラ
USD901525S1 (en) 2018-09-11 2020-11-10 Apple Inc. Electronic device with animated graphical user interface
WO2020124228A1 (en) * 2018-12-18 2020-06-25 Qaqaq Inc. Asynchronous short video communication platform based on animated still images and audio
US10499179B1 (en) * 2019-01-01 2019-12-03 Philip Scott Lyren Displaying emojis for binaural sound
US10944711B2 (en) * 2019-03-28 2021-03-09 Microsoft Technology Licensing, Llc Paginated method to create decision tree conversation
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
CN110333814A (zh) * 2019-05-31 2019-10-15 华为技术有限公司 一种分享内容的方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164219A1 (en) * 2007-12-19 2009-06-25 Enbiomedic Accelerometer-Based Control of Wearable Devices
CN103309606A (zh) * 2012-03-02 2013-09-18 三星电子株式会社 操作与音频录制功能配合的备忘录功能的系统和方法
CN103583031A (zh) * 2011-06-03 2014-02-12 苹果公司 基于运动的设备操作
CN103959751A (zh) * 2011-09-30 2014-07-30 苹果公司 自动调整用户界面以用于免提交互

Family Cites Families (262)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US5479378A (en) 1993-12-17 1995-12-26 Seiko Telecommunication Systems Inc. Analog wristwatch paging receiver
US6191807B1 (en) * 1994-05-27 2001-02-20 Canon Kabushiki Kaisha Communication apparatus and method for performing a file transfer operation
US5801700A (en) * 1996-01-19 1998-09-01 Silicon Graphics Incorporated System and method for an iconic drag and drop interface for electronic file transfer
US6014429A (en) 1996-08-12 2000-01-11 Lucent Technologies, Inc. Two-way wireless messaging system with transaction server
US6002402A (en) 1997-04-09 1999-12-14 Symantec Corporation System and method for producing a drag-and-drop object from a popup menu item
JPH1145117A (ja) 1997-07-25 1999-02-16 Mitsubishi Electric Corp メッセージ表示システム
EP1717684A3 (en) 1998-01-26 2008-01-23 Fingerworks, Inc. Method and apparatus for integrating manual input
JP3511462B2 (ja) 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
US6484027B1 (en) 1998-06-15 2002-11-19 Sbc Technology Resources, Inc. Enhanced wireless handset, including direct handset-to-handset communication mode
US20020126135A1 (en) 1998-10-19 2002-09-12 Keith Ball Image sharing for instant messaging
GB2350523B (en) 1999-05-26 2003-11-26 Nokia Mobile Phones Ltd Communication device
US7149893B1 (en) 1999-09-07 2006-12-12 Poofaway.Com, Inc. System and method for enabling the originator of an electronic mail message to preset an expiration time, date, and/or event, and to control processing or handling by a recipient
US6809724B1 (en) 2000-01-18 2004-10-26 Seiko Epson Corporation Display apparatus and portable information processing apparatus
US7016707B2 (en) 2000-06-21 2006-03-21 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
US20020057284A1 (en) 2000-06-29 2002-05-16 Dalby Richard Sean Methods and systems for delivering announcements to users of an information system
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7334267B2 (en) 2001-02-28 2008-02-19 Hall Aluminum Llc Email viewing security
JP4860057B2 (ja) 2001-06-06 2012-01-25 京セラ株式会社 通信端末装置
US7461378B2 (en) * 2002-06-11 2008-12-02 Siemens Communications, Inc. Methods and apparatus for processing an instant message
US20040041841A1 (en) 2002-08-27 2004-03-04 Lemogne Stephane Enhanced contact navigator with interactive tabs for managing network events in real time
KR100532273B1 (ko) 2002-10-11 2005-11-29 삼성전자주식회사 복합 단말기에서 동작 모드에 따른 배터리 가용 시간 알림방법
US7300429B2 (en) 2003-03-18 2007-11-27 Catharos Medical Systems, Inc. Methods and devices for retrieval of a medical agent from a physiological efferent fluid collection site
KR100504828B1 (ko) 2003-04-11 2005-07-29 엘지전자 주식회사 휴대폰의 단문 메시지 관리 방법
EP1627542B1 (en) 2003-05-28 2009-03-18 Nokia Corporation Method and radio terminal equipment arrangement of indicating incoming connection
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7707255B2 (en) 2003-07-01 2010-04-27 Microsoft Corporation Automatic grouping of electronic mail
US7353413B2 (en) 2003-08-18 2008-04-01 Intel Corporation Computer system power policy adjustment in response to an affirmative indication from a user
US7454716B2 (en) 2003-12-22 2008-11-18 Microsoft Corporation Clustering messages
US7904510B2 (en) 2004-02-23 2011-03-08 Microsoft Corporation Systems and methods for managing discussion threads based on ratings
US7645108B2 (en) 2004-02-26 2010-01-12 Benko John C Stack loading and unloading cart
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7353466B2 (en) 2004-05-28 2008-04-01 Microsoft Corporation System and method for generating message notification objects on dynamically scaled timeline
CA2571391C (en) 2004-06-21 2010-12-21 Research In Motion Limited System and method for handling electronic messages
US20060026245A1 (en) 2004-07-07 2006-02-02 Ivy Cunningham System and method for data organization and display in an instant-messaging interface
US20060019649A1 (en) 2004-07-21 2006-01-26 Feinleib David A System and method for remote telephone ringer
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7728316B2 (en) * 2005-09-30 2010-06-01 Apple Inc. Integrated proximity sensor and light sensor
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7519670B2 (en) 2004-08-12 2009-04-14 International Business Machines Corporation Method for disappearing ink for text messaging
JP2006072489A (ja) 2004-08-31 2006-03-16 Toshiba Corp 情報処理装置および表示制御プログラム
JP2006079427A (ja) 2004-09-10 2006-03-23 Toshiba Tec Corp 携帯情報機器
JP2006129429A (ja) 2004-10-01 2006-05-18 Haatec:Kk 通信システムの端末機
JP4127833B2 (ja) 2004-10-12 2008-07-30 株式会社東芝 携帯端末
US20060092177A1 (en) 2004-10-30 2006-05-04 Gabor Blasko Input method and apparatus using tactile guidance and bi-directional segmented stroke
US7773404B2 (en) * 2005-01-07 2010-08-10 Invisage Technologies, Inc. Quantum dot optical devices with enhanced gain and sensitivity and methods of making same
US8375327B2 (en) 2005-01-16 2013-02-12 Zlango Ltd. Iconic communication
US8107599B2 (en) * 2005-02-15 2012-01-31 Fastvdo, Llc Methods and apparatus for the composition and communication of digital composition coded multisensory messages (DCC MSMS)
CN103336562A (zh) 2005-03-04 2013-10-02 苹果公司 多功能手持设备
CN100502415C (zh) 2005-04-22 2009-06-17 英华达(上海)电子有限公司 手机中语音自动处理外来通信事件的方法
US7697926B2 (en) 2005-07-29 2010-04-13 Research In Motion Limited Device and method for generating user notifications associated with tasks that are pending completion
US9629384B2 (en) 2005-09-14 2017-04-25 S & P Ingredient Development, Llc Low sodium salt composition
US20070073823A1 (en) * 2005-09-29 2007-03-29 International Business Machines Corporation Method and apparatus to secure and retrieve instant messages
US20070117549A1 (en) * 2005-10-06 2007-05-24 Arnos Reed W Wireless handset and methods for use therewith
US7894580B2 (en) 2005-10-26 2011-02-22 Research In Motion Limited Methods and apparatus for reliable voicemail message deletion alerts at mobile communication devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
EP1801689A1 (en) 2005-12-23 2007-06-27 Sap Ag Methods, systems and software applications including tab panel elements
US8311566B2 (en) 2005-12-27 2012-11-13 Kyocera Corporation Communication apparatus, server apparatus, and communication control method
US7552399B2 (en) 2005-12-27 2009-06-23 International Business Machines Corporation Extensible icons with multiple drop zones
JP2009524357A (ja) 2006-01-20 2009-06-25 カンバーセイショナル コンピューティング コーポレイション 着用型ディスプレーインターフェースクライエント装置
US10521022B2 (en) * 2006-03-17 2019-12-31 Conversant Wireless Licensing S.a.r.l. Mobile communication terminal and method therefor
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8989778B2 (en) * 2006-06-01 2015-03-24 Green Dot Corporation Secure and private location sharing for location-aware mobile communication devices
US7702282B2 (en) 2006-07-13 2010-04-20 Sony Ericsoon Mobile Communications Ab Conveying commands to a mobile terminal through body actions
US7789225B2 (en) * 2006-07-27 2010-09-07 David Whiteis Jewelry box
KR100778367B1 (ko) 2006-08-02 2007-11-22 삼성전자주식회사 휴대 단말기 및 그의 이벤트 처리 방법
US8014760B2 (en) 2006-09-06 2011-09-06 Apple Inc. Missed telephone call management for a portable multifunction device
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US7996792B2 (en) 2006-09-06 2011-08-09 Apple Inc. Voicemail manager for portable multifunction device
US8842074B2 (en) 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
KR100774927B1 (ko) * 2006-09-27 2007-11-09 엘지전자 주식회사 이동통신 단말기, 메뉴 및 아이템 선택방법
US7768415B2 (en) 2006-09-28 2010-08-03 Nike, Inc. Sensor device with persistent low power beacon
US8090087B2 (en) 2006-10-26 2012-01-03 Apple Inc. Method, system, and graphical user interface for making conference calls
US7908219B2 (en) * 2006-11-03 2011-03-15 Microsoft Corporation Inbox management
KR20080043472A (ko) 2006-11-14 2008-05-19 삼성전자주식회사 휴대용 단말기의 메시지 관리 방법 및 장치
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US8091045B2 (en) 2007-01-07 2012-01-03 Apple Inc. System and method for managing lists
EP2490432A1 (en) 2007-05-29 2012-08-22 Research In Motion Limited System and method for integrating image upload objects with a message list
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US9954996B2 (en) * 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US20090003552A1 (en) * 2007-06-29 2009-01-01 Lucent Technologies Inc. Personal message expiration
US7996473B2 (en) * 2007-07-30 2011-08-09 International Business Machines Corporation Profile-based conversion and delivery of electronic messages
US8990400B2 (en) 2007-08-17 2015-03-24 The Invention Science Fund I, Llc Facilitating communications among message recipients
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
JP2009053758A (ja) 2007-08-23 2009-03-12 Toshiba Corp 通信端末装置
WO2009071112A1 (en) * 2007-12-03 2009-06-11 Nokia Corporation Media embedded in mobile messaging
WO2009078870A1 (en) 2007-12-18 2009-06-25 Lucent Technologies, Inc. Methods and systems for expiration handling in electronic message systems
US8407603B2 (en) 2008-01-06 2013-03-26 Apple Inc. Portable electronic device for instant messaging multiple recipients
US7996046B2 (en) 2008-01-10 2011-08-09 Microsoft Corporation Smart alert charms for wireless devices
US20090187842A1 (en) 2008-01-22 2009-07-23 3Dlabs Inc., Ltd. Drag and Drop User Interface for Portable Electronic Devices with Touch Sensitive Screens
KR101716401B1 (ko) 2008-01-30 2017-03-14 구글 인코포레이티드 모바일 디바이스 이벤트의 통지
US8677285B2 (en) 2008-02-01 2014-03-18 Wimm Labs, Inc. User interface of a small touch sensitive display for an electronic data and communication device
US20090248751A1 (en) * 2008-04-01 2009-10-01 Myman Darin M Destroyable Instant Message (IM)
US8312380B2 (en) 2008-04-04 2012-11-13 Yahoo! Inc. Local map chat
EP2109055A1 (en) 2008-04-11 2009-10-14 Universiteit Maastricht Portable psychological monitoring device
US20090265643A1 (en) * 2008-04-18 2009-10-22 Alcatel Lucent Instant messaging reception indication
CN101276255A (zh) * 2008-05-05 2008-10-01 中兴通讯股份有限公司 一种移动终端菜单的显示装置及显示方法
US20090313582A1 (en) 2008-06-11 2009-12-17 Raul Rupsingh System, Method and Computer Program for User-Friendly Social Interaction
US20130310089A1 (en) * 2008-08-05 2013-11-21 Vasileios John Gianoukos Voice texting over sms
US10375223B2 (en) 2008-08-28 2019-08-06 Qualcomm Incorporated Notifying a user of events in a computing device
US8121586B2 (en) 2008-09-16 2012-02-21 Yellowpages.Com Llc Systems and methods for voice based search
US8620869B2 (en) 2008-09-25 2013-12-31 Microsoft Corporation Techniques to manage retention policy tags
KR101829865B1 (ko) 2008-11-10 2018-02-20 구글 엘엘씨 멀티센서 음성 검출
US20100124906A1 (en) * 2008-11-14 2010-05-20 Nokia Corporation Method and Apparatus for Transmitting and Receiving Data
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US20100162138A1 (en) 2008-12-23 2010-06-24 At&T Mobility Ii Llc Conversation bubbles including visual cues for threaded messaging applications
US8572493B2 (en) * 2009-01-29 2013-10-29 Rick Qureshi Mobile device messaging application
US8315606B2 (en) 2009-02-27 2012-11-20 Research In Motion Limited System and method for intelligent call identification on a mobile communication device
US8510665B2 (en) 2009-03-16 2013-08-13 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US20100281409A1 (en) 2009-04-30 2010-11-04 Nokia Corporation Apparatus and method for handling notifications within a communications device
US8930438B2 (en) 2009-06-17 2015-01-06 Apple Inc. Push-based location update
KR101590766B1 (ko) 2009-06-26 2016-02-02 삼성전자주식회사 메시지를 그룹화하고 디스플레이하는 장치 및 방법
US8548523B2 (en) 2009-07-01 2013-10-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for changing ring method based on type of connected device
TWI554076B (zh) 2009-09-04 2016-10-11 普露諾洛股份有限公司 遠距離的電話管理器
KR101651128B1 (ko) 2009-10-05 2016-08-25 엘지전자 주식회사 이동 단말기 이것의 애플리케이션 실행 제어 방법
JP5419153B2 (ja) 2009-10-22 2014-02-19 Necカシオモバイルコミュニケーションズ株式会社 タッチ検出装置、電子機器、および、プログラム
JP2011107823A (ja) * 2009-11-13 2011-06-02 Canon Inc 表示制御装置及び表示制御方法
US8922485B1 (en) * 2009-12-18 2014-12-30 Google Inc. Behavioral recognition on mobile devices
KR101626621B1 (ko) 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
US8972892B2 (en) 2010-01-05 2015-03-03 Qualcomm Incorporated Notification in immersive applications
US8698845B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8301121B2 (en) 2010-01-22 2012-10-30 Sony Ericsson Mobile Communications Ab Regulating alerts generated by communication terminals responsive to sensed movement
DE102010008622A1 (de) 2010-02-19 2011-08-25 Airbus Operations GmbH, 21129 Gehäuseloses Staufach
US8589815B2 (en) 2010-03-10 2013-11-19 Microsoft Corporation Control of timing for animations in dynamic icons
EP2369820B1 (en) 2010-03-22 2016-04-06 BlackBerry Limited Management and display of grouped messages on a communication device
US9275376B2 (en) 2010-03-25 2016-03-01 Nokia Technologies Oy Method and apparatus for providing soft reminders
US20110254684A1 (en) 2010-04-20 2011-10-20 Vito Antoci Bag Attachment for Alert Notification and Device Retrieval
US8719730B2 (en) 2010-04-23 2014-05-06 Ganz Radial user interface and system for a virtual world game
US20110276901A1 (en) 2010-05-04 2011-11-10 Qwest Communications International Inc. Family chat
US8587476B2 (en) 2010-05-11 2013-11-19 Blackberry Limited System and method for providing location information on mobile devices
CN101873386A (zh) 2010-06-13 2010-10-27 华为终端有限公司 一种移动终端及其来电提示方法
US20110306393A1 (en) 2010-06-15 2011-12-15 Tomasz Goldman Headset base with display and communications base
US9417665B2 (en) 2010-06-28 2016-08-16 Apple Inc. Providing an alternative human interface
US8285258B2 (en) 2010-07-07 2012-10-09 Research In Motion Limited Pushed content notification and display
US8284748B2 (en) 2010-07-07 2012-10-09 Apple Inc. Ad hoc formation and tracking of location-sharing groups
KR20120019531A (ko) 2010-08-26 2012-03-07 삼성전자주식회사 휴대 단말기의 gui제공 방법 및 장치
US9031812B2 (en) 2014-02-27 2015-05-12 Fitbit, Inc. Notifications on a user device based on activity detected by an activity monitoring device
US20120102437A1 (en) 2010-10-22 2012-04-26 Microsoft Corporation Notification Group Touch Gesture Dismissal Techniques
US20120108215A1 (en) 2010-10-29 2012-05-03 Nader Kameli Remote notification device
US9262002B2 (en) 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
US10303357B2 (en) 2010-11-19 2019-05-28 TIVO SOLUTIONS lNC. Flick to send or display content
US8874665B2 (en) 2010-12-13 2014-10-28 At&T Mobility Ii Llc Systems, apparatus and methods for facilitating display and management of information for communication devices
US8798648B2 (en) 2010-12-14 2014-08-05 Qualcomm Incorporated Methods and apparatus for managing messages
US20120158511A1 (en) 2010-12-21 2012-06-21 Microsoft Corporation Provision of contextual advertising
US8369893B2 (en) 2010-12-31 2013-02-05 Motorola Mobility Llc Method and system for adapting mobile device to accommodate external display
US9471145B2 (en) 2011-01-06 2016-10-18 Blackberry Limited Electronic device and method of displaying information in response to a gesture
CN201928419U (zh) 2011-01-21 2011-08-10 青岛海信移动通信技术股份有限公司 一种耳机及配置有所述耳机的移动通信终端
WO2012108213A1 (ja) 2011-02-10 2012-08-16 京セラ株式会社 入力装置
US9588669B2 (en) 2011-02-17 2017-03-07 T-Mobile Usa, Inc. Sticky messages
US10146329B2 (en) 2011-02-25 2018-12-04 Nokia Technologies Oy Method and apparatus for providing different user interface effects for different motion gestures and motion properties
CN102111505B (zh) 2011-03-04 2013-06-05 中山大学 一种移动终端短信息提示显示方法
US20120239949A1 (en) 2011-03-14 2012-09-20 Research In Motion Limited Electronic device and method for application and profile sensitive battery power management
GB2503846A (en) 2011-03-18 2014-01-08 Antony-Euclid C Villa-Real Global multi-purpose voice-controlled trans-lingual electronic talking and singing watch
JP5729759B2 (ja) 2011-03-22 2015-06-03 埼玉日本電気株式会社 携帯電子機器、その制御方法及びプログラム
US8880625B2 (en) * 2011-03-31 2014-11-04 Loment, Inc. Automatic expiration of messages communicated among end user communication devices
US9331972B2 (en) * 2011-03-31 2016-05-03 Loment, Inc. Automatic expiration of messages communicated to an end user communication device
KR101891803B1 (ko) 2011-05-23 2018-08-27 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 화면 편집 방법 및 장치
US8971924B2 (en) 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
WO2012170446A2 (en) 2011-06-05 2012-12-13 Apple Inc. Systems and methods for displaying notifications received from multiple applications
US9372556B2 (en) 2011-06-28 2016-06-21 Kyocera Corporation Electronic device, informing control method, and storage medium storing control program
US20150172393A1 (en) * 2011-07-29 2015-06-18 Google Inc. Temporal Location Sharing
JP2013048389A (ja) 2011-08-29 2013-03-07 Fujitsu Mobile Communications Ltd 電子装置、そのカメラ制御プログラムおよびカメラ制御方法
KR20130028598A (ko) 2011-09-09 2013-03-19 삼성전자주식회사 장치 및 장치의 이미지 파일의 sns 업로드방법
US8976128B2 (en) 2011-09-12 2015-03-10 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US20130078958A1 (en) 2011-09-23 2013-03-28 Research In Motion Limited System and method for managing transient notifications using sensors
KR101789626B1 (ko) 2011-10-10 2017-10-25 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
AU2012323326B2 (en) * 2011-10-10 2016-07-14 Microsoft Technology Licensing, Llc Communication system
EP2582120A1 (en) * 2011-10-14 2013-04-17 Research In Motion Limited User interface methods and apparatus for use in communicating text and photo messages
US8819154B2 (en) * 2011-10-14 2014-08-26 Blackberry Limited User interface methods and apparatus for use in communicating text and photo messages
US20130120106A1 (en) 2011-11-16 2013-05-16 Motorola Mobility, Inc. Display device, corresponding systems, and methods therefor
CN104106034B (zh) 2011-12-21 2018-01-09 诺基亚技术有限公司 用于将应用事件与电子设备的联系人对照的装置和方法
EP2610701B1 (en) 2011-12-29 2015-04-01 Research in Motion Corporation Power supply management for portable electronic devices
WO2013102908A1 (en) 2012-01-08 2013-07-11 Powermat Technologies Ltd System and method for providing and controlling inductive power charging
US10289660B2 (en) * 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
EP2631743B1 (en) 2012-02-24 2018-05-02 BlackBerry Limited Handheld device with notification message viewing
US9189062B2 (en) 2012-03-07 2015-11-17 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof based on user motion
US9247525B2 (en) 2012-03-16 2016-01-26 Qualcomm Incorporated Systems and methods for providing notifications
KR20130107974A (ko) 2012-03-23 2013-10-02 삼성전자주식회사 플로팅 사용자 인터페이스 제공 장치 및 방법
US9934713B2 (en) 2012-03-28 2018-04-03 Qualcomm Incorporated Multifunction wristband
US20130275924A1 (en) 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
US20130282844A1 (en) 2012-04-23 2013-10-24 Contact Solutions LLC Apparatus and methods for multi-mode asynchronous communication
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US9191988B2 (en) 2012-05-26 2015-11-17 Qualcomm Incorporated Smart pairing using bluetooth technology
KR101395480B1 (ko) 2012-06-01 2014-05-14 주식회사 팬택 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
CN102695302B (zh) 2012-06-15 2014-12-24 吴芳 用于扩展便携终端电子设备移动通信功能的系统和方法
US20130347018A1 (en) 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US9049261B2 (en) 2012-06-26 2015-06-02 Google Inc. Prioritized management and presentation of notifications
EP2688283B1 (en) * 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
US9560006B2 (en) 2012-07-26 2017-01-31 Google Inc. Method and apparatus for expiring messages in electronic communications
WO2014029026A1 (en) 2012-08-22 2014-02-27 Scanavo North America Ltd. Virtual packaging and electronic gifting system and methodology
KR102020335B1 (ko) * 2012-08-27 2019-09-10 삼성전자 주식회사 메시지 운용 방법 및 이를 지원하는 단말기
KR101901919B1 (ko) * 2012-08-27 2018-09-27 삼성전자주식회사 휴대 단말기 및 메신저 영상 서비스 운용 방법
US8787888B2 (en) 2012-08-29 2014-07-22 Facebook, Inc. Sharing location information during a communication session
US9131332B2 (en) 2012-09-10 2015-09-08 Qualcomm Incorporated Method of providing call control information from a mobile phone to a peripheral device
JP5884689B2 (ja) 2012-09-11 2016-03-15 カシオ計算機株式会社 携帯機器及びその制御方法、並びに、携帯機器の制御プログラム
KR102013443B1 (ko) * 2012-09-25 2019-08-22 삼성전자주식회사 이미지를 전송하기 위한 방법 및 그 전자 장치
WO2014078598A1 (en) * 2012-11-14 2014-05-22 invi Labs, Inc. System for and method of embedding rich media into text messages
CN104871095B (zh) 2012-11-28 2018-10-12 蒙特雷斯拉多股份有限公司 便携式触摸电子物体
JP5796789B2 (ja) 2012-12-20 2015-10-21 カシオ計算機株式会社 情報処理システムにおける無線端末、無線端末による携帯情報端末の起動方法
KR101958517B1 (ko) 2012-12-29 2019-03-14 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US20140189533A1 (en) 2012-12-30 2014-07-03 Avaya Inc. Dynamic notification system and method
CN103207674B (zh) * 2013-03-21 2016-06-22 苏州展科光电科技有限公司 基于体感技术的电子演示系统
KR102171444B1 (ko) 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
US9300617B2 (en) 2013-05-17 2016-03-29 Blackberry Limited Method and device for graphical indicator of electronic messages
US20140365944A1 (en) 2013-06-09 2014-12-11 Apple Inc. Location-Based Application Recommendations
US9338116B2 (en) 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
CN103440247A (zh) * 2013-07-19 2013-12-11 张佳佩 发送照片的方法及其设备
US9419935B2 (en) 2013-08-02 2016-08-16 Whatsapp Inc. Voice communications with real-time status notifications
KR102047703B1 (ko) 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9100944B2 (en) 2013-08-28 2015-08-04 Qualcomm Incorporated Wireless connecting mobile devices and wearable devices
WO2015038684A1 (en) 2013-09-10 2015-03-19 Polyera Corporation Attachable article with signaling, split display and messaging features
CN103500079A (zh) 2013-09-17 2014-01-08 小米科技有限责任公司 通知消息显示方法、装置及电子设备
CN103576902A (zh) 2013-09-18 2014-02-12 酷派软件技术(深圳)有限公司 控制终端设备的方法及系统
US9727752B2 (en) 2013-09-25 2017-08-08 Kairos Social Solutions, Inc. Device, system, and method of identifying a specific user from a profile image containing multiple people
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US9230486B2 (en) 2013-10-10 2016-01-05 Google Technology Holdings LLC Method and apparatus for displaying content on a display of an electronic device during different device operating modes
US20150286391A1 (en) 2014-04-08 2015-10-08 Olio Devices, Inc. System and method for smart watch navigation
CN103677520B (zh) 2013-12-04 2017-07-21 深圳市朗强科技有限公司 基于Android平台的应用程序评论方法及装置
KR102114616B1 (ko) 2013-12-06 2020-05-25 엘지전자 주식회사 스마트 와치 및 제어 방법
US9785794B2 (en) * 2013-12-12 2017-10-10 Citrix Systems, Inc. Securing sensitive data on a mobile device
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションImmersion Corporation 触覚通知を提供するシステム及び方法
US10033679B2 (en) 2013-12-31 2018-07-24 Google Llc Systems and methods for displaying unseen labels in a clustering in-box environment
US8811951B1 (en) 2014-01-07 2014-08-19 Google Inc. Managing display of private information
CN104811423B (zh) 2014-01-24 2019-03-01 腾讯科技(深圳)有限公司 位置信息的共享方法和装置
US20150227245A1 (en) 2014-02-10 2015-08-13 Polyera Corporation Attachable Device with Flexible Electronic Display Orientation Detection
US9483529B1 (en) * 2014-02-14 2016-11-01 Twitter, Inc. Selection and presentation of unviewed messages
CN103793075B (zh) 2014-02-14 2017-02-15 北京君正集成电路股份有限公司 一种应用在智能手表上的识别方法
US9772985B2 (en) 2014-02-28 2017-09-26 Microsoft Technology Licensing, Llc Communications control for resource constrained devices
CN104123333B (zh) 2014-03-17 2017-02-15 腾讯科技(深圳)有限公司 用于位置共享的数据处理方法和装置
US20150264303A1 (en) * 2014-03-17 2015-09-17 Microsoft Corporation Stop Recording and Send Using a Single Action
US9722962B2 (en) 2014-03-21 2017-08-01 Facebook, Inc. Providing message status notifications during electronic messaging
KR20160143752A (ko) 2014-04-04 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능한 애플리케이션 표시 및 태스크바
US20150301506A1 (en) 2014-04-22 2015-10-22 Fahad Koumaiha Transparent capacitive touchscreen device overlying a mechanical component
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技(深圳)有限公司 地理位置展示方法及装置
US10845982B2 (en) * 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
GB201408408D0 (en) * 2014-05-12 2014-06-25 Tomlinson Martin Method and apparatus for time limited messages in packet communications
US9614804B2 (en) 2014-05-16 2017-04-04 Dropbox, Inc. Managing messages based on expiration dates
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
DE212015000194U1 (de) 2014-08-06 2017-05-31 Apple Inc. Verkleinerte Benutzeroberflächen für Batteriemanagement
EP3189406A2 (en) 2014-09-02 2017-07-12 Apple Inc. Phone user interface
WO2016036546A2 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced-size notification interface
KR102016160B1 (ko) 2014-09-02 2019-08-29 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
US20160073223A1 (en) 2014-09-10 2016-03-10 Microsoft Corporation Real-time location sharing to facilitate a physical meet-up
KR20160067426A (ko) * 2014-12-04 2016-06-14 삼성전자주식회사 메시지 송수신 장치 및 메시지 송수신 방법
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164219A1 (en) * 2007-12-19 2009-06-25 Enbiomedic Accelerometer-Based Control of Wearable Devices
CN103583031A (zh) * 2011-06-03 2014-02-12 苹果公司 基于运动的设备操作
CN103959751A (zh) * 2011-09-30 2014-07-30 苹果公司 自动调整用户界面以用于免提交互
CN103309606A (zh) * 2012-03-02 2013-09-18 三星电子株式会社 操作与音频录制功能配合的备忘录功能的系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305459A (zh) * 2016-04-25 2017-10-31 阿里巴巴集团控股有限公司 语音和多媒体消息的发送方法及装置

Also Published As

Publication number Publication date
AU2015100713A4 (en) 2015-06-25
US20150346912A1 (en) 2015-12-03
AU2015267259A1 (en) 2016-10-06
JP2020205588A (ja) 2020-12-24
AU2016102029B4 (en) 2017-06-15
US10592072B2 (en) 2020-03-17
AU2018203215A1 (en) 2018-05-31
EP3108423A1 (en) 2016-12-28
JP2017529008A (ja) 2017-09-28
AU2015100711A4 (en) 2015-06-25
HK1216555A1 (zh) 2016-11-18
JP6286615B2 (ja) 2018-02-28
CN204946542U (zh) 2016-01-06
CN105183442B (zh) 2019-03-08
US20170220212A1 (en) 2017-08-03
DE202015003916U1 (de) 2015-10-08
JP6500093B2 (ja) 2019-04-10
AU2015267260A1 (en) 2016-10-06
AU2015100713B4 (en) 2015-07-30
HK1216556A1 (zh) 2016-11-18
EP3217341A1 (en) 2017-09-13
US20170083202A1 (en) 2017-03-23
DE202015003860U1 (de) 2015-10-09
JP6734419B2 (ja) 2020-08-05
CN107122049A (zh) 2017-09-01
CN205263700U (zh) 2016-05-25
EP3108422A1 (en) 2016-12-28
US20200348807A1 (en) 2020-11-05
DE202015009347U1 (de) 2017-03-10
US9207835B1 (en) 2015-12-08
US20160054841A1 (en) 2016-02-25
AU2018203215B2 (en) 2019-12-05
AU2016102029A4 (en) 2016-12-22
JP2017521804A (ja) 2017-08-03
US10564807B2 (en) 2020-02-18
AU2015100711B4 (en) 2016-01-14
JP2018125001A (ja) 2018-08-09
US20150350141A1 (en) 2015-12-03
AU2015267260B2 (en) 2018-02-08
CN105183442A (zh) 2015-12-23
JP6793868B1 (ja) 2020-12-02
US20170083189A1 (en) 2017-03-23
JP2019146184A (ja) 2019-08-29
DE202015009346U1 (de) 2017-03-10
AU2015267259B2 (en) 2018-02-08
AU2020201575B2 (en) 2021-03-25
AU2016102028B4 (en) 2017-07-27
US10416844B2 (en) 2019-09-17
AU2020201575A1 (en) 2020-03-19
CN105183443B (zh) 2019-03-22
US20150350130A1 (en) 2015-12-03
CN106575149A (zh) 2017-04-19
US9185062B1 (en) 2015-11-10
AU2016102028A4 (en) 2016-12-22
US10732795B2 (en) 2020-08-04
JP6554570B2 (ja) 2019-07-31

Similar Documents

Publication Publication Date Title
AU2020201575B2 (en) Message user interfaces for capture and transmittal of media and location content
JP6505292B2 (ja) 視覚及び/又は触覚フィードバックを用いてユーザインタフェースオブジェクトを操作するためのデバイス、方法、及びグラフィカルユーザインタフェース
AU2018200705B2 (en) Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
JP6464299B2 (ja) アラートを管理するための小型インターフェース
JP6549754B2 (ja) 同時にオープンしているソフトウェアアプリケーションを管理するためのジェスチャグラフィカルユーザインタフェース
AU2019206119B2 (en) Displaying interactive notifications on touch sensitive devices
JP6553118B2 (ja) 連続性
CN106249909B (zh) 语言输入校正
JP6778739B2 (ja) インテリジェントなデバイス識別
CN105955641B (zh) 用于与对象交互的设备、方法和图形用户界面
CN107637055B (zh) 用于提供通知并与通知进行交互的设备和方法
TWI617968B (zh) 用於組態一電子裝置之方法、電子裝置及非暫時性電腦可讀儲存媒體
US20180088787A1 (en) Image data for enhanced user interactions
CN205427823U (zh) 电子设备与用于执行文本选择操作的装置
CN205427822U (zh) 电子设备与用于编辑文本的装置
KR102124285B1 (ko) 정황상 관련있는 미디어 콘텐츠를 검색하기 위한 사용자 인터페이스들
CN109061985B (zh) 用于相机效果的用户界面
CN205942663U (zh) 电子设备和用于移动堆中的用户界面表示的装置
US20190003849A1 (en) User interactions for a mapping application
CN205608689U (zh) 电子设备以及用于与用户界面元件交互的装置
CN108353126B (zh) 处理相机的内容的方法、电子设备和计算机可读存储介质
KR20200008050A (ko) 상황 특정 사용자 인터페이스
CN106416210B (zh) 设备之间电话呼叫路由的方法、电子设备和计算机可读存储介质
KR101774679B1 (ko) 미디어 항목들의 컬렉션을 정리하여 제시하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN105264477B (zh) 用于移动用户界面对象的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1216555

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant