KR102636000B1 - 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용 - Google Patents

그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용 Download PDF

Info

Publication number
KR102636000B1
KR102636000B1 KR1020237008767A KR20237008767A KR102636000B1 KR 102636000 B1 KR102636000 B1 KR 102636000B1 KR 1020237008767 A KR1020237008767 A KR 1020237008767A KR 20237008767 A KR20237008767 A KR 20237008767A KR 102636000 B1 KR102636000 B1 KR 102636000B1
Authority
KR
South Korea
Prior art keywords
message
user
display
messaging
input
Prior art date
Application number
KR1020237008767A
Other languages
English (en)
Other versions
KR20230042137A (ko
Inventor
임란 에이. 차우드리
프레디 에이. 안주레스
리차드 알. 델린저
브래들리 더블유. 그리핀
티파니 에스. 존
차나카 지. 카루나무니
니콜라스 브이. 킹
다아문 모세니
호안 팜
윌리엄 엠. 타일러
완 시 완
지안카를로 여키스
베다니 비. 코놀리
다린 비. 애들러
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201670636A external-priority patent/DK180169B1/en
Priority claimed from US15/272,399 external-priority patent/US9959037B2/en
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020247004154A priority Critical patent/KR20240023200A/ko
Priority claimed from PCT/US2017/033396 external-priority patent/WO2017201326A1/en
Publication of KR20230042137A publication Critical patent/KR20230042137A/ko
Application granted granted Critical
Publication of KR102636000B1 publication Critical patent/KR102636000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/197—Version control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/063—Content adaptation, e.g. replacement of unsuitable content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Abstract

메시징을 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 개시되었고, 다음을 위한 개선된 방식들을 포함한다: 메시지 확인응답; 이전 전송 메시지의 편집; 사용자가 전달하고자 하는 바의 표현; 비공개 메시지의 디스플레이; 사용자 간 콘텐츠 뷰잉 동기화; 수기 입력의 통합; 메시지 트랜스크립트 내의 신속한 콘텐츠 위치찾기; 카메라 통합; 검색 및 공유 통합; 대화형 애플리케이션들의 통합; 스티커들의 통합; 결제하기; 아바타와의 상호작용; 제안하기; 대화형 애플리케이션들 사이로의 내비게이션; 대화형 애플리케이션 관리; 외국어 텍스트 번역; 메시지들의 그룹 조합; 및 메시지 플래깅.

Description

그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용{APPLYING ACKNOWLEDGEMENT OF OPTIONS IN A GRAPHICAL MESSAGING USER INTERFACE}
본원은 일반적으로, 인스턴트 메시지들과 같은 메시지들을 전송 및 수신하는 터치 감응형 표면을 갖는 전자 디바이스들을 포함하지만 이로 제한되지 않는, 터치 감응형 표면을 갖는 전자 디바이스들에 관한 것이다.
컴퓨터들 및 다른 전자 컴퓨팅 디바이스들을 위한 입력 디바이스들로서의 터치 감응형 표면들의 사용이 최근에 현저히 증가되어 왔다. 예시적인 터치 감응형 표면들은 터치패드들 및 터치 스크린 디스플레이들을 포함한다. 그러한 디바이스들은 메시징 애플리케이션들을 사용하는 사용자들 사이에서 인스턴트 메시지들과 같은 메시지들을 전송하는 데 자주 사용된다.
그러나 현재의 메시징 애플리케이션들에는 많은 결점들과 한계들이 있다. 예를 들어, 이들은 다음을 용이하게 할 수 있는 능력이 제한되어 있다: 메시지 확인응답(acknowledge); 이전 전송 메시지의 편집; 사용자가 전달하고자 하는 바의 표현; 비공개 메시지의 디스플레이; 사용자 간 콘텐츠 뷰잉 동기화; 수기(handwritten) 입력의 통합; 메시지 트랜스크립트(message transcript) 내의 신속한 콘텐츠 위치찾기(locate); 카메라 통합; 검색 및 공유 통합; 대화형 애플리케이션들의 통합; 스티커들의 통합; 결제하기; 아바타와의 상호작용; 제안하기; 대화형 애플리케이션들 사이로의 내비게이션; 대화형 애플리케이션 관리; 외국어 텍스트 번역; 메시지들의 그룹 조합; 및 메시지 플래깅.
따라서, 메시징을 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징을 위한 종래의 방법들을 옵션적으로 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 변경하고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전 간격을 증가시킨다.
터치 감응형 표면들을 갖는 전자 디바이스들에 대한 사용자 인터페이스들과 연관된 상기 결점들 및 다른 문제점들이 개시된 디바이스들에 의해 감소되거나 제거된다. 일부 실시예들에서, 디바이스는 데스크톱 컴퓨터이다. 일부 실시예들에서, 디바이스는 휴대용(예컨대, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 디바이스는 개인용 전자 디바이스(예컨대, 워치와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 디바이스는 터치패드를 갖는다. 일부 실시예들에서, 디바이스는 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 디바이스는 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리 및 다수의 기능들을 수행하기 위해 메모리에 저장된 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 주로 터치 감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 기능들은 옵션적으로, 이미지 편집, 그리기, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 노트 테이킹 및/또는 디지털 비디오 재생을 포함한다. 이들 기능을 수행하기 위한 실행 가능한 명령어들은 옵션적으로, 비일시적 컴퓨터 판독가능 저장 매체 또는 하나 이상의 프로세서들에 의한 실행을 위해 구성된 다른 컴퓨터 프로그램 제품에 포함된다.
대화 트랜스크립트(conversation transcript) 내의 메시지 구역에 확인응답을 적용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 대화 트랜스크립트 내의 메시지 구역에 확인응답을 적용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 전자 디바이스의 디스플레이 상에 디스플레이된 대화 트랜스크립트 내의 메시지 구역에 확인응답을 적용하는 방법은, 디스플레이 상에 (예컨대, 메시징 애플리케이션의) 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자(other user) 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 방법은 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스(예컨대, 제2 전자 디바이스)로부터 제1 메시지를 수신하는 단계, 및 제1 메시지를 수신하는 것에 응답하여, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하는 단계를 더 포함한다. 전자 디바이스는 대화 트랜스크립트 내의 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉에 의한 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 대응되는 메시징 인터페이스 내의 위치에 확인응답 선택 어포던스를 디스플레이하며, 확인응답 선택 어포던스는 복수의 확인응답 옵션들을 디스플레이한다. 다음으로, 방법은 확인응답 선택 어포던스 내의 제1 확인응답 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하는 단계, 및 제2 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 제1 확인응답 옵션을 적용하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함 -, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하고; 제1 메시지를 수신하는 것에 응답하여, 디스플레이 유닛 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하도록 구성된다. 프로세싱 유닛은 대화 트랜스크립트 내의 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 유닛 상의 위치에서 제1 접촉에 의한 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 대응되는 메시징 인터페이스 내의 위치에 확인응답 선택 어포던스를 디스플레이하도록 더 구성되며, 확인응답 선택 어포던스는 복수의 확인응답 옵션들을 디스플레이한다. 프로세싱 유닛은 확인응답 선택 어포던스 내의 제1 확인응답 옵션의 위치에 대응되는 터치 감응형 표면 유닛 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하고; 제2 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 제1 확인응답 옵션을 적용하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 대화 트랜스크립트 내의 메시지 구역에 확인응답을 적용하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 대화 트랜스크립트 내의 메시지 구역에 확인응답을 적용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
전송된 메시지들을 편집하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 전송된 메시지들을 편집하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스(예컨대, 제1 전자 디바이스)에서 수행되는 메시지들의 편집 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 사용자의 전자 디바이스로부터 메시징 세션 내의 적어도 하나의 타 사용자로 전송된 메시징 세션 내의 제1 메시지를 포함하는 제1 메시지 구역을 포함한다. 방법은 제1 메시지를 편집하라는 요청에 대응되는 제1 입력을 검출하는 단계, 및 제1 입력을 검출하는 것에 응답하여, 제1 메시지, 키보드 및 업데이트 어포던스를 포함하는, 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 단계, 및 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 동안, 제1 메시지를 개정(revise)하는 하나 이상의 입력들을 검출하는 단계, 제1 메시지의 개정된 버전을 디스플레이하는 단계; 및 업데이트 어포던스를 활성화하는 입력을 검출하는 단계를 더 포함한다.
방법은, 업데이트 어포던스를 활성화하는 입력을 검출하는 것에 응답하여: 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 것을 중지하는 단계; 제1 메시지 대신에 제1 메시지의 개정된 버전을 대화 트랜스크립트 내에 디스플레이하는 단계; 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시를 디스플레이하는 단계; 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 메시지의 개정된 버전을 송신하는 단계를 더 포함하며, 하나 이상의 전자 디바이스들은 제1 메시지 대신에 제1 메시지의 개정된 버전을 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 사용자의 전자 디바이스로부터 메시징 세션 내의 적어도 하나의 타 사용자로 전송된 메시징 세션 내의 제1 메시지를 포함하는 제1 메시지 구역을 포함한다. 프로세싱 유닛은: 제1 메시지를 편집하라는 요청에 대응되는 제1 입력을 검출하고; 제1 입력을 검출하는 것에 응답하여, 제1 메시지, 키보드 및 업데이트 어포던스를 포함하는, 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하도록 구성된다. 프로세싱 유닛은, 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 동안, 제1 메시지를 개정하는 하나 이상의 입력들을 검출하고; 제1 메시지의 개정된 버전을 디스플레이하고; 업데이트 어포던스를 활성화하는 입력을 검출하고; 업데이트 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 것을 중지하고; 제1 메시지 대신에 제1 메시지의 개정된 버전을 대화 트랜스크립트 내에 디스플레이하고; 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시를 디스플레이하고; 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 메시지의 개정된 버전을 송신하도록 더 구성된다. 하나 이상의 전자 디바이스들은 제1 메시지 대신에 제1 메시지의 개정된 버전을, 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 전송된 메시지들을 편집하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 전송된 메시지들을 편집하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
전송된 메시지의 버전들을 디스플레이하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 전송된 메시지의 버전들을 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 수행되는 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시징 세션 내의 제1 메시지의 현재 버전을 포함하는 제1 메시지 구역을 포함하며, 대화 트랜스크립트는 제1 메시지의 현재 버전이 대화 트랜스크립트 내의 제1 메시지의 개정된 버전이라는 표시를 포함한다. 방법은 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 단계; 및 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 현재 버전 및 제1 메시지의 하나 이상의 이전 버전들을 포함하는 버전 사용자 인터페이스를 디스플레이하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시징 세션 내의 제1 메시지의 현재 버전을 포함하는 제1 메시지 구역을 포함하며, 대화 트랜스크립트는 제1 메시지의 현재 버전이 대화 트랜스크립트 내의 제1 메시지의 개정된 버전이라는 표시를 포함한다. 프로세싱 유닛은 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하고; 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 현재 버전 및 제1 메시지의 하나 이상의 이전 버전들을 포함하는 버전 사용자 인터페이스를 디스플레이하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 전송된 메시지의 버전들을 디스플레이하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 전송된 메시지의 버전들을 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시지에 대한 임팩트 효과를 선택하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시지에 대한 임팩트 효과를 선택하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 수행되는 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 제1 메시지 입력을 포함하는 메시지 입력 영역을 포함한다. 방법은, 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시지 입력 영역 내의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉에 의한 제1 입력을 검출하는 단계; 제1 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 단계; 임팩트 선택 인터페이스를 디스플레이하는 동안, 복수의 임팩트 효과 옵션들 중 제1 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하는 단계; 및 제2 접촉에 의한 제2 사용자 입력을 검출하는 것에 응답하여, 제1 메시지 입력에 제1 임팩트 효과 옵션을 적용하는 미리보기를 디스플레이하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 제1 메시지 입력을 포함하는 메시지 입력 영역을 포함한다. 프로세싱 유닛은: 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시지 입력 영역 내의 위치에 대응되는 터치 감응형 표면 유닛 상의 위치에서 제1 접촉에 의한 제1 입력을 검출하고; 제1 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하도록 구성된다. 프로세싱 유닛은: 임팩트 선택 인터페이스를 디스플레이하는 동안, 복수의 임팩트 효과 옵션들 중 제1 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 유닛 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하고; 제2 접촉에 의한 제2 사용자 입력을 검출하는 것에 응답하여, 제1 메시지 입력에 제1 임팩트 효과 옵션을 적용하는 미리보기를 디스플레이하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시지에 대한 임팩트 효과를 선택하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 메시지에 대한 임팩트 효과를 선택하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시지를 은폐하고 노출하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시지를 은폐하고 노출하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 수행되는 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 제1 타 사용자로부터 수신된 메시지에 대한 상기 대화 트랜스크립트 내의 메시지 구역을 포함하며, 메시지 구역은 제1 타 사용자로부터 수신된 메시지를 은폐하는 하나 이상의 스크린 요소들을 포함한다. 방법은 은폐된 메시지를 갖는 메시지 구역에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 제1 입력을 검출하는 단계; 및 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 메시지 구역 내의 은폐된 메시지를 노출하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 제1 타 사용자로부터 수신된 메시지에 대한 상기 대화 트랜스크립트 내의 메시지 구역을 포함하며, 메시지 구역은 제1 타 사용자로부터 수신된 메시지를 은폐하는 하나 이상의 스크린 요소들을 포함한다. 프로세싱 유닛은: 은폐된 메시지를 갖는 메시지 구역에 대응되는 터치 감응형 표면 유닛 상의 위치에서 접촉에 의한 제1 입력을 검출하고; 접촉에 의한 제1 입력을 검출하는 것에 응답하여 메시지 구역 내의 은폐된 메시지를 노출하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시지를 은폐하거나 노출하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 메시지를 은폐하고 노출하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 향상된 메시지 콘텐츠를 디스플레이하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 향상된 메시지 콘텐츠를 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 수행되는 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함 -, 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하는 단계, 및 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 결정하는 단계를 포함한다. 방법은 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함한다는 결정에 따라, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하는 단계, 및 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 단계를 더 포함하며, 향상된 메시지 콘텐츠는 대화 트랜스크립트 내의 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 콘텐츠를 포함한다. 방법은 또한, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하지 않는다는 결정에 따라, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 (예컨대, 향상된 메시지 콘텐츠 없이) 제1 메시지를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 프로세싱 유닛은 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하고, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 결정하도록 구성된다. 프로세싱 유닛은, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함한다는 결정에 따라, 디스플레이 유닛 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하고, 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하도록 더 구성되며, 향상된 메시지 콘텐츠는 대화 트랜스크립트 내의 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 콘텐츠를 포함한다. 또한, 프로세싱 유닛은, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하지 않는다는 결정에 따라, 디스플레이 유닛 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 향상된 메시지 콘텐츠를 디스플레이하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 향상된 메시지 콘텐츠를 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션에 조합가능한 콘텐츠를 디스플레이하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 조합가능한 콘텐츠를 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 수행되는 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시지 입력 영역을 포함한다. 방법은 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하는 단계 - 제1 메시지는 제1 조합가능한 콘텐츠를 포함함 -, 제1 메시지를 수신하는 것에 응답하여, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하는 단계, 메시지 입력 영역 내에 제2 메시지의 입력을 수신하는 단계, 및 제2 메시지가 메시지 입력 영역 내에 디스플레이되는 동안, 제2 메시지를 메시징 세션으로 전송하기 위한 입력을 검출하는 단계를 더 포함한다. 방법은, 제2 메시지를 메시징 세션으로 전송하기 위한 입력을 검출하는 것에 응답하여: 제2 메시지가 제2 조합가능한 콘텐츠를 포함하며 제2 조합가능한 콘텐츠 및 제1 조합가능한 콘텐츠가 미리 정의된 조합의 부분들이라는 결정에 따라, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이 상의 대화 트랜스크립트 내에 디스플레이하는 단계; 및 제2 메시지가 제1 조합가능한 콘텐츠와 미리 정의된 조합을 형성하는 제2 조합가능한 콘텐츠를 포함하지 않는다는 결정에 따라, 디스플레이 상의 대화 트랜스크립트 내의 제2 메시지 구역 내에 (예컨대, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이 상의 대화 트랜스크립트 내에 디스플레이하지 않고) 제2 메시지를 디스플레이하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시지 입력 영역을 포함한다. 프로세싱 유닛은: 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하고 - 제1 메시지는 제1 조합가능한 콘텐츠를 포함함 -; 제1 메시지를 수신하는 것에 응답하여, 디스플레이 유닛 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하고; 메시지 입력 영역 내에 제2 메시지의 입력을 수신하고; 제2 메시지가 메시지 입력 영역 내에 디스플레이되는 동안, 제2 메시지를 메시징 세션으로 전송하기 위한 입력을 검출하도록 구성된다. 프로세싱 유닛은, 제2 메시지를 메시징 세션으로 전송하기 위한 입력을 검출하는 것에 응답하여: 제2 메시지가 제2 조합가능한 콘텐츠를 포함하며 제2 조합가능한 콘텐츠 및 제1 조합가능한 콘텐츠가 미리 정의된 조합의 부분들이라는 결정에 따라, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이 유닛 상의 대화 트랜스크립트 내에 디스플레이하고; 제2 메시지가 제1 조합가능한 콘텐츠와 미리 정의된 조합을 형성하는 제2 조합가능한 콘텐츠를 포함하지 않는다는 결정에 따라, 디스플레이 유닛 상의 대화 트랜스크립트 내의 제2 메시지 구역 내에 제2 메시지를 디스플레이하도록(즉, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이 상의 대화 트랜스크립트 내에 디스플레이하지 않음) 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 조합가능한 콘텐츠를 디스플레이하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 조합가능한 콘텐츠를 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 미디어 프레젠테이션을 동기화하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 옵션적으로 메시징 애플리케이션 내의 미디어 프레젠테이션을 동기화하기 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은 사용자들로 하여금 메시징 애플리케이션 내의 미디어 콘텐츠를 직접 동기화된 방식으로 (또한 미디어 콘텐츠를 보고 있는 다른 사용자와 함께 위치할 필요 없이, 그리고 동기화된 뷰잉을 인에이블하기 위해 비효율적인 기술들을 사용할 필요 없이) 용이하게 뷰잉하도록 허용함으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 그들의 디바이스들에 대한 사용자 만족을 증가시키고, 전력을 절약하며, 배터리 충전 간격을 증가시킨다. 또한, 사용자들로 하여금 메시징 애플리케이션 내의 직접 동기화된 방식으로 미디어 콘텐츠를 용이하게 뷰잉하도록 허용하는 것은 장치의 조작성을 향상시키고 (예컨대, 미디어 아이템들의 효율적인 동기화된 뷰잉을 허용함으로써) (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스를 보다 효율적이게 하며, 이는 추가적으로, 사용자가 디바이스를 보다 신속하게 효율적으로 사용할 수 있게 함으로써 전력 사용을 감소시키고 디바이스의 배터리 수명을 개선한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에, 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 제1 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 일부 실시예들에서, 대화 트랜스크립트는 대화 트랜스크립트 내의 시간순서적(chronological) 위치에 디스플레이되는 미디어 아이템의 표현을 포함하며, 메시징 세션은 제1 전자 디바이스에서의 사용자와 제1 전자 디바이스와 구별되는 제2 전자 디바이스에서의 적어도 하나의 타 사용자에 의한 미디어 아이템의 동기화된 뷰잉을 허용하도록 구성된다. 방법은 또한: 메시징 사용자 인터페이스 내에서 미디어 아이템의 동기화된 뷰잉을 위한 제1 요청을 수신하는 단계를 포함한다. 제1 요청을 수신하는 것에 응답하여, 방법은: 대화 트랜스크립트 내에서 미디어 아이템의 표현이 시간순서적 위치에 디스플레이되는 동안 미디어 아이템에 대응되는 콘텐츠의 재생을 개시하는 단계를 포함한다. 미디어 아이템에 대응되는 콘텐츠의 재생을 개시한 후, 방법은: 시간순서적 위치와 상이한 메시징 사용자 인터페이스 내의 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하는 단계를 포함한다. 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하는 동안, 방법은: 미디어 아이템에 대응되는 재생 콘텐츠 아래에 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들을 디스플레이하는 단계; 및 미디어 아이템에 대응되는 콘텐츠의 끝을 검출하는 단계를 포함한다. 미디어 아이템에 대응되는 콘텐츠의 끝을 검출하는 것에 응답하여, 방법은: 고정된 위치에 미디어 아이템에 대응되는 콘텐츠를 디스플레이하는 것을 중지하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스(예컨대, 도 22의 전자 디바이스(2200))는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 수신하기 위한 터치 감응형 표면 유닛, 터치 감응형 표면 유닛과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛들과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은(또는 도 22에 도시된 유닛들(2210 내지 2216)과 같은 프로세싱 유닛의 하나 이상의 컴포넌트들은) 디스플레이 상에, 메시징 사용자 인터페이스를 디스플레이하도록 구성되며, 메시징 사용자 인터페이스는 제1 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 일부 실시예들에서, 대화 트랜스크립트는 대화 트랜스크립트 내의 시간순서적 위치에 디스플레이되는 미디어 아이템의 표현을 포함하며, 메시징 세션은 제1 전자 디바이스에서의 사용자와 제1 전자 디바이스와 구별되는 제2 전자 디바이스에서의 적어도 하나의 타 사용자에 의한 미디어 아이템의 동기화된 뷰잉을 허용하도록 구성된다. 프로세싱 유닛은 또한: 메시징 사용자 인터페이스 내에서 미디어 아이템의 동기화된 뷰잉을 위한 제1 요청을 수신하고, 제1 요청을 수신하는 것에 응답하여, 대화 트랜스크립트 내에서 미디어 아이템의 표현이 시간순서적 위치에 디스플레이되는 동안, 미디어 아이템에 대응되는 콘텐츠의 재생을 개시하도록 구성된다. 프로세싱 유닛은: 미디어 아이템에 대응되는 콘텐츠의 재생을 개시한 후, 시간순서적 위치와 상이한 메시징 사용자 인터페이스 내의 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하도록 구성된다. 프로세싱 유닛은: 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하는 동안, 미디어 아이템에 대응되는 재생 콘텐츠 아래에 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들을 디스플레이하고; 미디어 아이템에 대응되는 콘텐츠의 끝을 검출하도록 구성된다. 프로세싱 유닛은: 미디어 아이템에 대응되는 콘텐츠의 끝을 검출하는 것에 응답하여, 고정된 위치에 미디어 아이템에 대응되는 콘텐츠를 디스플레이하는 것을 중지하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내에서 미디어 콘텐츠를 동기화된 방식으로 뷰잉하기 위한 보다 빠르고 더 효율적인 방법들 및 인터페이스들을 구비함으로써, 그러한 장치에 대한 유효성, 효율성, 조작성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 미디어를 뷰잉하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 수기 입력을 사용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 옵션적으로 메시징 애플리케이션 내에 메시지들을 입력하기(enter) 위한 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은 사용자들로 하여금 예컨대 수기 입력들을 입력하는 것을 시작하기 위해 그들의 디바이스를 단순히 회전시키도록 허용함으로써, 사용자들로 하여금 그들의 디바이스들에 대한 사용자 만족을 개선하고 보다 효율적인 인간-기계 인터페이스를 생성하는 것을 돕는다. 그러한 방법들 및 인터페이스들은 또한 타이핑된 입력들을 수기 입력들로 자동 대체하도록 허용하고, 또한 사용자들로 하여금 수기 문자들이 키들로서 구비되는 키보드들을 직관적으로 생성하도록 허용하여 그에 따라 디바이스들의 조작성을 개선함으로써, 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전 간격을 증가시킨다. 또한 사용자들로 하여금 수기 입력들을 입력하고, 타이핑된 입력들을 자동 대체하고, 수기 문자들이 키들로서 구비되는 키보드들을 생성하는 것을 시작하기 위해 그들의 디바이스들을 단순히 회전하도록 허용하는 것은 모두 디바이스들의 조작성을 향상시키고, (예컨대, 사용자들로 하여금 수기 입력들을 이용하여 메시지 콘텐츠를 용이하게 맞춤화하도록 허용함으로써) (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스들을 보다 효율적으로 만드는데 기여하고, 이는 추가적으로 사용자로 하여금 보다 신속하게 효율적으로 디바이스를 사용할 수 있게 함으로써 전력 사용을 줄이고 디바이스의 배터리 수명을 개선시킨다. 예를 들어 사용자는 수기 입력들을 입력하거나 위치찾기하기 위해 메시징 애플리케이션을 나가서 상이한 애플리케이션을 열고 사용하고, 이어서 그러한 입력들을 메시징 애플리케이션 내에서 사용하기 위해 복귀할 필요가 없다. 대신, 사용자는 단순히 메시징 애플리케이션 내의 맞춤 수기 입력들을 직접 제공하고/하거나 선택한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 전자 디바이스가 세로 배향(portrait orientation)에 있는 동안, 디스플레이 상에, 메시징 사용자 인터페이스 - 메시징 사용자 인터페이스는 가상 키보드를 포함함 - 를 디스플레이하는 단계를 포함한다. 방법은 또한: 세로 배향으로부터 가로 배향으로의 전자 디바이스의 배향의 변경을 검출하는 단계; 및 전자 디바이스의 배향의 변경을 검출하는 것에 응답하여: 가상 키보드를 디스플레이하는 것을 중지하고, 디스플레이 상에, 전자 디바이스의 사용자로부터의 수기 입력을 수용하도록 구성된 수기 입력 영역을 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 수신하기 위한 터치 감응형 표면 유닛, 터치 감응형 표면 유닛과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛들과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 전자 디바이스가 세로 배향에 있는 동안, 디스플레이 상에, 메시징 사용자 인터페이스 - 메시징 사용자 인터페이스는 가상 키보드를 포함함 - 를 디스플레이하고; 세로 배향으로부터 가로 배향으로의 전자 디바이스의 배향의 변경을 검출하고; 전자 디바이스의 배향의 변경을 검출하는 것에 응답하여: 가상 키보드를 디스플레이하는 것을 중지하고; 디스플레이 상에, 전자 디바이스의 사용자로부터의 수기 입력을 수용하도록 구성된 수기 입력 영역을 디스플레이하도록 구성된다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에: 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 가상 키보드 및 메시지 입력 영역을 포함한다. 방법은 또한: 가상 키보드에서, 복수의 타이핑 입력들을 수신하는 단계를 포함한다. 복수의 타이핑 입력들을 수신하는 동안, 방법은: 복수의 타이핑 입력들 중 하나 이상의 타이핑 입력들이 사용자로부터의 저장된 수기 입력과 연관된 문자들의 저장된 시퀀스와 일치하는지 결정하는 단계를 포함한다. 하나 이상의 타이핑 입력들이 문자들의 저장된 시퀀스와 일치한다는 결정에 따라, 방법은: 메시지 입력 영역 내에서 디스플레이되는 문자들의 제1 세트에 근접한 제1 위치에, 저장된 수기 입력의 선택가능한 표현을 디스플레이하는 단계를 포함한다. 일부 실시예들에서, 문자들의 제1 세트는 메시지 입력 영역 내에서 디스플레이되고, 문자들의 저장된 시퀀스와 일치하는 하나 이상의 타이핑 입력들에 대응되는 문자들을 포함한다. 방법은 또한: 터치 감응형 표면을 통해, 저장된 수기 입력의 선택가능한 표현의 선택을 검출하는 단계; 저장된 수기 입력의 선택가능한 표현의 선택을 검출하는 것에 응답하여: 제1 위치에 저장된 수기 입력의 선택가능한 표현을 디스플레이하는 것을 중지하는 단계; 및 메시지 입력 영역 내에서, 하나 이상의 타이핑 입력들에 대응되는 문자들의 제1 세트의 디스플레이를 저장된 수기 입력의 표현의 디스플레이로 대체하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 수신하기 위한 터치 감응형 표면 유닛, 터치 감응형 표면 유닛과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛들과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 상에: 메시징 사용자 인터페이스를 디스플레이하도록 구성되고, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 가상 키보드 및 메시지 입력 영역을 포함한다. 프로세싱 유닛은: 가상 키보드에서, 복수의 타이핑 입력들을 수신하고; 복수의 타이핑 입력들을 수신하는 동안, 복수의 타이핑 입력들 중 하나 이상의 타이핑 입력들이 사용자로부터의 저장된 수기 입력과 연관된 문자들의 저장된 시퀀스와 일치하는지 결정하고; 하나 이상의 타이핑 입력들이 문자들의 저장된 시퀀스와 일치한다는 결정에 따라, 메시지 입력 영역 내에서 디스플레이되는 문자들의 제1 세트에 근접한 제1 위치에서, 저장된 수기 입력의 선택가능한 표현을 디스플레이하고 - 문자들의 제1 세트는 메시지 입력 영역 내에서 디스플레이되고, 문자들의 저장된 시퀀스와 일치하는 하나 이상의 타이핑 입력들에 대응되는 문자들을 포함함 -; 터치 감응형 표면을 통해, 저장된 수기 입력의 선택가능한 표현의 선택을 검출하고; 저장된 수기 입력의 선택가능한 표현의 선택을 검출하는 것에 응답하여: 제1 위치에서 저장된 수기 입력의 선택가능한 표현을 디스플레이하는 것을 중지하고; 메시지 입력 영역 내에서, 하나 이상의 타이핑 입력들에 대응되는 문자들의 제1 세트의 디스플레이를 저장된 수기 입력의 표현의 디스플레이로 대체하도록 구성된다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 터치 감응형 표면을 통해 제1 입력을 검출하는 단계; 제1 입력을 검출하는 단계에 응답하여, 디스플레이 상에, 키보드 준비 사용자 인터페이스를 제시하는 단계; 키보드 준비 사용자 인터페이스를 제시하는 동안, 터치 감응형 표면을 통해, 트레이닝 문자들의 미리 정의된 세트(predefined set of training characters)에 대응되는 수기 입력들을 수신하는 단계; 수기 입력들을 수신한 후, 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하라는 요청에 대응되는 제2 입력을 검출하는 단계 - 복수의 키들 중 제1 키는 수신된 수기 입력들 중 제1 수기 입력과 연관됨 -; 제2 입력을 검출하는 것에 응답하여, 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하는 단계; 터치 감응형 표면을 통해, 제1 키의 선택을 수신하는 단계; 및 제1 키의 선택을 수신하는 것에 응답하여, 메시지 입력 영역 내에서 제1 수기 입력의 표현을 출력하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 수신하기 위한 터치 감응형 표면 유닛, 터치 감응형 표면 유닛과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛들과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 터치 감응형 표면을 통해, 제1 입력을 검출하고; 제1 입력을 검출하는 것에 응답하여, 디스플레이 상에, 키보드 준비 사용자 인터페이스를 제시하고; 키보드 준비 사용자 인터페이스를 제시하는 동안, 터치 감응형 표면을 통해, 트레이닝 문자들의 미리 정의된 세트에 대응되는 수기 입력들을 수신하고; 수기 입력들을 수신한 후, 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하라는 요청에 대응되는 제2 입력을 검출하고 - 복수의 키들 중 제1 키는 수신된 수기 입력들 중 제1 수기 입력과 연관됨 -; 제2 입력을 검출하는 것에 응답하여, 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하고; 터치 감응형 표면을 통해, 제1 키의 선택을 수신하고; 제1 키의 선택을 수신하는 것에 응답하여, 메시지 입력 영역 내에서 제1 수기 입력의 표현을 출력하도록 구성된다.
이와 같이, 디스플레이들, 터치 감응형 표면들 및 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 갖는 전자 디바이스들은 수기 메시지들을 위한 보다 빠르고 보다 효율적인 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시지들을 작성하고 제출하기 위한 기존의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 옵션적으로 종래의 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 콘텐츠에 대한 디스플레이 크기들을 신속하게 스케일 다운하기 위해 사용자들로 하여금 단순히 간단한 제스처를 활용하도록 허용하여 사용자들이 원하는 콘텐츠를 신속하게 위치찾기할 수 있게 함으로써 보다 효율적인 인간-기계 인터페이스를 생성한다(예컨대, 사용자들은 오래 전에 수신되었을 수 있는 이모지들, 사진들, 비디오들 또는 콘텐츠의 다른 유형들을 신속하게 위치찾기하기 위해 모든 텍스트 전용 콘텐츠를 스케일 다운할 수 있음). 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 (예컨대, 사용자들로 하여금 원하는 콘텐츠를 신속하게 위치찾기하도록 허용함으로써) 전력을 절약하고 배터리 충전 간격을 증가시킨다. 또한, 사용자들로 하여금 원하는 콘텐츠를 신속하게 위치찾기하도록 허용하는 것은 디바이스들의 조작성을 향상시키고, (예컨대, 사용자들로 하여금 잠재적으로 크고 검색하기 어려운 대화 트랜스크립트 내의 원하는 콘텐츠를 용이하게 위치찾기하도록 허용함으로써) (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스들을 보다 효율적이게 하며, 이는, 추가적으로, 사용자로 하여금 장치를 보다 신속하고 효율적으로 사용할 수 있게 하여 전력 사용을 감소시키고 디바이스의 배터리 수명을 개선한다(예컨대, 사용자는 대화 트랜스크립트 내의 콘텐츠를 수많은 페이지들에 걸쳐 스크롤할 필요 없이, 대신 원하는 콘텐츠가 용이하게 위치찾기될 수 있도록 콘텐츠를 용이하게 스케일 다운할 수 있는 직관적인 제스처들을 단순히 제공할 수 있음).
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함한다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하며, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 방법은: 터치 감응형 표면을 통해 제1 입력을 검출하는 단계를 포함한다. 제1 입력을 검출하는 것에 응답하여, 방법은: 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 그들 각자의 제1 크기로 디스플레이하는 것을 계속하는 동안 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 접촉들을 수신하기 위한 터치 감응형 표면 유닛, 터치 감응형 표면 유닛과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛들과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이하도록 구성된다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 적어도 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하며, 복수의 콘텐츠 아이템들은 적어도 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은: 터치 감응형 표면을 통해, 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 그들 각자의 제1 크기로 디스플레이하는 것을 계속하는 동안 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록 구성된다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함한다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하며, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 방법은: 터치 감응형 표면을 통해, 제1 입력을 검출하는 단계를 포함하고, 제1 입력을 검출하는 것에 응답하여, 방법은: 제1 콘텐츠 유형을 갖는 제1 콘텐츠 아이템이 각자의 제1 크기보다 미리 정의된 제1 디스플레이-크기-축소 비율만큼 작은 각자의 제2 크기로 축소되도록, 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하는 단계; 및 제2 콘텐츠 유형을 갖는 제2 콘텐츠 아이템이 각자의 제1 크기보다 미리 정의된 제2 디스플레이-크기-축소 비율만큼 작은 각자의 제3 크기로 축소되도록, 제2 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하는 단계를 포함한다. 일부 실시예들에서, 미리 정의된 제2 디스플레이-크기-축소 비율은 미리 정의된 제1 디스플레이-크기-축소 비율보다 작다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛 및 접촉들을 수신하기 위한 터치 감응형 표면 유닛, 터치 감응형 표면 유닛과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛들과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이하도록 구성된다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하며, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은: 터치 감응형 표면을 통해, 제1 입력을 검출하도록 구성된다. 제1 입력을 검출하는 것에 응답하여, 프로세싱 유닛은: 제1 콘텐츠 유형을 갖는 제1 콘텐츠 아이템이 각자의 제1 크기보다 미리 정의된 제1 디스플레이-크기-축소 비율만큼 작은 각자의 제2 크기로 축소되도록, 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하고; 제2 콘텐츠 유형을 갖는 제2 콘텐츠 아이템이 각자의 제1 크기보다 미리 정의된 제2 디스플레이-크기-축소 비율만큼 작은 각자의 제3 크기로 축소되도록, 제2 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록 구성된다. 일부 실시예들에서, 미리 정의된 제2 디스플레이-크기-축소 비율은 미리 정의된 제1 디스플레이-크기-축소 비율보다 작다.
이와 같이, 디스플레이들, 터치 감응형 표면들 및 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기하기 위한 신속하고 효율적인 방법들 및 인터페이스들을 구비함으로써 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다.
메시지 대화들 내의 이미지들(예컨대, 사진들)을 공유하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시지 대화들 내의 이미지들(예컨대, 사진들)을 공유하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이, 디지털 카메라, 터치 감응형 표면 및 메모리를 갖는 전자 디바이스에서 방법이 수행된다. 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 키보드, 메시지 입력 영역 및 디지털 이미지 어포던스를 포함한다. 방법은, 메시징 사용자 인터페이스를 디스플레이하는 동안, 디지털 이미지 어포던스를 활성화하는 입력을 검출하는 단계를 더 포함한다. 방법은, 디지털 이미지 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 키보드의 디스플레이를 복수의 디지털 이미지들의 디스플레이로 대체하는 단계를 더 포함하며, 복수의 디지털 이미지들은 메모리에 저장된 하나 이상의 디지털 이미지들 및 디지털 카메라로부터의 라이브 미리보기 이미지를 포함한다. 방법은 복수의 디지털 이미지들 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출하는 단계를 더 포함한다. 방법은, 라이브 이미지를 선택하는 그러한 입력을 검출하는 것에 응답하여, 대화 트랜스크립트의 디스플레이를 유지하는 동안 디지털 카메라를 이용하여 디지털 이미지를 캡처하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛, 이미지들을 캡처하도록 구성된 디지털 카메라 유닛, 터치 감응형 표면 유닛, 메모리 유닛, 및 디스플레이 유닛, 디지털 카메라 유닛, 터치 감응형 표면 유닛 및 메모리 유닛에 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 키보드, 메시지 입력 영역 및 디지털 이미지 어포던스를 포함한다. 프로세싱 유닛은, 메시징 사용자 인터페이스를 디스플레이하는 동안, 디지털 이미지 어포던스를 활성화하는 입력을 검출하도록 더 구성된다. 프로세싱 유닛은, 디지털 이미지 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 키보드의 디스플레이를 복수의 디지털 이미지들의 디스플레이로 대체하도록 더 구성되며, 복수의 디지털 이미지들은 메모리 유닛에 저장된 하나 이상의 디지털 이미지들 및 디지털 카메라 유닛으로부터의 라이브 미리보기 이미지를 포함한다. 프로세싱 유닛은 복수의 디지털 이미지들 내의 디스플레이된 라이브 이미지를 선택하는 입력을 검출하도록 더 구성된다. 프로세싱 유닛은, 라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트의 디스플레이를 유지하는 동안, 디지털 카메라 유닛을 이용하여 디지털 이미지를 캡처하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시지 대화들 내의 이미지들(예컨대, 사진들)을 공유하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시지 대화들 내의 이미지들(예컨대, 사진들)을 공유하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시지 대화들 내의 콘텐츠(예컨대, 인터넷으로부터의 콘텐츠 및 로컬 저장된 콘텐츠)를 검색 및 공유하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시지 대화들 내의 콘텐츠를 검색 및 공유하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하고, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 검색 어포던스를 포함한다. 방법은, 메시징 사용자 인터페이스를 디스플레이하는 동안, 검색 어포던스를 활성화하는 입력을 검출하는 단계를 더 포함한다. 방법은, 검색 어포던스를 활성화하는 입력을 검출하는 것에 응답하여: 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하는 단계, 및 검색 사용자 인터페이스를 디스플레이하는 단계를 더 포함하며, 검색 사용자 인터페이스는 검색 필드 및 복수의 카테고리화된 콘텐츠 아이템들을 포함하며, 복수의 카테고리화된 콘텐츠 아이템들은 적어도 전자 디바이스 상에 저장된 콘텐츠 아이템 및 인터넷으로부터의 콘텐츠 아이템을 포함한다. 방법은, 검색 사용자 인터페이스를 디스플레이하는 동안, 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 단계를 더 포함한다. 방법은, 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출한 후에: 검색 사용자 인터페이스를 디스플레이하는 것을 중지하는 단계, 메시징 사용자 인터페이스 내의 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이하는 단계, 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 콘텐츠 아이템을 송신하는 단계를 더 포함하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛, 터치 감응형 표면 유닛, 메모리 유닛, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 메모리 유닛에 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 검색 어포던스를 포함한다. 프로세싱 유닛은, 메시징 사용자 인터페이스를 디스플레이하는 동안, 검색 어포던스를 활성화하는 입력을 검출하도록 더 구성된다. 프로세싱 유닛은, 검색 어포던스를 활성화하는 입력을 검출하는 것에 응답하여: 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고, 검색 사용자 인터페이스를 디스플레이하도록 더 구성되며, 검색 사용자 인터페이스는 검색 필드 및 복수의 카테고리화된 콘텐츠 아이템들을 포함하고, 복수의 카테고리화된 콘텐츠 아이템들은 적어도 전자 디바이스 상에 저장된 콘텐츠 아이템 및 인터넷으로부터의 콘텐츠 아이템을 포함한다. 프로세싱 유닛은, 검색 사용자 인터페이스를 디스플레이하는 동안, 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하도록 더 구성된다. 프로세싱 유닛은, 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출한 후: 검색 사용자 인터페이스를 디스플레이하는 것을 중지하고, 메시징 사용자 인터페이스 내의 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이하고, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들에 제1 콘텐츠 아이템을 송신하도록 더 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시지 대화들 내의 공유 콘텐츠를 검색하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 대화들 내의 콘텐츠를 공유하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션에 대화형 애플리케이션을 추가하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션에 대화형 애플리케이션을 추가하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 애플리케이션 어포던스를 활성화하는 입력을 검출하는 단계; 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 애플리케이션 스토어에 대한 론칭 아이콘 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 동시에 디스플레이하는 단계 - 대화형 애플리케이션에 대한 각자의 론칭 아이콘의 활성화는 메시징 애플리케이션 내에서 디스플레이되는 대응되는 애플리케이션을 론칭함 -; 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 단계; 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여: 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고, 전자 디바이스에 다운로드 하는 데 이용가능한 적어도 하나의 대화형 애플리케이션의 디스플레이를 포함하는 애플리케이션 스토어 사용자 인터페이스를 디스플레이하는 단계; 애플리케이션 스토어 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스의 메모리에 저장되지 않은 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하는 단계; 및 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 전자 디바이스의 메모리에 제1 대화형 애플리케이션을 다운로드하는 단계; 애플리케이션 스토어 사용자 인터페이스의 디스플레이를 메시징 사용자 인터페이스의 디스플레이로 대체하는 단계 - 메시징 사용자 인터페이스는 대화 트랜스크립트 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘 중 적어도 일부를 포함함 -; 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이에 제1 대화형 애플리케이션에 대응되는 론칭 아이콘을 추가하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 애플리케이션 어포던스를 활성화하는 입력을 검출하고; 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 애플리케이션 스토어에 대한 론칭 아이콘 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이를 동시에 인에이블하고 - 대화형 애플리케이션에 대한 각자의 론칭 아이콘의 활성화는 메시징 애플리케이션 내에서 디스플레이되는 대응되는 애플리케이션을 론칭함 -; 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하고; 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여: 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고, 전자 디바이스에 다운로드 하는 데 이용가능한 적어도 하나의 대화형 애플리케이션의 디스플레이를 포함하는 애플리케이션 스토어 사용자 인터페이스의 디스플레이를 인에이블하고; 애플리케이션 스토어 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스의 메모리에 저장되지 않은 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하고; 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 전자 디바이스의 메모리에 제1 대화형 애플리케이션을 다운로드하고; 애플리케이션 스토어 사용자 인터페이스의 디스플레이를 메시징 사용자 인터페이스의 디스플레이로 대체하고 - 메시징 사용자 인터페이스는 대화 트랜스크립트 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘 중 적어도 일부를 포함함 -; 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이에 제1 대화형 애플리케이션에 대응되는 론칭 아이콘을 추가하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션에 대화형 애플리케이션을 추가하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 대화형 애플리케이션을 메시징 애플리케이션에 추가하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시지들을 게시하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시지들을 게시하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 제1 메시지 입력 영역, 및 대화형 애플리케이션에 대한 론칭 아이콘을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 단계; 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 단계 - 대화형 애플리케이션 사용자 인터페이스는 제1 메시지 입력 영역과 구별되는 제2 메시지 입력 영역을 포함함 -; 대화형 애플리케이션 사용자 인터페이스를 디스플레이하는 동안, 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하는 단계; 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하는 것에 응답하여, 제2 메시지 입력 영역 내에 제1 메시지를 디스플레이하는 단계; 제2 메시지 입력 영역 내에 제1 메시지를 디스플레이하는 동안, 메시징 세션에 제2 메시지 입력 영역의 콘텐츠를 게시하라는 요청에 대응되는 입력을 검출하는 단계; 및 메시징 세션에 제2 메시지 입력 영역의 콘텐츠를 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들에 제1 메시지를 송신하는 단계를 포함하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지를 디스플레이한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 제1 메시지 입력 영역, 및 대화형 애플리케이션에 대한 론칭 아이콘을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하고; 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하고 - 대화형 애플리케이션 사용자 인터페이스는 제1 메시지 입력 영역과 구별되는 제2 메시지 입력 영역을 포함함 -; 대화형 애플리케이션 사용자 인터페이스를 디스플레이하는 동안, 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하고; 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하는 것에 응답하여, 제2 메시지 입력 영역 내에 제1 메시지의 디스플레이를 인에이블하고; 제2 메시지 입력 영역 내에 제1 메시지를 디스플레이하는 동안, 메시징 세션에 제2 메시지 입력 영역의 콘텐츠를 게시하라는 요청에 대응되는 입력을 검출하고; 메시징 세션에 제2 메시지 입력 영역의 콘텐츠를 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들에 제1 메시지를 송신하도록 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지를 디스플레이하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시지들을 게시하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시지들을 게시하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역, 및 대화 트랜스크립트 내에서 디스플레이되는 대화형 애플리케이션에 대한 아이콘을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 단계; 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스를 제1 상태로 디스플레이하는 단계; 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출하는 단계; 및 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 제1 상태로부터 제2 상태로 변경하는 단계, 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들에 정보를 전송하여, 대화형 애플리케이션에 대한 사용자 인터페이스 내에 제1 사용자 입력이 이루어졌다고 표시하는 단계를 포함하며, 하나 이상의 전자 디바이스들은 제1 사용자 입력의 표지(indicia)를 디스플레이한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역, 및 대화 트랜스크립트 내에서 디스플레이되는 대화형 애플리케이션에 대한 아이콘을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하고; 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 제1 상태로 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하고; 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출하고; 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출하는 것에 응답하여: 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 제1 상태로부터 제2 상태로 변경하고, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들에 정보를 전송하여, 대화형 애플리케이션에 대한 사용자 인터페이스 내에 제1 사용자 입력이 이루어졌다고 표시하도록 구성되며, 하나 이상의 전자 디바이스들은 제1 사용자 입력의 표지를 디스플레이한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시지 입력 영역을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터, 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘을 디스플레이하기 위한 명령어들을 수신하는 단계; 명령어들을 수신하는 것에 응답하여, 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘을 디스플레이하는 단계; 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘을 디스플레이하는 동안, 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 단계; 대화 트랜스크립트 내에 디스플레이된 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여: 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있다는 결정에 따라, 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 단계, 및 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있지 않다는 결정에 따라, 원격 서버로부터 전자 디바이스의 메모리로 대화형 애플리케이션을 다운로드하는 단계, 및 원격 서버로부터 대화형 애플리케이션을 다운로드한 후, 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시지 입력 영역을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터, 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘을 디스플레이하기 위한 명령어들을 수신하고; 명령어들을 수신하는 것에 응답하여, 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘의 디스플레이를 인에이블하고; 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘을 디스플레이하는 동안, 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하고; 대화 트랜스크립트 내에 디스플레이된 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여: 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있다는 결정에 따라, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하고, 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있지 않다는 결정에 따라, 원격 서버로부터 전자 디바이스의 메모리로 대화형 애플리케이션을 다운로드하고; 원격 서버로부터 대화형 애플리케이션을 다운로드한 후, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은, 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는: 디스플레이의 제1 영역 내에 디스플레이되는, 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 제1 대화형 애플리케이션에 대응되는 대화 트랜스크립트 내에서 디스플레이되는 제1 대화형 애플리케이션 객체, 메시지 입력 영역, 및 메시지 입력 영역과 구별되고, 디스플레이의 제2 영역 내에 디스플레이되며, 하나 이상의 입력 어포던스들을 포함하는, 제1 대화형 애플리케이션에 대한 입력 영역을 포함함 -; 및 대화형 애플리케이션에 대한 입력 영역 내에서 제1 입력 어포던스를 활성화하는 입력을 검출하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 및 터치 감응형 표면 유닛, 및 디스플레이 유닛, 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고 - 메시징 사용자 인터페이스는: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 - 대화 트랜스크립트는 디스플레이의 제1 영역 내에 디스플레이됨 -, 대화 트랜스크립트 내에서 디스플레이되고 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체, 메시지 입력 영역, 및 메시지 입력 영역과 구별되고, 디스플레이의 제2 영역 내에 디스플레이되며, 하나 이상의 입력 어포던스들을 포함하는, 제1 대화형 애플리케이션에 대한 입력 영역을 포함함 -; 대화형 애플리케이션에 대한 입력 영역 내에서 제1 입력 어포던스를 활성화하는 입력을 검출하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은, 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 대화 트랜스크립트 내에서 디스플레이되고 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체, 및 메시지 입력 영역을 포함한다. 방법은 포커스 선택자가 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션 객체에 대응되는 터치 감응형 표면 상의 위치에 있는 동안 제1 입력을 검출하는 단계; 제1 입력을 검출하는 것에 응답하여, 메시지 입력 영역과 구별되는 제1 대화형 애플리케이션에 대한 입력 영역 - 하나 이상의 입력 어포던스들을 포함하는 제1 대화형 애플리케이션에 대한 입력 영역 - 을 디스플레이하는 단계; 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 동안, 하나 이상의 입력 어포던스들 상의 하나 이상의 입력들을 검출하는 단계; 하나 이상의 입력 어포던스들 상의 하나 이상의 입력들을 검출한 후, 제1 대화형 애플리케이션을 업데이트하는 단계; 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로, 메시징 세션의 대응 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 업데이트를 야기하는 정보를 전송하는 단계; 및 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 및 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록 구성되고, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 대화 트랜스크립트 내에서 디스플레이되고 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체, 및 메시지 입력 영역을 포함한다. 프로세싱 유닛은: 포커스 선택자가 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션 객체에 대응되는 터치 감응형 표면 유닛 상의 위치에 있는 동안 제1 입력을 검출하고; 제1 입력을 검출하는 것에 응답하여, 메시지 입력 영역과 구별되는 제1 대화형 애플리케이션에 대한 입력 영역 - 하나 이상의 입력 어포던스들을 포함하는 제1 대화형 애플리케이션에 대한 입력 영역 - 의 디스플레이를 인에이블하고; 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 동안, 하나 이상의 입력 어포던스들 상의 하나 이상의 입력들을 검출하고; 하나 이상의 입력 어포던스들 상의 하나 이상의 입력들을 검출한 후: 제1 대화형 애플리케이션을 업데이트하고; 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로, 메시징 세션의 대응 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 업데이트를 야기하는 정보를 전송하고; 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행되며, 여기서 메시징 애플리케이션 및 복수의 다른 애플리케이션들은 메모리에 저장되고, 복수의 다른 애플리케이션들 중 각자의 애플리케이션은 전자 디바이스 상의 정상 동작을 위한 정상 모드 및 전자 디바이스 상의 메시징 애플리케이션 내의 동작을 위한 내장 모드를 갖는다. 방법은: 복수의 토글 어포던스들을 디스플레이하는 단계를 포함하며, 여기서 복수의 토글 어포던스들 중 각자의 토글 어포던스는 메모리에 저장된 복수의 다른 애플리케이션들 중 대응되는 애플리케이션을 가지고; 각자의 토글 어포던스는 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 위해, 메시징 애플리케이션 내의, 각자의 론칭 아이콘의 디스플레이를 인에이블하는 제1 상태를 가지고; 각자의 토글 어포던스는 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 방지하기 위해, 메시징 애플리케이션 내의, 각자의 론칭 아이콘의 디스플레이를 방지하는 제2 상태를 가지며; 복수의 토글 어포던스들은 제1 상태로 디스플레이되는 제1 애플리케이션에 대한 제1 토글 어포던스 및 제2 상태로 디스플레이되는 제2 애플리케이션에 대한 제2 토글 어포던스를 포함한다. 복수의 토글 어포던스들을 디스플레이하는 동안, 방법은: 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하는 단계; 및 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하는 것에 응답하여: 제1 토글 어포던스를 제1 상태로부터 제2 상태로 변경하는 단계, 및 메시징 애플리케이션 내의 제1 애플리케이션에 대한 대응되는 론칭 아이콘의 디스플레이를 방지하는 단계를 더 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛 및 터치 감응형 표면 유닛, 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함하며, 여기서 메시징 애플리케이션 및 복수의 다른 애플리케이션들은 전자 디바이스의 메모리에 저장되고, 복수의 다른 애플리케이션들 중 각자의 애플리케이션은 전자 디바이스 상의 정상 동작을 위한 정상 모드 및 전자 디바이스 상의 메시징 애플리케이션 내의 동작을 위한 내장 모드를 갖는다. 프로세싱 유닛은: 복수의 토글 어포던스들의 디스플레이를 인에이블하도록 구성되며, 복수의 토글 어포던스들 중 각자의 토글 어포던스는 메모리에 저장된 복수의 다른 애플리케이션들 중 대응되는 애플리케이션을 가지고, 각자의 토글 어포던스는 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 위해, 메시징 애플리케이션 내의, 각자의 론칭 아이콘의 디스플레이를 인에이블하는 제1 상태를 가지고; 각자의 토글 어포던스는 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 방지하기 위해, 메시징 애플리케이션 내의, 각자의 론칭 아이콘의 디스플레이를 방지하는 제2 상태를 가지며; 복수의 토글 어포던스들은 제1 상태로 디스플레이되는 제1 애플리케이션에 대한 제1 토글 어포던스 및 제2 상태로 디스플레이되는 제2 애플리케이션에 대한 제2 토글 어포던스를 포함한다. 프로세싱 유닛은: 복수의 토글 어포던스들을 디스플레이하는 동안, 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하고; 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하는 것에 응답하여: 제1 토글 어포던스를 제1 상태로부터 제2 상태로 변경하고, 메시징 애플리케이션 내의 제1 애플리케이션에 대한 대응되는 론칭 아이콘의 디스플레이를 방지하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 내비게이션하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 내비게이션하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이, 터치 감응형 표면, 및 디지털 카메라를 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역, 디지털 이미지 어포던스, 디지털 터치 어포던스, 및 애플리케이션 어포던스를 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 터치 감응형 표면 상의 제1 입력을 검출하는 단계; 제1 입력을 검출하는 것에 응답하여: 포커스 선택자가 디지털 이미지 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 복수의 디지털 이미지들을 디스플레이하는 단계; 포커스 선택자가 디지털 캔버스 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 디지털 그리기 캔버스를 디스플레이하는 단계; 및 포커스 선택자가 애플리케이션 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에서 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이 유닛, 터치 감응형 표면 유닛, 디지털 카메라 유닛, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 디지털 카메라 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역, 디지털 이미지 어포던스, 디지털 터치 어포던스, 및 애플리케이션 어포던스를 포함한다. 프로세싱 유닛은: 메시징 사용자 인터페이스를 디스플레이하는 동안, 터치 감응형 표면 상의 제1 입력을 검출하고; 제1 입력을 검출하는 것에 응답하여: 포커스 선택자가 디지털 이미지 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 복수의 디지털 이미지들의 디스플레이를 인에이블하고; 포커스 선택자가 디지털 캔버스 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 디지털 그리기 캔버스의 디스플레이를 인에이블하고; 포커스 선택자가 애플리케이션 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에서 애플리케이션에 대한 하나 이상의 론칭 아이콘들의 디스플레이를 인에이블하도록 더 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 내비게이션하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 내비게이션하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
대화 트랜스크립트 내의 전자 스티커를 배치하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 대화 트랜스크립트 내의 전자 스티커를 배치하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 복수의 전자 스티커들, 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작되는 제1 드래그 제스처(drag gesture) - 제1 드래그 제스처는 포커스 선택자를 제1 방향으로 이동함 - 를 검출한다. 디바이스는 제1 드래그 제스처의 이동에 따라 제1 전자 스티커를 제1 방향으로 이동한다. 디바이스는 포커스 선택자가 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제1 드래그 제스처의 종료를 검출한다. 제1 드래그 제스처의 종료를 검출하는 것에 응답하여, 제2 위치가 대화 트랜스크립트 내에 있다는 결정에 따라, 디바이스는 대화 트랜스크립트 내의 제2 위치에 기초한 위치에 전자 스티커를 배치한다. 제2 위치가 대화 트랜스크립트 내에 있지 않다는 결정에 따라, 디바이스는 디스플레이 상의 제2 위치에 전자 스티커를 디스플레이하는 것을 중지한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 복수의 전자 스티커들 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작하는 제1 드래그 제스처 - 제1 드래그 제스처는 포커스 선택자를 제1 방향으로 이동함 - 를 검출하도록 구성된다. 프로세싱 유닛은 제1 드래그 제스처의 이동에 따라 제1 전자 스티커를 제1 방향으로 이동하도록 구성된다. 프로세싱 유닛은 포커스 선택자가 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제1 드래그 제스처의 종료를 검출하도록 구성된다. 제1 드래그 제스처의 종료를 검출하는 것에 응답하여: 제2 위치가 대화 트랜스크립트 내에 있다는 결정에 따라, 프로세싱 유닛은 대화 트랜스크립트 내의 제2 위치에 기초한 위치에 전자 스티커를 배치하도록 구성되고, 제2 위치가 대화 트랜스크립트 내에 있지 않다는 결정에 따라, 프로세싱 유닛은 디스플레이 유닛 상의 제2 위치에 전자 스티커를 디스플레이하는 것을 중지하도록 구성된다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 대화 트랜스크립트 내에 전자 스티커를 배치하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 대화 트랜스크립트 내에 전자 스티커를 배치하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 사용자 인터페이스에 대한 대화 트랜스크립트 내의 전자 스티커의 특성을 변경하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 사용자 인터페이스에 대한 대화 트랜스크립트 내의 전자 스티커의 특성들을 변경하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 복수의 전자 스티커들, 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내에 제1 전자 스티커를 배치 및 디스플레이한다. 대화 트랜스크립트 내의 제1 전자 스티커가 디스플레이되는 동안: 디바이스는 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제2 사용자 입력을 검출한다. 제2 사용자 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내의 제1 전자 스티커의 위치, 크기 및/또는 회전을 변경한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 복수의 전자 스티커들, 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛은 대화 트랜스크립트 내의 제1 전자 스티커의 디스플레이를 배치하고 인에이블한다. 제1 전자 스티커가 대화 트랜스크립트 내에 디스플레이되는 동안, 프로세싱 유닛은 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제2 사용자 입력을 검출한다. 제2 사용자 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내의 제1 전자 스티커의 위치, 크기 및/또는 회전을 변경한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 사용자 인터페이스들에 대한 대화 트랜스크립트 내의 전자 스티커의 특성들을 변경하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 사용자 인터페이스에 대한 대화 트랜스크립트 내의 전자 스티커의 특성들을 변경하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션을 통해 결제를 개시하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션을 통해 결제를 개시하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자들 사이의 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함하고, 메시징 세션에 포함된 타 사용자들 각각은 대응되는 아바타를 갖는다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 메시징 세션에 포함된 제1 타 사용자의 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 메시징 사용자 인터페이스 상에 오버레이된 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하며, 디스플레이된 메뉴는 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템을 포함한다. 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하는 동안, 디바이스는 포커스 선택자가 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제2 사용자 입력을 검출한다. 제2 사용자 입력을 검출하는 것에 응답하여, 디바이스는 제1 타 사용자에게 결제금 전송, 및/또는 제1 타 사용자로부터의 결제금 요청을 개시하도록 구성된 사용자 인터페이스를 디스플레이한다.
일부 실시예들에서, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함하고, 메시징 세션에 포함된 타 사용자들 각각은 대응되는 아바타를 갖는다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은 포커스 선택자가 메시징 세션에 포함된 제1 타 사용자의 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛은 메시징 사용자 인터페이스 상에 오버레이된 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴의 디스플레이를 인에이블하며, 디스플레이된 메뉴는 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템을 포함한다. 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하는 동안, 프로세싱 유닛은 포커스 선택자가 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제2 사용자 입력을 검출한다. 제2 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛은 제1 타 사용자에게 결제금 전송, 및/또는 제1 타 사용자로부터의 결제금 요청을 개시하도록 구성된 사용자 인터페이스의 디스플레이를 인에이블한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션을 통하여 결제를 개시하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션을 통해 결제를 개시하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 세션 내의 메뉴들을 선택적으로 활성화하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 세션 내의 메뉴들을 선택적으로 활성화하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 복수의 타 사용자들 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역, 및 복수의 아바타들을 포함하고, 복수의 아바타들 중 각자의 아바타 각각은 메시징 세션에 포함된 복수의 타 사용자들 중 각자의 타 사용자에 대응되고, 복수의 아바타들은 아바타들의 스택으로서 디스플레이되며, 복수의 아바타들 중 제1 아바타는 아바타들의 스택의 상부 상에 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 제1 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 터치 감응형 표면 상의 제1 접촉에 의한 입력을 검출한다. 제1 접촉에 의한 입력을 검출하는 것에 응답하여: 입력이 메뉴-활성화-기준들을 충족한다는 결정에 따라 - 메뉴-활성화-기준들은 메뉴-활성화-기준들이 충족되기 위해 터치 감응형 표면 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구함 -, 디바이스는 메시징 사용자 인터페이스 상에 오버레이된 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이한다. 입력이 아바타-확산-기준들을 충족한다는 결정에 따라 - 아바타-확산-기준들은 선택 기준들이 충족되기 위해 터치 스크린상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않음 -, 디바이스는 복수의 아바타들을 어레이로서 디스플레이한다.
일부 실시예들에 따르면, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 복수의 타 사용자들 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역 및 복수의 아바타들을 포함하며, 복수의 아바타들 중 각자의 아바타 각각은 메시징 세션에 포함된 복수의 타 사용자들 중 각자의 타 사용자에 대응되고, 복수의 아바타들은 아바타들의 스택으로서 디스플레이되며, 복수의 아바타들 중 제1 아바타는 아바타들의 스택의 상부 상에 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은 포커스 선택자가 제1 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 터치 감응형 표면 유닛 상의 제1 접촉에 의한 입력을 검출한다. 제1 접촉에 의한 입력을 검출하는 것에 응답하여: 입력이 메뉴-활성화-기준들을 충족한다는 결정에 따라 - 메뉴-활성화-기준들은 메뉴-활성화-기준들이 충족되기 위해 터치 감응형 표면 유닛 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구함 -, 프로세싱 유닛은 메시징 사용자 인터페이스 상에 오버레이된 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴의 디스플레이를 인에이블한다. 입력이 아바타-확산-기준들을 충족한다는 결정에 따라 - 아바타-확산-기준들은 선택 기준들이 충족되기 위해 터치 스크린상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않음 -, 프로세싱 유닛은 복수의 아바타들의 어레이로서의 디스플레이를 인에이블한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 세션 내의 메뉴들을 선택적으로 활성화하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 세션 내의 메뉴들을 선택적으로 활성화하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시지 내의 단어 또는 구문에 대한 추가적인 콘텐츠에 액세스하기 위한 선택가능한 링크를 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시지 내의 단어 또는 구문에 대한 추가적인 콘텐츠에 액세스하기 위한 선택가능한 링크를 제공하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 갖는 전자 디바이스에서 방법이 수행된다. 디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신한다. 제1 메시지를 수신하는 것에 응답하여, 디바이스는 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이한다. 디바이스는, 제1 메시지 내의, 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하고; 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하는 것에 응답하여, 디바이스는, 제1 메시지 구역에 근접하게, 단어 또는 구문과 연관된 추가적인 콘텐츠가 이용가능하다는 선택가능한 표시를 디스플레이한다.
일부 실시예들에서, 전자 디바이스는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛; 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은 디스플레이 유닛 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신한다. 제1 메시지를 수신하는 것에 응답하여: 프로세싱 유닛은 디스플레이 유닛 상의 대화 트랜스크립트 내의 제1 메시지 구역 내의 제1 메시지의 디스플레이를 인에이블한다. 프로세싱 유닛은, 제1 메시지 내의, 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출한다. 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하는 것에 응답하여, 프로세싱 유닛은, 제1 메시지 구역에 근접하게, 단어 또는 구문과 연관된 추가적인 콘텐츠가 이용가능하다는 선택가능한 표시의 디스플레이를 인에이블한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시지 내의 단어 또는 구문에 대한 추가적인 콘텐츠에 액세스하기 위한 선택가능한 링크를 제공하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시지 내의 단어 또는 구문에 대한 추가적인 콘텐츠에 액세스하기 위한 선택가능한 링크를 제공하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 사용자 인터페이스 내에서 애플리케이션들 사이에서 내비게이션하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 사용자 인터페이스 내에서 애플리케이션들 사이를 내비게이션하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트; 메시지 입력 영역; 애플리케이션 영역; 및 애플리케이션 영역 디스플레이 어포던스를 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 애플리케이션 영역 디스플레이 어포던스를 활성화하는 제1 입력을 검출하는 단계; 애플리케이션 영역 디스플레이 어포던스를 활성화하는 제1 입력을 검출하는 것에 응답하여, 애플리케이션 영역이 제1 입력이 검출된 시간에 키보드를 디스플레이하고 있다는 결정에 따라, 애플리케이션 영역 내의 키보드의 디스플레이를: 복수의 스크롤가능한 애플리케이션 선택 어포던스들을 디스플레이하는 애플리케이션 선택 영역 - 복수의 스크롤가능한 애플리케이션 선택 어포던스들은 현재 선택되는 제1 애플리케이션에 대응되는 제1 애플리케이션 선택 어포던스를 포함하고; 각자의 애플리케이션 선택 어포던스는 각자의 제1 크기를 가짐 -; 및 제1 애플리케이션의 하나 이상의 활성화가능한 객체들을 디스플레이하는 애플리케이션 입력 영역의 동시 디스플레이로 대체하는 단계; 애플리케이션 선택 영역 및 애플리케이션 입력 영역을 동시에 디스플레이하는 동안, 디스플레이 상의 애플리케이션 선택 영역 내의 포커스 선택자의 제1 방향으로의 이동에 대응되는 터치 감응형 표면 상의 접촉의 이동을 포함하는 제2 입력을 검출하는 단계; 제2 입력을 검출하는 것에 응답하여: 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤하는 단계, 및 제2 애플리케이션 선택 어포던스를 디스플레이하는 단계; 제2 애플리케이션 선택 어포던스 및 제1 애플리케이션의 하나 이상의 활성화가능한 객체들을 메시징 사용자 인터페이스 내에 디스플레이하는 동안, 제2 애플리케이션 선택 어포던스를 활성화하는 제3 입력을 검출하는 단계; 및 제2 애플리케이션 선택 어포던스를 활성화하는 제3 입력을 검출하는 것에 응답하여: 제1 애플리케이션의 하나 이상의 활성화가능한 객체들을 디스플레이하는 것을 중지하는 단계; 및 애플리케이션 입력 영역 내에, 제2 애플리케이션 선택 어포던스에 대응되는 제2 애플리케이션의 하나 이상의 활성화가능한 객체들을 디스플레이하는 단계를 포함한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 사용자 인터페이스들 내의 애플리케이션들 사이를 내비게이션하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 사용자 인터페이스 내에서 애플리케이션들 사이를 내비게이션하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 사용되는 애플리케이션들을 관리하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 사용되는 애플리케이션들을 관리하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 터치 감응형 표면을 갖는 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트; 메시지 입력 영역; 및 애플리케이션 영역을 포함하고, 애플리케이션 영역은: 제1 애플리케이션의 하나 이상의 활성화가능한 객체들을 디스플레이하는 애플리케이션 입력 영역; 및 애플리케이션 선택 영역을 포함하고, 애플리케이션 선택 영역은: 메시징 사용자 인터페이스 내에서 동작되는 복수의 애플리케이션들에 대응되는 복수의 스크롤가능한 애플리케이션 선택 어포던스들, 및 제1 애플리케이션 구성 어포던스를 포함함 -; 애플리케이션 선택 영역 내의 애플리케이션 구성 어포던스를 디스플레이하는 동안, 제1 애플리케이션 구성 어포던스를 활성화하는 제1 입력을 검출하는 단계; 제1 입력을 검출하는 것에 응답하여, 메시징 애플리케이션에 대한 제1 애플리케이션 관리 인터페이스를 디스플레이하는 단계 - 메시징 애플리케이션에 대한 제1 애플리케이션 관리 인터페이스는: 메시징 애플리케이션의 메시징 사용자 인터페이스 내에서 동작되는 복수의 애플리케이션들에 대응되는 복수의 설치된 애플리케이션 어포던스들, 및 제1 애플리케이션 구성 어포던스와 구별되는 제2 애플리케이션 구성 어포던스를 포함함 -; 제1 애플리케이션 관리 인터페이스를 디스플레이하는 동안, 복수의 설치된 애플리케이션 어포던스들 중 제1 설치된 애플리케이션 어포던스에 대응되는 위치에서 제2 입력을 검출하는 단계 - 제1 설치된 애플리케이션 어포던스는 전자 디바이스 상의 제1 설치된 애플리케이션에 대응됨 -; 제2 입력을 검출하는 것에 응답하여, 모바일 디바이스 상의 제1 설치된 애플리케이션의 적어도 하나의 컴포넌트를 설치제거하는(uninstall) 프로세스를 개시하는 단계; 제1 애플리케이션 관리 인터페이스를 디스플레이하는 동안, 제2 애플리케이션 구성 어포던스에 대응되는 위치에서 제3 입력을 검출하는 단계; 및 제3 입력을 검출하는 것에 응답하여, 메시징 애플리케이션에 대한 제2 애플리케이션 관리 인터페이스를 디스플레이하는 단계를 포함하며, 메시징 애플리케이션에 대한 제2 애플리케이션 관리 인터페이스는: 메시징 애플리케이션의 메시징 사용자 인터페이스 내에서 동작되는 복수의 애플리케이션들에 대응되는 복수의 토글(toggle)들을 포함하며, 각자의 토글의 활성화는 대응되는 애플리케이션으로 하여금 메시징 애플리케이션의 메시징 사용자 인터페이스 내의 은폐된 상태와 노출된 상태 사이에서 토글하게 한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 사용된 애플리케이션들을 관리하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 사용되는 애플리케이션들을 관리하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들에 대한 필요성이 있다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 성질을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 디스플레이 및 하나 이상의 입력 디바이스들을 갖는 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함 -; 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하는 단계 - 제1 메시지는 외국어 텍스트를 포함함 -; 제1 메시지를 수신하는 것에 응답하여, 대화 트랜스크립트 내의 제1 메시지를 디스플레이하는 단계; 제1 메시지 내의 외국어 텍스트에 대응되는 제1 위치에서 제1 입력을 검출하는 단계; 외국어 텍스트에 대응되는 제1 위치에서 제1 입력을 검출하는 것에 응답하여, 제1 입력이 번역 기준들을 충족한다는 결정에 따라, 외국어 텍스트의 번역을 디스플레이하는 단계; 및 제1 입력이 옵션-디스플레이 기준들을 충족한다는 결정에 따라, 복수의 활성화가능한 표지를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 디스플레이 및 하나 이상의 입력 디바이스들을 갖는 디바이스에서 방법이 수행된다. 방법은: 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함 -; 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하는 단계 - 제1 메시지는 외국어 텍스트를 포함함 -; 제1 메시지를 수신하는 것에 응답하여, 대화 트랜스크립트 내의 제1 메시지를 디스플레이하는 단계; 제1 메시지 내의 외국어 텍스트에 대응되는 위치에서 제1 입력을 검출하는 단계; 외국어 텍스트에 대응되는 위치에서 제1 입력을 검출하는 것에 응답하여: 제1 입력이 번역 기준들을 충족한다는 결정에 따라, 외국어 텍스트 번역 액션을 수행하는 단계; 및 제1 입력이 번역 기준들을 충족하지 않는다는 결정에 따라, 외국어 텍스트 번역 액션의 수행을 보류하는 단계를 포함한다.
따라서, 디스플레이들 및 터치 감응형 표면들을 갖는 전자 디바이스들은 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 개선된 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이, 터치 감응형 표면, 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들, 하나 이상의 프로세서들, 메모리, 및 하나 이상의 프로그램들을 포함하며; 하나 이상의 프로그램들은 메모리에 저장되고 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 설명되는 방법들 중 임의의 방법의 동작들을 수행하거나 수행하게 하는 명령어들을 포함한다. 일부 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이, 터치 감응형 표면, 및 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 갖는 전자 디바이스에 의해 실행될 때, 디바이스로 하여금 본 명세서에 설명된 방법들 중 임의의 방법의 동작들을 수행하거나 수행하게 하는 명령어들을 저장하고 있다. 일부 실시예들에 따르면, 디스플레이, 터치 감응형 표면, 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들, 메모리, 및 메모리에 저장된 하나 이상의 프로그램들을 실행하는 하나 이상의 프로세서들을 갖는 전자 디바이스 상의 그래픽 사용자 인터페이스는, 본 명세서에 설명된 방법들 중 임의의 방법에서 설명된 바와 같이, 입력들에 응답하여 업데이트되는, 본 명세서에 설명된 방법들 중 임의의 방법에서 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 전자 디바이스는: 디스플레이, 터치 감응형 표면, 및 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들; 및 본 명세서에 설명된 방법들 중 임의의 방법의 동작들을 수행하거나 수행하게 하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 디스플레이, 터치 감응형 표면, 및 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 갖는 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치는, 본 명세서에 설명된 방법들 중 임의의 방법의 동작들을 수행하거나 수행하게 하기 위한 수단을 포함한다.
이와 같이, 디스플레이들, 터치 감응형 표면들, 및 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 갖는 전자 디바이스들은 메시징을 위한 보다 빠르고 보다 효율적인 방법들 및 인터페이스들을 구비함으로써, 그러한 디바이스들에 대한 유효성, 효율성 및 사용자 만족을 증가시킨다. 그러한 방법들 및 인터페이스들은 메시징을 위한 종래의 방법들을 보완하거나 대체할 수 있다.
설명된 다양한 실시예들의 더 나은 이해를 위해, 유사한 도면 부호들이 도면들 전체에 걸쳐 대응되는 부분들을 나타내는 아래의 도면들과 관련하여, 아래의 발명을 실시하기 위한 구체적인 내용이 참고되어야 한다.
도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이를 갖는 휴대용 다기능 디바이스를 예시하는 블록도이다.
도 1b는 일부 실시예들에 따른, 이벤트 핸들링를 위한 예시적인 컴포넌트들을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 예시한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다.
도 4b는 일부 실시예들에 따른, 디스플레이와 별개인 터치 감응형 표면을 갖는 다기능 디바이스에 대한 예시적인 사용자 인터페이스를 예시한다.
도 4c 내지 도 4e는 일부 실시예들에 따른, 동적 세기 임계치들의 예들을 예시한다.
도 5a 내지 도 5k는 메시지 트랜스크립트들 및 메시지 확인응답들을 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5l 내지 도 5t는 메시지 트랜스크립트를 디스플레이하는 동안 이전에 전송된 메시지들을 편집하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5u 내지 도 5bf는 메시지 입력 또는 메시지 구역에 임팩트 효과 옵션을 적용하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5bg 내지 도 5ca는 은폐된 메시지들과 상호작용하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5cb 내지 도 5cw는 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는 경우, 향상된 메시지 콘텐츠를 트리거하고 메시징 사용자 인터페이스에 효과를 적용하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5cx 내지 도 5dc는 별개의 메시지들 내의 조합가능한 콘텐츠를 검출하고 그에 응답하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5dd 내지 도 5di는 메시지 구역 유형 또는 형상을 선택하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5di 내지 도 5dq는 메시지를 작성하는 동안 자동 제안된 이모지를 디스플레이하고 선택하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 6a 내지 도 6e는 일부 실시예들에 따른, 대화 트랜스크립트 내의 메시지 구역에 확인응답을 적용하기 위한 프로세스의 흐름도들이다.
도 7은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 8a 내지 도 8c는 일부 실시예들에 따른, 메시징 세션 내의 이전에 전송된 메시지를 편집하기 위한 프로세스의 흐름도들이다.
도 9는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 10a 및 도 10b는 일부 실시예들에 따른, 메시징 세션 내의 이전에 전송된 메시지를 편집하기 위한 프로세스의 흐름도들이다.
도 11은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 12a 내지 도 12e는 일부 실시예들에 따른, 메시지 입력에 임팩트 효과 옵션을 적용하기 위한 프로세스의 흐름도들이다.
도 13은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 14a 및 도 14b는 일부 실시예들에 따른, 은폐된 메시지들과 상호작용하기 위한 프로세스의 흐름도들이다.
도 15는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 16a 내지 도 16c는 일부 실시예들에 따른, 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는 경우, 메시징 사용자 인터페이스에 효과를 적용하기 위한 프로세스의 흐름도들이다.
도 17은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 18a 내지 도 18c는 일부 실시예들에 따른, 메시징 사용자 인터페이스 내에서 조합가능한 콘텐츠를 검출하고, 조합가능한 콘텐츠가 검출된 경우, 미리 결정된 조합에 대응되는 콘텐츠를 디스플레이하기 위한 프로세스의 흐름도들이다.
도 19는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 20a 내지 도 20p는 일부 실시예들에 따른, 메시징 애플리케이션 내의 동기화된 미디어 콘텐츠(예컨대, 오디오 콘텐츠 및/또는 비디오 콘텐츠)를 제시하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 21a 내지 도 21c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 동기화된 미디어 콘텐츠를 제시하는 방법을 예시하는 흐름도들이다.
도 22는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 23a 내지 도 23ae는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 24a 내지 도 24c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하는 방법을 예시하는 흐름도들이다.
도 25는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 26a 및 도 26b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하는 방법을 예시하는 흐름도들이다.
도 27은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 28a 및 도 28b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하는 방법을 예시하는 흐름도들이다.
도 29는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 30a 내지 도 30g는 일부 실시예들에 따른, 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 31a 및 도 31b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 상이한 유형의 콘텐츠를 신속하게 위치찾기하는 방법을 예시하는 흐름도들이다.
도 32는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 33a 및 도 33b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 상이한 유형의 콘텐츠를 신속하게 위치찾기하는 방법을 예시하는 흐름도들이다.
도 34는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 35a 내지 도 35ap는 일부 실시예들에 따른, 디지털 카메라를 메시징 애플리케이션 내로 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 36a 내지 도 36al은 일부 실시예들에 따른, 메시징 애플리케이션 내에서 검색 기능을 통합하고 리치 콘텐츠(rich content)를 게시하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 37a 내지 도 37dj는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션들을 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 38a 내지 도 38az는 일부 실시예들에 따른, 메시징 애플리케이션 내의 애플리케이션들을 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 39a 내지 도 39aw는 일부 실시예들에 따른, 메시징 애플리케이션 내의 전자 스티커들을 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 40a 내지 도 40w는 일부 실시예들에 따른, 아바타를 통해 메시징 트랜스크립트의 타 사용자들과 상호작용하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 41a 내지 도 41h는 일부 실시예들에 따른, 데이터 검출기들을 메시징 애플리케이션 내로 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 42a 내지 도 42d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 디지털 이미지들을 캡처 및 게시하는 방법을 예시하는 흐름도들이다.
도 43은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 44a 내지 도 44d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 멀티미디어 콘텐츠를 검색 및 공유하는 방법을 예시하는 흐름도들이다.
도 45는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 46a 내지 도 46c는 일부 실시예들에 따른, 메시징 애플리케이션에 대화형 애플리케이션을 추가하는 방법(4600)을 예시하는 흐름도들이다.
도 47은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 48a 내지 도 48d는 일부 실시예들에 따른, 메시징 애플리케이션에 대한 사용자 인터페이스 이외의 사용자 인터페이스로부터 메시징 세션에 메시지들을 게시하는 방법을 예시하는 흐름도들이다.
도 49는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 50a 내지 도 50c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법을 예시하는 흐름도들이다.
도 51은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 52a 내지 도 52c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법을 예시하는 흐름도들이다.
도 53은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 54a 내지 도 54c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법을 예시하는 흐름도들이다.
도 55는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 56a 및 도 56b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법을 예시하는 흐름도들이다.
도 57은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 58은 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하는 방법을 예시하는 흐름도이다.
도 59는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 60a 내지 도 60d는 일부 실시예들에 따른, 연관된 애플리케이션들을 갖는 메시징 애플리케이션 내의 내비게이션하는 방법을 예시하는 흐름도들이다.
도 61은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 62a 내지 도 62c는 일부 실시예들에 따른, 메시징 트랜스크립트에 스티커를 추가하는 방법을 예시하는 흐름도들이다.
도 63은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 64a 내지 도 64c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 전자 스티커들의 디스플레이를 수정하는 방법(6400)을 예시하는 흐름도들이다.
도 65는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 66은 일부 실시예들에 따른, 메시징 애플리케이션으로부터 결제하는 방법을 예시하는 흐름도이다.
도 67은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 68a 및 도 68b는 일부 실시예들에 따른, 그룹 메시징 세션에 포함된 단일 사용자와 상호작용하는 방법(6800)을 예시하는 흐름도들이다.
도 69는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 70a 및 도 70b는 일부 실시예들에 따른, 메시징 세션 내의 추가적인 정보를 디스플레이하는 방법(7000)을 예시하는 흐름도들이다.
도 71은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 72a 내지 도 72r은 일부 실시예들에 따른, 메시징 사용자 인터페이스 내에 디스플레이된 애플리케이션 사용자 인터페이스를 사용하여 애플리케이션들 사이를 내비게이션하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 72s 내지 도 72ao는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용되는 애플리케이션들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 72ap 내지 도 72di는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 72dj 내지 도 72ev는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 버블들을 연결하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 72ew 내지 도 72fm은 일부 실시예들에 따른, 메시지 버블을 플래깅하는 예시적인 사용자 인터페이스들을 예시한다.
도 73a 내지 도 73d는 일부 실시예들에 따른, 메시징 사용자 인터페이스 내에 디스플레이된 애플리케이션 사용자 인터페이스를 사용하여 애플리케이션들 사이에서 내비게이션하는 방법을 예시하는 흐름도들이다.
도 74a 내지 도 74d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용되는 애플리케이션들을 관리하는 방법을 예시하는 흐름도들이다.
도 75a 내지 도 75d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하는 방법을 예시하는 흐름도들이다. 일부 실시예들에 따름.
도 76a 내지 도 76c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 방법을 예시하는 흐름도들이다.
본 명세서에 설명된 방법들, 디바이스들 및 GUI들은 다수의 방법들로 메시징을 개선한다. 예를 들어, 이들은 다음을 보다 용이하게 한다: 메시지들에 확인응답하기; 이전에 전송된 메시지들을 편집하기; 사용자가 전달하고자 하는 바를 표현하기; 비공개 메시지들을 디스플레이하기; 사용자들 사이의 콘텐츠 뷰잉을 동기화하기; 수기 입력들을 통합하기; 메시지 트랜스크립트 내의 콘텐츠를 신속하게 위치찾기하기; 카메라를 통합하기; 검색 및 공유를 통합하기; 대화형 애플리케이션들을 통합하기; 스티커들을 통합하기; 결제하기; 아바타들과 상호작용하기; 제안하기; 대화형 애플리케이션들 사이를 내비게이션하기; 대화형 애플리케이션들을 관리하기; 외국어 텍스트를 번역하기; 메시지들을 그룹으로 조합하기; 및 메시지들을 플래깅하기.
예시적 디바이스들(EXAMPLE DEVICES)
이제, 실시예들이 상세하게 참조될 것이며, 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 설명된 다양한 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 설명된 다양한 실시예들이 이러한 구체적인 상세사항들 없이 실시될 수 있음은 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 기재하는 데 사용되지만, 이들 요소들은 이들 용어들로 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들면, 설명된 다양한 실시예들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉은 둘 다 접촉이지만, 문맥이 명확히 그렇지 않은 경우를 나타내지 않는 한, 그들이 동일한 접촉인 것은 아니다.
본 명세서에서 설명된 다양한 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 설명된 다양한 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an", 및 "the")들은 문맥상 명백히 달리 나타내지 않는다면 복수의 형태들도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 "및/또는"이라는 용어는 열거되는 연관된 아이템들 중 하나 이상의 아이템의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~는 경우(if)"라는 용어는, 옵션적으로, 문맥에 따라 "~하는 경우에(when)" 또는 "~ 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 구문 "결정된 경우" 또는 "[언급된 상태 또는 이벤트가] 검출된 경우"는, 옵션적으로, 문맥에 따라 "결정 시" 또는 "결정하는 것에 응답하여" 또는 "[언급된 상태 또는 이벤트] 검출 시" 또는 "[언급된 상태 또는 이벤트를] 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.
전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 설명된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 iPhone®, iPod Touch®, 및 iPad® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예를 들면, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱들 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이, 옵션적으로, 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다.
이하의 논의에서, 디스플레이 및 터치 감응형 표면을 포함하는 전자 디바이스가 설명된다. 그러나, 전자 디바이스가 옵션적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함한다는 것이 이해되어야 한다.
메시징 애플리케이션에 추가하여, 디바이스는 전형적으로, 메모하기 애플리케이션, 그리기 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션 중 하나 이상과 같은 다양한 다른 애플리케이션들을 지원한다.
디바이스 상에서 실행되는 다양한 애플리케이션들은, 옵션적으로, 터치 감응형 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응형 표면의 하나 이상의 기능들뿐만 아니라 디바이스 상에 디스플레이되는 대응되는 정보는, 옵션적으로, 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 각자의 애플리케이션 내에서 조정되고/되거나 변경된다. 이러한 방식으로, (터치 감응형 표면과 같은) 디바이스의 공통의 물리적 아키텍처는 옵션적으로 사용자에게 직관적이고 투명한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.
이제, 터치 감응형 디스플레이들을 갖는 휴대용 디바이스들의 실시예들에 주목한다. 도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이 시스템(112)을 갖는 휴대용 다기능 디바이스(100)를 예시하는 블록도이다. 터치 감응형 디스플레이 시스템(112)은 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 터치 감응형 디스플레이로 단순히 지칭된다. 디바이스(100)는 메모리(102)(옵션적으로, 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함함), 메모리 제어기(122), 하나 이상의 프로세싱 유닛들(CPUs)(120), 주변기기 인터페이스(118), RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 입/출력(I/O) 서브시스템(106), 다른 입력 또는 제어 디바이스들(116) 및 외부 포트(124)를 포함한다. 디바이스(100)는 옵션적으로 하나 이상의 광 센서(optical sensor)(164)들을 포함한다. 디바이스(100)는, 옵션적으로, 디바이스(100) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 세기 센서(165)(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면)들을 포함한다. 디바이스(100)는 옵션적으로 디바이스(100) 상의 촉각적 출력들을 생성하기 위한(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응형 표면 상의 촉각적 출력들을 생성하기 위한) 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 이들 컴포넌트들은 옵션적으로 하나 이상의 통신 버스들 또는 신호 라인들(103)을 통해 통신한다.
명세서 및 청구범위에 사용되는 바와 같이, "촉각적 출력"이라는 용어는 디바이스의 이전 위치에 상대적인 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예컨대, 하우징)에 상대적인 디바이스의 컴포넌트(예컨대, 터치 감응형 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 상대적인 컴포넌트의 변위를 지칭한다. 예컨대, 디바이스 또는 디바이스의 컴포넌트가 터치에 민감한 사용자의 표면(예컨대, 사용자의 손의 손가락, 손바닥, 또는 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들의 인지된 변경에 대응되는 촉감(tactile sensation)으로서 해석될 것이다. 예컨대, 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 또는 트랙패드)의 이동은, 옵션적으로, 사용자에 의해 물리적 액추에이터 버튼의 "다운 클릭(down click)" 또는 "업 클릭(up click)"으로서 해석된다. 일부 경우들에 있어서, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예컨대, 변위되는) 터치 감응형 표면과 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응형 표면의 이동은, 터치 감응형 표면의 평탄성의 변경이 없는 경우에도, 옵션적으로, 사용자에 의해 터치 감응형 표면의 "거칠기(roughness)"로서 해석 또는 감지된다. 사용자에 의한 터치의 그러한 해석들이 사용자의 개별화된 감각 인지(sensory perception)에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 보편적인 많은 터치 감각 인지가 있다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예컨대, "업 클릭", "다운 클릭", "거칠기")에 대응되는 것으로서 설명될 때, 달리 언급되지 않는 한, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 설명된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응된다. 촉각 출력들을 사용하여 사용자에게 햅틱 피드백을 제공함으로써, (예컨대, 사용자가 디바이스를 동작/상호작용하는 경우에 적절한 입력들을 제공하도록 도움을 주고 사용자 실수를 줄임으로써) 디바이스의 조작성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만들며, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용할 수 있게 함으로써 전력 사용을 줄이고 디바이스의 배터리 수명을 개선시킨다.
디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고, 디바이스(100)는, 옵션적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나, 옵션적으로, 두 개 이상의 컴포넌트들을 조합하거나, 또는 옵션적으로 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 인식되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 및/또는 주문형 집적 회로(application specific integrated circuit)들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현된다.
메모리(102)는, 옵션적으로, 고속 랜덤 액세스 메모리를 포함하고, 또한 옵션적으로, 하나 이상의 자기 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스들(non-volatile solid-state memory device)과 같은 비휘발성 메모리를 포함한다. CPU(들)(120) 및 주변기기 인터페이스(118)와 같은 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에의 액세스는, 옵션적으로, 메모리 제어기(122)에 의해 제어된다.
주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(들)(120) 및 메모리(102)에 연결하는 데 사용될 수 있다. 하나 이상의 프로세서들(120)은 디바이스(100)에 대한 다양한 기능들을 수행하기 위해 그리고 데이터를 프로세싱하기 위해 메모리(102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행한다.
일부 실시예들에서, 주변기기 인터페이스(118), CPU(들)(120) 및 메모리 제어기(122)는, 옵션적으로, 칩(104)과 같은 단일 칩 상에서 구현된다. 일부 다른 실시예들에서, 이들은, 옵션적으로, 별개의 칩들 상에 구현된다.
RF(radio frequency) 회로부(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 전송한다. RF 회로부(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로부(108)는, 옵션적으로, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, CODEC 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 제한 없이 포함하는, 이들 기능들을 수행하기 위한 주지의 회로부를 포함한다. RF 회로부(108)는, 옵션적으로, 무선 통신에 의해 월드 와이드 웹(World Wide Web, WWW)으로도 지칭되는 인터넷, 인트라넷 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들 및 타 디바이스들과 통신한다. 무선 통신은, 옵션적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11ac, IEEE 802.11ax, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재 아직 개발되지 않은 통신 프로토콜들을 포함한 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지는 않는 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용한다.
오디오 회로부(110), 스피커(111) 및 마이크로폰(113)은 사용자와 디바이스(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로부(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커(111)로 송신한다. 스피커(111)는 전기 신호를 인간 가청 음파로 변환한다. 오디오 회로부(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로부(110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)로 송신한다. 오디오 데이터는, 옵션적으로, 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로부(108)로부터 검색되고/되거나 송신된다. 일부 실시예들에서, 오디오 회로부(110)는 또한 헤드셋 잭(예컨대, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로부(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 감응형 디스플레이 시스템(112) 및 다른 입력 또는 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)와 연결한다. I/O 서브시스템(106)은 옵션적으로 디스플레이 제어기(156), 광 센서 제어기(158), 세기 센서 제어기(159), 햅틱 피드백 제어기(161), 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(160)을 포함한다. 하나 이상의 입력 제어기들(160)은 다른 입력 또는 제어 디바이스들(116)로부터/로 전기 신호들을 수신/전송한다. 다른 입력 또는 제어 디바이스들(116)은 옵션적으로 물리적 버튼들(예컨대, 푸시 버튼, 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 다른 실시예들에서, 입력 제어기(들)(160)는, 옵션적으로, 키보드, 적외선 포트, USB 포트, 스타일러스, 및/또는 마우스와 같은 포인터 디바이스 중 임의의 것과 결합된다(또는 어떤 것에도 결합되지 않는다). 하나 이상의 버튼들(예컨대, 도 2의 208)은 옵션적으로 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼들은 옵션적으로 푸시 버튼(예를 들면, 도 2의 206)을 포함한다.
터치 감응형 디스플레이 시스템(112)은 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 감응형 디스플레이 시스템(112)으로부터/으로 전기 신호들을 수신 및/또는 전송한다. 터치 감응형 디스플레이 시스템(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 옵션적으로 그래픽, 텍스트, 아이콘들, 비디오, 및 이들의 임의의 조합(총칭하여 "그래픽"으로 지칭됨)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 사용자 인터페이스 객체들에 대응된다. 본 명세서에 사용된 바와 같이, "어포던스"라는 용어는 사용자 대화형 그래픽 사용자 인터페이스 객체(예컨대, 그래픽 사용자 인터페이스 객체 쪽으로 향하는 입력들에 응답하도록 구성되는 그래픽 사용자 인터페이스 객체)를 지칭한다. 사용자-대화형 그래픽 사용자 인터페이스 객체들의 예들은, 제한 없이, 버튼, 슬라이더, 아이콘, 선택가능한 메뉴 아이템, 스위치, 하이퍼링크, 또는 다른 사용자 인터페이스 제어부를 포함한다.
터치 감응형 디스플레이 시스템(112)은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 감응형 디스플레이 시스템(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 감응형 디스플레이 시스템(112) 상의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 감응형 디스플레이 시스템(112) 상에 표시된 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키들, 아이콘들, 웹 페이지들 또는 이미지들)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 감응형 디스플레이 시스템(112)과 사용자 사이의 접촉 지점은 사용자의 손가락 또는 스타일러스에 대응된다.
터치 감응형 디스플레이 시스템(112)은, 옵션적으로, LCD(액정 디스플레이) 기술, LPD(발광 중합체 디스플레이) 기술, 또는 LED(발광 다이오드) 기술을 이용하지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용된다. 터치 감응형 디스플레이 시스템(112) 및 디스플레이 제어기(156)는 옵션적으로 터치 감응형 디스플레이 시스템(112)과의 하나 이상의 접촉 지점들을 결정하기 위해 정전용량, 저항, 적외선 및 표면 음향파 기술들과 다른 근접 센서 어레이들 또는 다른 요소들을 포함하지만 이에 한정되지 않는, 현재 알려져 있거나 추후에 개발될 복수의 터치 감지 기술들 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 iPhone®, iPod Touch®, 및 iPad®에서 발견되는 것과 같은 투사형 상호 용량 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 감응형 디스플레이 시스템(112)은, 옵션적으로, 100dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린 비디오 해상도는 400dpi를 초과한다(예를 들어, 500dpi, 800dpi, 또는 그 이상). 사용자는 옵션적으로 스타일러스, 손가락 등과 같은 임의의 적합한 객체 또는 부속물을 이용하여 터치 감응형 디스플레이 시스템(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 손가락 기반 접촉 및 제스처들을 이용하여 작업하도록 설계되는데, 이는 터치 스크린 상의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 동작들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린 외에도, 디바이스(100)는, 옵션적으로, 특정 기능들을 활성화 또는 비활성화하기 위한 터치패드(도시되지 않음)를 포함한다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는, 옵션적으로, 터치 감응형 디스플레이 시스템(112)과 별개인 터치 감응형 표면이거나, 터치 스크린에 의해 형성된 터치 감응형 표면의 연장부이다.
디바이스(100)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은, 옵션적으로, 전력 관리 시스템, 하나 이상의 전원들(예컨대, 배터리, 교류 전류(AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.
디바이스(100)는 또한 옵션적으로 하나 이상의 광 센서들(164)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)와 결합된 광 센서를 도시한다. 광 센서(들)(164)는, 옵션적으로, CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(들)(164)는 하나 이상의 렌즈들을 통해 투영된 주변환경으로부터의 광을 수신하고, 그 광을 이미지를 표현하는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈이라고도 지칭됨)과 함께, 광 센서(들)(164)는 옵션적으로, 정지 이미지들 및/또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서가 디바이스(100)의 전면 상의 터치 감응형 디스플레이 시스템(112)의 반대편인 디바이스의 배면 상에 위치됨으로써, 터치 스크린은 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용되도록 인에이블된다. 일부 실시예들에서, (예컨대, 셀카를 위하거나, 사용자가 터치 스크린 상에서 다른 화상 회의 참가자들을 보는 동안의 화상 회의 등을 위해) 사용자의 이미지가 획득되도록 다른 광 센서가 디바이스의 전면 상에 위치된다.
디바이스(100)는 또한, 옵션적으로, 하나 이상의 접촉 세기 센서들(165)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)와 결합된 접촉 세기 센서를 도시한다. 접촉 세기 센서(들)(165)는 옵션적으로 하나 이상의 압전 저항 스트레인 게이지들, 용량성 힘 센서들, 전기적 힘 센서들, 압전 힘 센서들, 광학적 힘 센서들, 용량성 터치 감응형 표면들, 또는 다른 세기 센서들(예컨대, 터치 감응형 표면 상의 접촉의 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(들)(165)는 주변환경으로부터 접촉 세기 정보(예컨대, 압력 정보 또는 압력 정보에 대한 대용물(proxy))을 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치(collocate)되거나 그에 근접한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서가 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이 시스템(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 옵션적으로 하나 이상의 근접 센서들(166)을 포함한다. 도 1a는 주변기기 인터페이스(118)와 결합된 근접 센서(166)를 도시한다. 대안적으로, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)와 결합된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 배치될 때(예를 들면, 사용자가 전화 통화를 하고 있을 때), 터치 감응형 디스플레이 시스템(112)을 끄고 디스에이블한다.
디바이스(100)는 또한, 옵션적으로, 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)와 결합된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(들)(167)는 옵션적으로 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스들 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예를 들면, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같이 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 촉각적 출력 생성기(들)(167)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하여 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접하며, 옵션적으로, 터치 감응형 표면을 수직으로(예컨대, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예컨대, 디바이스(100)의 표면과 동일한 평면에서 전후로) 이동함으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서는 디바이스(100)의 전면 상에 위치된 터치 감응형 디스플레이 시스템(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 옵션적으로 하나 이상의 가속도계들(168)을 포함한다. 도 1a는 주변기기 인터페이스(118)와 결합된 가속도계(168)를 도시한다. 대안적으로, 가속도계(168)는, 옵션적으로, I/O 서브시스템(106) 내의 입력 제어기(160)와 결합된다. 일부 실시예들에서, 하나 이상의 가속도계로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 디스플레이된다. 디바이스(100)는, 옵션적으로, 가속도계(들)(168) 외에도, 자력계(도시되지 않음), 및 디바이스(100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 얻기 위한 GPS(Global Positioning System)(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시되지 않음)를 포함한다.
일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 그래픽 모듈(또는 명령어들의 세트)(132), 햅틱 피드백 모듈(또는 명령어들의 세트)(133), 텍스트 입력 모듈(또는 명령어들의 세트)(134), 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(102)는 도 1a 및 도 3에 도시된 바와 같이 디바이스/글로벌 내부 상태(157)를 저장한다. 디바이스/글로벌 내부 상태(157)는: 존재하는 경우, 어떤 애플리케이션들이 현재 활성인지를 표시하는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 감응형 디스플레이 시스템(112)의 다양한 구역들을 점유하는지를 표시하는 디스플레이 상태; 디바이스의 다양한 센서들 및 다른 입력 또는 제어 디바이스들(116)들로부터 얻어진 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 및/또는 포지션 정보 중 하나 이상을 포함한다.
운영 체제(126)(예컨대, iOS, 다윈(Darwin), RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도(WINDOWS), 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 용이하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트(124)들을 통한 타 디바이스들과의 통신을 용이하게 하고, 또한 RF 회로부(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 핸들링하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예컨대, 범용 직렬 버스(Universal Serial Bus; USB), 파이어와이어(FIREWIRE) 등)는 타 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성된다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 일부 iPhone®, iPod Touch®, 및 iPad® 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고/하거나 호환가능한 멀티 핀(예컨대, 30-핀) 커넥터이다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 일부 iPhone®, iPod Touch®, 및 iPad® 디바이스들에서 사용되는 라이트닝 커넥터(Lightning connector)와 동일하거나 유사하고/하거나 호환가능한 라이트닝 커넥터이다.
접촉/모션 모듈(130)은, 옵션적으로, (디스플레이 제어기(156)와 함께) 터치 감응형 디스플레이 시스템(112), 및 다른 터치 감응형 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지 결정하는 것(예컨대, 손가락 다운 이벤트(finger-down event)를 검출하는 것), 접촉의 세기(예컨대, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력에 대한 대체물)를 결정하는 것, 접촉의 이동이 있는지 결정하고 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래그 이벤트(finger-dragging event)들을 검출하는 것), 및 접촉이 중지되었는지 결정하는 것(예컨대, 손가락 업 이벤트(finger-up event) 또는 접촉의 중단을 검출하는 것)과 같은, (예를 들어, 손가락에 의한, 또는 스타일러스에 의한) 접촉의 검출에 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은, 옵션적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함한다. 이들 동작들은, 옵션적으로, 단일 접촉들(예컨대, 한 손가락 접촉들 또는 스타일러스 접촉들)에 또는 복수의 동시 접촉들(예컨대, "멀티터치"/복수의 손가락 접촉들)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
접촉/모션 모듈(130)은, 옵션적으로, 사용자에 의해 입력된 제스처를 검출한다. 터치 감응형 표면 상에서의 상이한 제스처들은 상이한 접촉 패턴들(예컨대, 상이한 모션들, 타이밍들, 및/또는 검출된 접촉들의 세기들)을 갖는다. 따라서, 제스처는, 옵션적으로, 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락 다운 이벤트를 검출하고 뒤이어 손가락 다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예컨대, 아이콘의 위치에서) 손가락 업(리프트 오프(lift off)) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락 다운 이벤트를 검출하고 뒤이어 하나 이상의 손가락-드래그 이벤트를 검출하고, 후속하여 뒤이어 손가락 업(리프트 오프) 이벤트를 검출하는 것을 포함한다. 유사하게, 탭, 스와이프, 드래그, 및 다른 제스처들은 옵션적으로 스타일러스를 위한 특정 접촉 패턴을 검출함으로써 스타일러스를 위해 검출된다.
일부 실시예들에서, 손가락 탭 제스처를 검출하는 것은 손가락 다운 이벤트와 손가락 업 이벤트를 검출하는 사이의 시간의 길이에 의존하지만, 손가락 다운 이벤트와 손가락 다운 이벤트를 검출하는 사이의 손가락 접촉의 세기와는 독립적이다. 일부 실시예들에서, 손가락 다운 이벤트와 손가락 업 이벤트 사이의 시간의 길이가 미리 결정된 값 미만(예컨대, 0.1, 0.2, 0.3, 0.4 또는 0.5초 미만)이라는 결정에 따라 탭 제스처가 검출되며, 이는 탭 동안의 손가락 접촉의 세기가 가볍게 누르기 또는 깊게 누르기 세기 임계치와 같은, 주어진 세기 임계치(공칭 접촉 검출 세기 임계치보다 높음)를 충족하는지 여부에 독립적이다. 따라서, 손가락 탭 제스처는 특정 입력 기준들이 충족되기 위해 접촉의 특성 세기가 주어진 세기 임계치를 만족할 것을 요구하지 않는 특정 입력 기준들을 만족할 수 있다. 명료성을 위해, 손가락 다운 이벤트가 검출되기 위해서는 탭 제스처의 손가락 접촉이 전형적으로, 그 아래에서는 접촉이 검출되는 않는 공칭 접촉 검출 세기 임계치를 만족할 필요가 있다. 유사한 분석이 스타일러스 또는 다른 접촉에 의한 탭 제스처를 검출하는 데에 적용된다. 디바이스가 접촉 감응형 표면 위로 호버링(hovering)하는 손가락 또는 스타일러스 접촉을 검출할 수 있는 경우, 공칭 접촉 검출 세기 임계치는 옵션적으로 손가락 또는 스타일러스와 터치 감응형 표면 사이의 물리적 접촉에 대응되지 않는다.
동일한 개념들이 다른 유형의 제스처들과 유사한 방식으로 적용된다. 예를 들어, 제스처에 포함된 접촉들의 세기들과는 독립적이거나, 제스처가 인식되기 위해서는 제스처를 수행하는 접촉(들)이 세기 임계치들에 도달하도록 요구하지 않는 기준들의 만족 여부에 기초하여 스와이프 제스처, 핀치 제스처(pinch gesture), 디핀치 제스처(depinch gesture) 및/또는 길게 누르기 제스처가 옵션적으로 검출된다. 예를 들어, 스와이프 제스처는 하나 이상의 접촉들의 이동량에 기초하여 검출되고; 핀치 제스처는 두 개 이상의 접촉들의 서로를 향한 이동에 기초하여 검출되고; 디핀치 제스처는 두 개 이상의 접촉들의 서로로부터 이격되는 이동에 기초하여 검출되고; 길게 누르기 제스처는 터치 감응형 표면 상의 접촉 지속기간과 함께 임계 이동량 미만에 기초하여 검출된다. 이와 같이, 특정 제스처 인식 기준들은 특정 제스처 인식 기준들이 충족되기 위해서 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는다는 진술은, 특정 제스처 인식 기준들은 제스처의 접촉(들)이 각자의 세기 임계치에 도달하지 않은 경우에 만족될 수 있다는 것과, 또한 제스처의 접촉들 중 하나 이상의 접촉들이 각자의 세기 임계치에 도달하거나 이를 초과하는 상황에서 만족될 수 있다는 것을 의미한다. 일부 실시예들에서, 손가락 다운 및 손가락 업 이벤트가 미리 정의된 시간 주기 내에 검출된다는 결정에 기초하여, 미리 정의된 시간 주기 동안, 접촉이 각자의 세기 임계치 초과인지 미만인지 여부에 무관하게 탭 제스처가 검출되고, 접촉이 접촉 이동의 끝에서 각자의 세기 임계치를 초과하더라도, 접촉 이동이 미리 정의된 크기보다 크다는 결정에 기초하여 스와이프 제스처가 검출된다. 제스처의 검출이 제스처를 수행하는 접촉들의 세기들에 의해 영향을 받는 구현예들이라도(예컨대, 디바이스는 접촉의 세기가 세기 임계치를 초과하는 경우에 더 길게 누르기를 더 신속하게 검출하거나, 접촉의 세기가 더 높은 경우에 탭 입력의 검출을 지연시킴), 이러한 제스처들의 검출은 접촉이 특정 세기 임계치에 도달하지 않은 상황에서(예컨대, 제스처를 인식하는 데 걸리는 시간량이 변경되더라도), 제스처를 인식하기 위한 기준들이 충족될 수 있는 한 접촉이 특정 세기 임계치에 도달할 것을 요구하지 않는다.
일부 상황들에서, 접촉 세기 임계치들, 지속기간 임계치들, 및 이동 임계치들이 동일한 입력 요소 또는 구역으로 지향되는 두 개 이상의 상이한 제스처들을 구별하기 위한 휴리스틱스를 생성하기 위해 다양한 상이한 조합들로 조합됨으로써, 동일한 입력 요소를 갖는 다수의 상이한 상호작용들이 인에이블되어 사용자 상호작용들 및 응답들의 더 풍부한 세트를 제공한다. 제스처 인식 기준들의 특정 세트가 특정 제스처 인식 기준들이 충족되기 위해 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는다는 진술은 제스처가 각자의 세기 임계치 초과의 세기를 갖는 접촉을 포함하는 경우에 충족되는 기준을 갖는 다른 제스처들을 식별하기 위한 그 외의 세기-의존적 제스처 인식 기준들의 동시 평가를 배제하는 것은 아니다. 예를 들어, 일부 상황들에서, 제1 제스처에 대한 제1 제스처 인식 기준들 - 제1 제스처 인식 기준들이 충족되기 위해 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않음 - 은 제2 제스처에 대한 제2 제스처 인식 기준들 - 각자의 세기 임계치에 도달하는 접촉(들)에 의존함 - 과 경쟁 관계에 있다. 그러한 경쟁들에서, 제스처는, 옵션적으로, 제2 제스처에 대한 제2 제스처 인식 기준들이 먼저 충족되는 경우, 제1 제스처에 대한 제1 제스처 인식 기준들을 충족하는 것으로 인식되지 않는다. 예를 들어, 접촉이 미리 정의된 이동량만큼 이동하기 전에 접촉이 각자의 세기 임계치에 도달하면, 스와이프 제스처가 아닌 깊게 누르기 제스처가 검출된다. 반대로, 접촉이 각자의 세기 임계치에 도달하기 전에 접촉이 미리 정의된 이동량만큼 이동하면, 깊게 누르기 제스처가 아닌 스와이프 제스처가 검출된다. 그러한 상황들에서도, 접촉이 제스처의 끝까지 각자의 세기 임계치 미만으로 유지되었기 때문에, 제1 제스처에 대한 제1 제스처 인식 기준들은 제1 제스처 인식 기준들이 충족되기 위해 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않으며(예컨대, 각자의 세기 임계치 초과의 세기로 증가하지 않는 접촉을 갖는 스와이프 제스처), 제스처는 제1 제스처 인식 기준들에 의해 스와이프 제스처로 인식되었을 것이다. 이와 같이, 특정 제스처 인식 기준들이 충족되기 위해 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는 특정 제스처 인식 기준들은 (A) 일부 상황들에서는, (예컨대, 탭 제스처에 대한) 세기 임계치에 대한 접촉의 세기를 무시하고/하거나 (B) 일부 상황들에서는, 만약 (예컨대, 깊게 누르기 제스처에 대한) 세기 의존 제스처 인식 기준들의 경쟁 세트가, (예컨대, 인식에 대해 깊게 누르기 제스처와 경쟁하는 길게 누르기 제스처 동안) 특정 제스처 인식 기준들이 입력에 대응되는 제스처를 인식하기 전에 입력을 세기 의존 제스처에 대응되는 것으로 인식한다면, (예컨대, 길게 누르기 제스처에 대한) 특정 제스처 인식 기준들은 실패할 것이라는 견지에서, 세기 임계치에 대해 접촉의 세기에 여전히 의존할 것이다.
그래픽 모듈(132)은 디스플레이되는 그래픽의 시각적 임팩트(예컨대, 밝기, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 감응형 디스플레이 시스템(112) 또는 다른 디스플레이 상에 그래픽을 렌더링 및 디스플레이하기 위한 다양한 알려진 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는, 텍스트, 웹페이지들, 아이콘들(예컨대, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함하는, 사용자에게 디스플레이될 수 있는 임의의 객체들을 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽들을 표현하는 데이터를 저장한다. 각각의 그래픽에는, 옵션적으로, 대응되는 코드가 할당된다. 그래픽 모듈(132)은, 필요한 경우 좌표 데이터 및 다른 그래픽 속성 데이터와 함께, 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하고 디스플레이 제어기(156)에 출력한다.
햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치들에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(167)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
옵션적으로 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예컨대, 접촉(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션) 내에 텍스트를 넣기 위한 소프트 키보드들을 제공한다.
GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치 기반 다이얼링에서 사용하기 위해 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 그리고 날씨 위젯들, 지역 옐로 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
애플리케이션들(136)은, 옵션적으로, 다음의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브셋 또는 수퍼셋(superset)을 포함한다:
연락처 모듈(137)(때때로 주소록 또는 연락처 목록으로 지칭됨);
Figure 112023028445147-pat00002
전화 모듈(138);
Figure 112023028445147-pat00003
화상 회의 모듈(139);
Figure 112023028445147-pat00004
이메일 클라이언트 모듈(140);
Figure 112023028445147-pat00005
인스턴트 메시징(IM) 모듈(141);
Figure 112023028445147-pat00006
운동 지원 모듈(142);
Figure 112023028445147-pat00007
정지 및/또는 비디오 이미지들을 위한 카메라 모듈(143);
Figure 112023028445147-pat00008
이미지 관리 모듈(144);
Figure 112023028445147-pat00009
브라우저 모듈(147);
Figure 112023028445147-pat00010
캘린더 모듈(148);
Figure 112023028445147-pat00011
날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 얻어지는 다른 위젯들뿐 아니라 사용자-생성 위젯들(149-6) 중 하나 이상을 옵션적으로 포함하는 위젯 모듈들(149);
Figure 112023028445147-pat00012
사용자-생성 위젯들(149-6)을 만들기 위한 위젯 생성기 모듈(150);
Figure 112023028445147-pat00013
검색 모듈(151);
Figure 112023028445147-pat00014
옵션적으로 비디오 재생기 모듈 및 음악 재생기 모듈로 구성된 비디오 및 음악 재생기 모듈(152);
Figure 112023028445147-pat00015
메모 모듈(153);
Figure 112023028445147-pat00016
지도 모듈(154); 및/또는
Figure 112023028445147-pat00017
온라인 비디오 모듈(155).
옵션적으로 메모리(102)에 저장된 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 그리기 애플리케이션들, 프레젠테이션 애플리케이션들, JAVA 인에이블형 애플리케이션들, 암호화, 디지털 권한 관리, 음성 인식 및 음성 복제를 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 주소록 또는 연락처 목록(예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하기 위한 실행가능한 명령어들을 포함하며, 실행가능한 명령어들은: 이름(들)을 주소록에 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 기타 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 정렬하는 것; 전화(138), 화상 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 용이하게 하기 위해 전화번호들 및/또는 이메일 주소들을 제공하는 것 등을 포함한다.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 전화번호에 대응되는 문자들의 시퀀스를 넣고, 주소록(137) 내의 하나 이상의 전화번호들에 액세스하고, 넣어진 전화번호를 수정하고, 각자의 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊도록 하는 실행가능한 명령어들을 포함한다. 전술한 바와 같이, 무선 통신은 옵션적으로 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용한다.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 연락처 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 명령어들에 따라 사용자와 한 명 이상의 다른 참여자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템 (112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 명령어들에 응답하여 이메일을 작성, 전송, 수신, 및 관리하도록 하는 실행가능한 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일들을 작성 및 전송하는 것을 매우 용이하게 한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응되는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들면, 전화 기반 인스턴트 메시지들을 위한 단문자 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(Multimedia Message Service; MMS) 프로토콜을 이용하거나 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE, APN(Apple Push Notification Service) 또는 IMPS를 이용하여) 각자의 인스턴트 메시지를 송신하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 뷰잉하고, 아래에 상세히 설명되는 메시징 애플리케이션의 기능들을 수행하기 위한 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 송신 및/또는 수신된 인스턴트 메시지들은 옵션적으로 그래픽, 사진들, 오디오 파일들, 비디오 파일들, 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 다른 첨부물들을 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예컨대, SMS 또는 MMS를 이용하여 전송된 메시지들) 및 인터넷 기반 메시지들(예를 들면, XMPP, SIMPLE, APNs, 또는 IMPS를 이용하여 전송된 메시지들) 둘 다를 지칭한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 재생기 모듈(146)과 함께, 운동 지원 모듈(142)은 (예컨대, 시간, 거리, 및/또는 열량 소비 목표와 함께) 운동들을 생성하고; 운동 센서들(스포츠 디바이스들 및 스마트 워치들)과 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는 데 사용되는 센서들을 교정하고; 운동을 위한 음악을 선택 및 재생하고; 운동 데이터를 디스플레이, 저장 및 송신하기 위한 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 연락처 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(102)에 저장하고/하거나, 정지 이미지 또는 비디오의 특성들을 수정하고/하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범에) 제시하고, 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은 사용자 명령어들에 따라 인터넷을 브라우징하도록 - 웹 페이지들 또는 그들의 일부분뿐만 아니라 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그에 링크하고, 수신하고 디스플레이하는 것을 포함함 - 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 명령어들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예컨대, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 표시, 수정, 및 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은, 옵션적으로, 사용자에 의해 다운로드 및 사용되거나(예컨대, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)) 또는 사용자에 의해 생성되는(예컨대, 사용자-생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예컨대, Yahoo! 위젯들)을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 생성기 모듈(150)은 위젯들을 생성(예컨대, 웹 페이지의 사용자-지정 부분을 위젯으로 변경)하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 연락처 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 검색 모듈(151)은 사용자 명령어들에 따라 하나 이상의 검색 기준들(예컨대, 하나 이상의 사용자-지정 검색어들)에 일치하는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 및 브라우저 모듈(147)과 함께, 비디오 및 음악 재생기 모듈(152)은 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷으로 저장된 레코딩된 음악 및 다른 사운드 파일들을 다운로드 및 재생하는 것을 허용하는 실행가능한 명령어들, 및 비디오들을(예컨대, 터치 감응형 디스플레이 시스템(112) 상에서, 또는 무선으로 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 디스플레이하거나, 제시하거나, 그렇지 않으면 재생하도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는 옵션적으로 iPod(애플 인크.의 상표)과 같은 MP3 재생기의 기능을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 연락처 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 메모 모듈(153)은 사용자 명령어들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은 사용자 명령어들에 따라, 지도들 및 지도들에 연관된 데이터(예컨대, 운전 방향; 특정 위치 또는 그 부근의 상점 및 다른 관심 지점에 관한 데이터; 및 다른 위치 기반 데이터)를 수신하고, 디스플레이, 수정 및 저장하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 연락처 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들을 액세스하고, 브라우징하고, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예컨대, 터치 스크린(112) 상에서, 또는 무선으로 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 재생하고, 특정 온라인 비디오로의 링크를 이용하여 이메일을 전송하고, 그렇지 않으면 온라인 비디오를 관리하는 것을 허용하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 이메일 클라이언트 모듈(140)보다는 오히려 인스턴트 메시징 모듈(141)이 특정 온라인 비디오로의 링크를 전송하는 데 사용된다.
위에 식별된 모듈들 및 애플리케이션들 각각은 전술된 하나 이상의 기능들 및 본 출원에 설명되는 방법들(예컨대, 컴퓨터 구현 방법들 및 본 명세서에 설명되는 다른 정보 프로세싱 방법들)을 수행하기 위한 실행 가능 명령어들의 세트에 대응된다. 이러한 모듈들(즉, 명령어들의 세트들)은 별개인 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 이에 따라 이러한 모듈들의 다양한 서브셋들은, 옵션적으로, 다양한 실시예들에서 조합되거나 다른 방식으로 재배열된다. 일부 실시예들에서, 메모리(102)는 옵션적으로, 위에 식별된 모듈들 및 데이터 구조들의 서브셋을 저장한다. 또한, 메모리(102)는 옵션적으로 위에서 기술되지 않은 추가적인 모듈들 및 데이터 구조들을 저장한다.
일부 실시예들에서, 디바이스(100)는 디바이스 상의 기능들의 미리 정의된 세트의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치 패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가, 옵션적으로, 감소된다.
전적으로 터치 스크린 및/또는 터치패드를 통해 수행되는 미리 정의된 세트의 기능들은, 옵션적으로, 사용자 인터페이스들 사이의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 디스플레이되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이션한다. 그러한 실시예들에서, "메뉴 버튼"이 터치패드를 이용하여 구현된다. 일부 다른 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.
도 1b는 일부 실시예들에 따른, 이벤트 핸들링를 위한 예시적인 컴포넌트들을 예시하는 블록도이다. 일부 실시예들에서, 메모리((102, 도 1a) 또는 (370, 도 3))는 (예컨대, 운영 체제(126)에서의) 이벤트 분류기(170) 및 각자의 애플리케이션(136-1)(예컨대, 전술한 애플리케이션들(136, 137-155, 380-390) 중 임의의 것)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(event dispatcher module)(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성 상태이거나 실행 중일 때 터치 감응형 디스플레이 시스템(112) 상에 디스플레이되는 현재 애플리케이션 뷰(들)를 나타내는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/글로벌 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성 상태인지를 결정하는 데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는 데 이용된다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개하는 경우에 이용될 재개 정보, 애플리케이션(136-1)에 의해 디스플레이되고 있거나 디스플레이될 준비가 된 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아가는 것을 인에이블하기 위한 상태 큐(queue), 및 사용자에 의해 취해진 이전 동작들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가적인 정보를 포함한다.
이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트(예컨대, 멀티 터치 제스처의 일부로서 터치 감응형 디스플레이 시스템(112) 상의 사용자 터치)에 대한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대 근접 센서(166), 가속도계(들)(168), 및/또는 (오디오 회로부(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 송신한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응형 디스플레이 시스템(112) 또는 터치 감응형 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 요청들을 미리 결정된 간격으로 주변기기 인터페이스(118)로 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 송신한다. 다른 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예컨대, 미리 결정된 잡음 임계치를 초과하는 입력 및/또는 미리 결정된 지속기간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 송신한다.
일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 결정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.
히트 뷰 결정 모듈(172)은 터치 감응형 디스플레이 시스템(112)이 하나보다 많은 뷰를 디스플레이하는 경우에 하나 이상의 뷰들 내에서 서브이벤트가 발생한 곳을 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어부들 및 다른 요소들로 구성된다.
애플리케이션과 연관된 사용자 인터페이스의 다른 양태는 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 뷰들의 세트이며, 여기서 정보가 디스플레이되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (각자의 애플리케이션의) 애플리케이션 뷰들은 옵션적으로 애플리케이션의 프로그램 계층구조 또는 뷰 계층구조 내의 프로그램 레벨들에 대응된다. 예를 들면, 터치가 검출되는 최하위 레벨의 뷰는, 옵션적으로, 히트 뷰라고 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는, 옵션적으로, 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.
히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브이벤트들에 관련된 정보를 수신한다. 애플리케이션이 계층구조에서 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 결정 모듈(172)은 히트 뷰를, 서브이벤트를 핸들링해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황에서, 히트 뷰는 개시되는 서브이벤트가 발생하는 최하위 레벨 뷰이다(즉, 이벤트 또는 잠재적 이벤트를 형성하는 서브이벤트들의 시퀀스 내의 제1 서브이벤트임). 일단 히트 뷰가 히트 뷰 결정 모듈에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 하는 것과 동일한 터치나 입력 소스에 관련된 모든 서브이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에 어느 뷰 또는 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브이벤트의 물리적 위치를 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)들인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브이벤트들이 완전히 하나의 특정 뷰와 연관된 영역으로 한정되었더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 송달한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 각자의 이벤트 수신기 모듈(182)에 의해 검색된다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안적으로, 애플리케이션(136-1)은 이벤트 분류기(170)를 포함한다. 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나 접촉/모션 모듈(130)과 같이 메모리(102)에 저장된 또 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러들(190) 및 하나 이상의 애플리케이션 뷰들(191)을 포함하며, 이들의 각각은 애플리케이션의 사용자 인터페이스의 각자의 뷰 내에 발생하는 터치 이벤트들을 핸들링하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기(180)를 포함한다. 전형적으로, 각자의 애플리케이션 뷰(191)는 복수의 이벤트 인식기들(180)을 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트(도시되지 않음) 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 물려받는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 각자의 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 대안적으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각자의 이벤트 핸들러들(190)을 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 각자의 애플리케이션 뷰(191)에 포함된다.
각자의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(옵션적으로 서브이벤트 전달 명령어들을 포함함)의 서브셋을 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트, 예를 들어 터치 또는 터치 이동에 관한 정보를 포함한다. 서브이벤트에 따라, 이벤트 정보는 또한 서브이벤트의 위치와 같은 추가적인 정보를 포함한다. 서브이벤트가 터치의 모션과 관련되는 경우, 이벤트 정보는 또한 옵션적으로 서브이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응되는 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 미리 정의된 이벤트 또는 서브이벤트 정의들과 비교하고, 그 비교에 기초하여, 이벤트 또는 서브이벤트를 결정하거나, 이벤트 또는 서브이벤트의 상태를 결정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예컨대, 서브이벤트들의 미리 정의된 시퀀스들), 예를 들어 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브이벤트들은, 예를 들면 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 디스플레이된 객체 상의 더블 탭(double tap)이다. 더블 탭은, 예를 들면 미리 결정된 페이즈(phase) 동안의 디스플레이된 객체 상에의 제1 터치(터치 시작), 미리 결정된 페이즈 동안의 제1 리프트 오프(터치 종료), 미리 결정된 페이즈 동안의 디스플레이된 객체 상에의 제2 터치(터치 시작), 및 미리 결정된 페이즈 동안의 제2 리프트 오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 디스플레이된 객체 상의 드래그하기이다. 드래그하기는, 예를 들면 미리 결정된 페이즈 동안의 디스플레이된 객체 상의 터치(또는 접촉), 터치 감응형 디스플레이 시스템(112)을 가로지르는 터치의 이동, 및 터치의 리프트 오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러들(190)에 대한 정보를 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 각자의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브이벤트와 연관되어 있는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들면, 세 개의 사용자 인터페이스 객체들이 터치 감응형 디스플레이 시스템(112) 상에 디스플레이된 애플리케이션 뷰에서, 터치 감응형 디스플레이 시스템(112) 상에서 터치가 검출되는 경우, 이벤트 비교기(184)는 세 개의 사용자 인터페이스 객체들 중 어느 것이 터치(서브이벤트)와 연관되는지 결정하도록 히트 테스트를 수행한다. 각각의 디스플레이된 객체가 각자의 이벤트 핸들러(190)와 연관된 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지 결정하는 데 히트 테스트의 결과를 이용한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거하는 객체 및 서브이벤트와 연관된 이벤트 핸들러를 선택한다.
일부 실시예들에서, 각자의 이벤트(187)에 대한 정의는 또한 서브이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응되는지 대응되지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 동작들을 포함한다.
각자의 이벤트 인식기(180)가 일련의 서브이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 매칭되지 않는 것으로 결정하면, 각자의 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 각자의 이벤트 인식기는 터치 기반 제스처의 후속적인 서브이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성 상태로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브이벤트들을 추적 및 프로세싱하는 것을 계속한다.
일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브이벤트 전달을 수행해야 하는지를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지, 또는 상호작용하기 위해 인에이블되는지를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브이벤트들이 뷰 계층구조 또는 프로그램 계층구조에서의 다양한 레벨들에 전달되는지 여부를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.
일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브이벤트들이 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화하는 것은 각자의 히트 뷰에 서브이벤트들을 전송(및 지연 전송)하는 것과 구별된다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 캐치하고 미리 정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않고 서브이벤트에 관한 이벤트 정보를 전달하는 서브이벤트 전달 명령어들을 포함한다. 대신에, 서브이벤트 전달 명령어들은 일련의 서브이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 미리 결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성 및 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화번호를 업데이트하거나, 비디오 재생기 모듈(145)에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성 및 업데이트한다. 예를 들어, 객체 업데이터(177)는 새로운 사용자 인터페이스 객체를 생성하거나, 또는 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들어, GUI 업데이터(178)는 터치-감응형 디스플레이 상의 디스플레이를 위해 디스플레이 정보를 준비하고 이를 그래픽 모듈(132)에 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 각자의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈에 포함된다. 다른 실시예들에서, 이들은 두 개 이상의 소프트웨어 모듈들에 포함된다.
터치 감응형 디스플레이 상의 사용자 터치들의 이벤트 핸들링에 관하여 전술한 논의는 또한 입력 디바이스들을 갖는 다기능 디바이스들(100)을 작동하기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것이 아니라는 것을 이해해야 한다. 예를 들어, 마우스 이동 및 마우스 버튼 누르기는, 옵션적으로 단일 또는 복수의 키보드 누르기 또는 홀드; 터치패드 상에서의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 이동들; 생체 측정 입력들; 및/또는 이들의 임의의 조합과 함께, 인식될 이벤트를 정의하는 서브이벤트들에 대응되는 입력들로서 옵션적으로 이용된다.
도 2는 일부 실시예들에 따른, 터치 스크린(예컨대, 터치 감응형 디스플레이 디바이스(112), 도 1a)을 갖는 휴대용 다기능 디바이스(100)를 예시한다. 터치 스크린은, 옵션적으로, 사용자 인터페이스(UI)(200) 내에 하나 이상의 그래픽들을 디스플레이한다. 이러한 실시예는 물론 아래에서 설명되는 다른 실시예들에서, 사용자는, 예를 들어, 하나 이상의 손가락들(202)(도면에서 축척대로 도시되지 않음) 또는 하나 이상의 스타일러스들(203)(도면에서 축척대로 도시되지 않음)을 이용하여 그래픽 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택할 수 있다. 일부 실시예들에서, 하나 이상의 그래픽들의 선택은 사용자가 하나 이상의 그래픽들과의 접촉을 중단하는 경우에 발생한다. 일부 실시예들에서, 제스처는 옵션적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭들, (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 하나 이상의 스와이프들 및/또는 (우에서 좌로, 좌에서 우로, 위로 및/또는 아래로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과 부주의하여 접촉되면 그 그래픽은 선택되지 않는다. 예를 들면, 선택에 대응되는 제스처가 탭일 때, 애플리케이션 아이콘 위를 스윕(sweep)하는 스와이프 제스처는 옵션적으로, 대응되는 애플리케이션을 선택하지 않는다.
디바이스(100)는 또한 옵션적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼들을 포함한다. 위에 설명된 바와 같이, 메뉴 버튼(204)은 옵션적으로, 디바이스(100) 상에서 옵션적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이션하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린 디스플레이 상에 디스플레이된 GUI에서 소프트 키로서 구현된다.
일부 실시예들에서, 디바이스(100)는 터치 스크린 디스플레이, 메뉴 버튼(204), 디바이스의 전원을 켜거나/끄고 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조절 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드 셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 옵션적으로, 버튼을 누르고 버튼을 미리 정의된 시간 간격 동안 누른 상태로 유지함으로써 디바이스에서 전력을 온/오프하고; 버튼을 누르고 미리 정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용된다. 일부 실시예들에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는 또한, 옵션적으로, 터치 감응형 디스플레이 시스템(112) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 접촉 세기 센서들(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(167)을 포함한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 재생기 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게이밍 시스템, 또는 제어 디바이스(예컨대, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 전형적으로 하나 이상의 프로세싱 유닛들(CPUs)(310), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(360), 메모리(370), 및 이들 컴포넌트들을 상호접속하기 위한 하나 이상의 통신 버스들(320)을 포함한다. 통신 버스들(320)은 옵션적으로 시스템 컴포넌트들을 상호접속하고 이들 사이의 통신을 제어하는 회로부(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는 전형적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한 옵션적으로 키보드 및/또는 마우스(또는 기타의 포인팅 디바이스)(350) 및 터치패드(355),(예컨대, 도 1a를 참조하여 전술한 촉각적 출력 생성기(들)(167)와 유사한) 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357), 센서들(359)(예컨대, 도 1a를 참조하여 전술한 접촉 세기 센서(들)(165)와 유사한 광, 가속도, 근접, 터치 감응형, 및/또는 접촉 세기 센서들)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 옵션적으로 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(370)는 옵션적으로 CPU(들)(310)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들 또는 이들의 서브셋을 저장한다. 또한, 메모리(370)는, 옵션적으로, 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가적인 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들어, 디바이스(300)의 메모리(370)는 옵션적으로 그리기 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하고, 반면에 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는 옵션적으로 이러한 모듈들을 저장하지 않는다.
도 3에서의 위에 식별된 요소들 각각은, 옵션적으로, 위에 설명된 메모리 디바이스들 중 하나 이상에 저장된다. 위에 식별된 모듈들 각각은 앞서 설명된 기능을 수행하기 위한 명령어들의 세트에 대응된다. 위에 식별된 모듈들 또는 프로그램들(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 다양한 실시예들에서 이들 모듈의 다양한 서브셋들이, 옵션적으로, 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(370)가 옵션적으로, 위에 식별된 모듈들 및 데이터 구조들의 서브셋을 저장한다. 또한, 메모리(370)는 옵션적으로 위에서 기술되지 않은 추가적인 모듈들 및 데이터 구조들을 저장한다.
이제 휴대용 다기능 디바이스(100) 상에서, 옵션적으로, 구현되는 사용자 인터페이스들("UI")의 실시예들에 주목한다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스들이, 옵션적으로, 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(400)는 하기의 요소들, 또는 그들의 서브셋이나 슈퍼셋을 포함한다:
Figure 112023028445147-pat00018
셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)에 대한 신호 강도 표시자(들)(402);
Figure 112023028445147-pat00019
시간(404);
Figure 112023028445147-pat00020
블루투스 표시자(405);
Figure 112023028445147-pat00021
배터리 상태 표시자(406);
Figure 112023028445147-pat00022
다음과 같은, 빈번하게 사용되는 애플리케이션들에 대한 아이콘들을 갖는 트레이(408):
o 부재 중 전화들 또는 음성메일 메시지들의 개수의 표시자(414)를 옵션적으로 포함하는 "전화"라고 라벨링된 전화 모듈(138)에 대한 아이콘(416);
o 읽지 않은 이메일들의 개수의 표시자(410)를 옵션적으로 포함하는 "메일"이라고 라벨링된 이메일 클라이언트 모듈(140)에 대한 아이콘(418);
o "브라우저"라고 라벨링된 브라우저 모듈(147)에 대한 아이콘(420); 및
o iPod(애플 인크.의 상표) 모듈(152)로도 지칭되는, "iPod"이라고 라벨링된 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422);및
Figure 112023028445147-pat00023
다음과 같은, 다른 애플리케이션들에 대한 아이콘들:
o "메시지"라고 라벨링된 IM 모듈(141)에 대한 아이콘(424);
o "캘린더"라고 라벨링된 캘린더 모듈(148)에 대한 아이콘(426);
o "사진"이라고 라벨링된 이미지 관리 모듈(144)에 대한 아이콘(428);
o "카메라"라고 라벨링된 카메라 모듈(143)에 대한 아이콘(430);
o "온라인 비디오"라고 라벨링된 온라인 비디오 모듈(155)에 대한 아이콘(432);
o "주식"이라고 라벨링된 주식 위젯(149-2)에 대한 아이콘(434);
o "지도"라고 라벨링된 지도 모듈(154)에 대한 아이콘(436);
o "날씨"라고 라벨링된 날씨 위젯(149-1)에 대한 아이콘(438);
o "시계"라고 라벨링된 알람 시계 위젯(149-4)에 대한 아이콘(440);
o "운동 지원"이라고 라벨링된 운동 지원 모듈(142)에 대한 아이콘(442);
o "메모"라고 라벨링된 메모 모듈(153)에 대한 아이콘(444) 및
o 디바이스(100) 및 그의 다양한 애플리케이션들(136)에 대한 설정에 액세스를 제공하는, 설정 애플리케이션 또는 모듈에 대한 아이콘(446).
도 4a에 예시된 아이콘 라벨들은 단지 예시적인 것이라는 것이 주목되어야 한다. 예를 들면, 일부 실시예들에서, 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422)은 "음악" 또는 "음악 재생기"로 라벨링된다. 다른 라벨들이, 옵션적으로, 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 각자의 애플리케이션 아이콘에 대한 라벨은 각자의 애플리케이션 아이콘에 대응되는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응되는 애플리케이션의 이름과 구별된다.
도 4b는 디스플레이(450)와 별개인 터치 감응형 표면(451)(예컨대, 태블릿 또는 터치패드(355), 도 3)을 갖는 디바이스(예컨대, 디바이스(300), 도 3) 상의 예시적인 사용자 인터페이스를 예시한다. 디바이스(300)는 또한, 옵션적으로, 터치 감응형 표면(451) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 접촉 세기 센서들(예컨대, 센서들(357) 중 하나 이상) 및/또는 디바이스(300)의 사용자에 대한 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(359)을 포함한다.
도 4b는 디스플레이(450)와 별개인 터치 감응형 표면(451)(예컨대, 태블릿 또는 터치패드(355), 도 3)을 갖는 디바이스(예컨대, 디바이스(300), 도 3) 상의 예시적인 사용자 인터페이스를 예시한다. 후속하는 예들 중 많은 예들이 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이로부터 분리된 터치 감응형 표면 상에서 입력들을 검출한다. 일부 실시예들에서, 터치 감응형 표면(예컨대, 도 4b의 451)은 디스플레이(예컨대, 450) 상의 주축(예컨대, 도 4b의 453)에 대응되는 주축(예컨대, 도 4b의 452)을 갖는다. 이들 실시예들에 따르면, 디바이스는 디스플레이 상의 각자의 위치들에 대응되는 위치들(예컨대, 도 4b에서, 460은 468에 대응되고, 462는 470에 대응됨)에서 터치 감응형 표면(451)과의 접촉들(예컨대, 도 4b의 460 및 462)을 검출한다. 이러한 방식으로, 터치 감응형 표면(예컨대, 도 4b의 451) 상에서 디바이스에 의해 검출된 사용자 입력들(예컨대, 접촉들(460, 462) 및 그 이동들)은 터치 감응형 표면이 디스플레이와 별개인 경우 디바이스에 의해 다기능 디바이스의 디스플레이(예컨대, 도 4b의 450) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이, 옵션적으로, 본 명세서에 설명된 다른 사용자 인터페이스들에 이용된다는 것이 이해되어야 한다.
추가로, 하기의 예들이 손가락 입력들(예컨대, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들 등)을 주로 참조하여 주어지는 반면, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예컨대, 마우스 기반 입력 또는 스타일러스 입력)으로 대체되는 것이 이해되어야 한다. 예컨대, 스와이프 제스처는, 옵션적으로, 마우스 클릭(예컨대, 접촉 대신)과 뒤이어 스와이프의 경로를 따른 커서의 이동(예컨대, 접촉의 이동 대신)으로 대체된다. 다른 예로서, (예컨대, 접촉의 검출 및 뒤이은 접촉을 검출하는 것을 중지하는 것 대신에) 커서가 탭 제스처의 위치 위에 위치되는 동안에 탭 제스처가, 옵션적으로, 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력들이 동시에 검출되는 경우, 다수의 컴퓨터 마우스들이, 옵션적으로, 동시에 사용되거나, 또는 마우스와 손가락 접촉들이 옵션적으로 동시에 사용되는 것으로 이해하여야 한다.
본 명세서에 사용되는 바와 같이, "포커스 선택자"라는 용어는 사용자와 상호작용하고 있는 사용자 인터페이스의 현재 부분을 나타내는 입력 요소이다. 커서 또는 다른 위치 마커를 포함하는 일부 구현예들에서, 커서가 특정 사용자 인터페이스 요소(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안에 입력(예컨대, 누르기 입력)이 터치 감응형 표면(예컨대, 도 3에서의 터치 패드(355) 또는 도 4b에서의 터치 감응형 표면(451)) 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 커서는 "포커스 선택자"로서의 역할을 한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 가능하게 하는 터치 스크린 디스플레이(예컨대, 도 1a에서의 터치 감응형 디스플레이 시스템(112) 또는 도 4a에서의 터치 스크린)를 포함하는 일부 구현예들에서, 입력(예컨대, 접촉에 의한 누르기 입력)이 특정 사용자 인터페이스 요소들(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에 있는 터치 스크린 디스플레이 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 터치 스크린 상의 검출된 접촉은 "포커스 선택자"로서의 역할을 한다. 일부 구현예들에서,(예를 들어 포커스를 하나의 버튼으로부터 다른 버튼으로 이동하는 탭 키 또는 화살표 키를 사용함으로써) 터치 스크린 디스플레이 상의 대응되는 커서의 이동 또는 접촉의 이동 없이 포커스가 사용자 인터페이스의 하나의 구역으로부터 사용자 인터페이스의 다른 구역으로 이동되며; 이러한 구현예들에서, 포커스 선택자는 사용자 인터페이스의 상이한 구역들 사이에서의 포커스의 이동에 따라 이동한다. 포커스 선택자가 가지는 특정 형태와 무관하게, 포커스 선택자는 일반적으로 (예컨대, 사용자가 상호작용하고자 하는 사용자 인터페이스의 요소를 디바이스에 나타내는 것에 의해) 사용자 인터페이스와의 사용자의 의도된 상호작용을 전달하기 위해 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상의 접촉)이다. 예를 들어, 터치 감응형 표면(예컨대, 터치패드 또는 터치 스크린) 상에서 누르기 입력이 검출되는 동안 각자의 버튼 위의 포커스 선택자(예컨대, 커서, 접촉 또는 선택 상자)의 위치는 (디바이스의 디스플레이 상에 보여지는 다른 사용자 인터페이스 요소들과 달리) 사용자가 각자의 버튼을 활성화하려고 하고 있다는 것을 나타낼 것이다.
명세서 및 청구범위에서 사용되는 바와 같이, 터치 감응형 표면 상에서의 접촉의 "세기"라는 용어는 터치 감응형 표면 상에서의 접촉(예컨대, 손가락 접촉 또는 스타일러스 접촉)의 힘 또는 압력(단위 면적 당 힘), 또는 터치 감응형 표면 상에서의 접촉의 힘 또는 압력에 대한 대체물(대용물)을 지칭한다. 접촉의 세기는, 적어도 네 개의 구별되는 값들을 포함하고 더 전형적으로는 수백 개(예컨대, 적어도 256개)의 구별되는 값들을 포함하는 일정 범위의 값들을 갖는다. 접촉의 세기는 다양한 접근법들, 및 다양한 센서들 또는 센서들의 조합들을 이용하여 옵션적으로 결정(또는 측정)된다. 예를 들어, 터치 감응형 표면 아래의 또는 그에 인접한 하나 이상의 힘 센서들은 터치 감응형 표면 상의 다양한 지점들에서 힘을 측정하는 데 옵션적으로 사용된다. 일부 구현예들에서, 다수의 힘 센서들로부터의 힘 측정치들이 접촉의 추정되는 힘을 결정하기 위해 조합(예컨대, 가중 평균 또는 합)된다. 유사하게, 스타일러스의 압력 감응형 팁(tip)이 터치 감응형 표면 상의 스타일러스의 압력을 결정하는 데 옵션적으로 사용된다. 대안적으로, 터치 감응형 표면 상에서 검출된 접촉 면적의 크기 및/또는 그에 대한 변경들, 접촉 부근의 터치 감응형 표면의 커패시턴스 및/또는 그에 대한 변경들, 및/또는 접촉 부근의 터치 감응형 표면의 저항 및/또는 그에 대한 변경들은 터치 감응형 표면 상의 접촉의 힘 또는 압력에 대한 대체물로서 옵션적으로 이용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 세기 임계치가 초과되었는지 여부를 결정하는 데 직접 이용된다(예컨대, 세기 임계치는 대체 측정치들에 대응되는 단위로 설명됨). 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 추정된 힘 또는 압력으로 변환되고, 추정된 힘 또는 압력은 세기 임계치가 초과되었는지 여부를 결정하는 데 이용된다(예컨대, 세기 임계치는 압력의 단위로 측정된 압력 임계치임). 사용자 입력의 속성으로서 접촉의 세기를 사용하는 것은 그렇지 않았으면 어포던스들을 (예컨대, 터치 감응형 디스플레이 상에) 디스플레이하고 그리고/또는 (예컨대, 터치 감응형 디스플레이, 터치 감응형 표면, 또는 노브(knob) 또는 버튼과 같은 물리적/기계식 컨트롤을 통해) 사용자 입력을 수신하기 위한 제한된 실면적을 갖는 축소된 크기의 디바이스 상에서 사용자에 의해 용이하게 액세스 가능하지 않을 수 있는 추가적인 디바이스 기능으로의 사용자 액세스를 허용한다.
일부 실시예들에서, 접촉/모션 모듈(130)은 동작이 사용자에 의해 수행되었는지 여부를 결정하는 데(예컨대, 사용자가 아이콘에 대해 "클릭"했는지 여부를 결정하는 데) 하나 이상의 세기 임계치들의 세트를 이용한다. 일부 실시예들에서, 적어도 세기 임계치들의 서브셋이 소프트웨어 파라미터들에 따라 결정된다(예컨대, 세기 임계치들은 특정 물리적 액추에이터들의 활성화 임계치들에 의해 결정되지 않으며, 디바이스(100)의 물리적 하드웨어를 변경함이 없이 조정될 수 있다). 예를 들면, 트랙패드 또는 터치 스크린 디스플레이의 마우스 "클릭" 임계치는 트랙패드 또는 터치 스크린 디스플레이 하드웨어를 변경함이 없이 넓은 범위의 미리 정의된 임계치들 중 임의의 것으로 설정될 수 있다. 추가로, 일부 구현예들에서, 디바이스의 사용자는 (예컨대, 개별적 세기 임계치들을 조정함으로써 그리고/또는 복수의 세기 임계치들을 시스템 레벨 클릭 "세기" 파라미터로 한꺼번에 조정함으로써) 세기 임계치들의 세트 중 하나 이상의 세기 임계치들을 조정하기 위한 소프트웨어 설정들을 제공받는다.
명세서 및 청구범위에서 사용되는 바와 같이, 접촉의 "특성 세기(characteristic intensity)"라는 용어는 접촉의 하나 이상의 세기들에 기초한 접촉의 특성이다. 일부 실시예들에서, 특성 세기는 다수의 세기 샘플들에 기초한다. 특성 세기는, 옵션적으로, 미리 정의된 수의 세기 샘플들, 또는 미리 정의된 이벤트에 상대적으로(예컨대, 접촉을 검출한 후, 접촉의 리프트 오프를 검출하기 이전, 접촉의 이동의 시작을 검출하기 이전 또는 후에, 접촉의 끝을 검출하기 이전, 접촉의 세기의 증가를 검출하기 이전 또는 후에, 및/또는 접촉의 세기의 감소를 검출하기 이전 또는 후) 미리 결정된 시간 주기(예컨대, 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10 초) 동안 수집된 세기 샘플들의 세트에 기초한다. 접촉의 특성 세기는, 옵션적으로: 접촉의 세기들의 최대값, 접촉의 세기들의 중간 값(mean value), 접촉의 세기들의 평균값(average value), 접촉의 세기들의 상위 10 백분위 값(top 10 percentile value), 접촉의 세기들의 최대값의 절반의 값, 접촉의 세기들의 최대값의 90 퍼센트의 값 등 중 하나 이상에 기초한다. 일부 실시예들에서, 접촉의 지속기간은 (예컨대, 특성 세기가 시간의 경과에 따른 접촉의 세기의 평균일 때) 특성 세기를 결정하는 데 사용된다. 일부 실시예들에서, 동작이 사용자에 의해 수행되었는지 여부를 결정하기 위해, 특성 세기가 하나 이상의 세기 임계치들의 세트와 비교된다. 예를 들어, 하나 이상의 세기 임계치들의 세트는 제1 세기 임계치 및 제2 세기 임계치를 포함할 수 있다. 이 예에서, 제1 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과로 제1 동작이 행해지고, 제1 세기 임계치를 초과하지만 제2 세기 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과로 제2 동작이 행해지며, 제2 세기 임계치 초과의 특성 세기를 갖는 접촉의 결과로 제3 동작이 행해진다. 일부 실시예들에서, 특성 세기와 하나 이상의 세기 임계치들 사이의 비교는, 제1 동작 또는 제2 동작을 수행할지를 결정하는 데 사용되기보다는, 하나 이상의 동작을 수행할지 여부(예컨대, 각자의 옵션을 수행할지 각자의 동작을 수행하는 것을 보류할지)를 결정하는 데 사용된다.
일부 실시예들에서, 특성 세기를 결정하기 위해 제스처의 일부분이 식별된다. 예를 들어, 터치 감응형 표면은 시작 위치로부터 전이하여(transition) 종료 위치(이 지점에서 접촉의 세기가 증가함)에 도달하는 연속적인 스와이프 접촉(예컨대, 드래그 제스처)을 수신할 수 있다. 이 예에서, 종료 위치에서 접촉의 특성 세기는 스와이프 접촉 전체가 아니라 연속적인 스와이프 접촉의 일부분에만(예컨대, 종료 위치에서 스와이프 접촉의 일부분에만) 기초할 수 있다. 일부 실시예들에서, 접촉의 특성 세기를 결정하기 전에 스와이프 접촉의 세기들에 평활화 알고리즘(smoothing algorithm)이 적용될 수 있다. 예를 들어, 평활화 알고리즘은, 옵션적으로, 비가중 이동 평균(unweighted sliding-average) 평활화 알고리즘, 삼각(triangular) 평활화 알고리즘, 메디안 필터(median filter) 평활화 알고리즘, 및/또는 지수(exponential) 평활화 알고리즘 중 하나 이상을 포함한다. 일부 상황들에서, 이 평활화 알고리즘들은 특성 세기를 결정하기 위해 스와이프 접촉의 세기들에서의 좁은 급등(spike)들 또는 급감(dip)들을 제거한다.
본 명세서에 설명된 사용자 인터페이스 도면들은, 옵션적으로, 하나 이상의 세기 임계치(예컨대, 접촉 검출 세기 임계치 IT0, 가벼운 누르기 세기 임계치 ITL, 깊게 누르기 세기 임계치 ITD (예컨대, 적어도 처음 IL 보다 높음)), 및/또는 하나 이상의 다른 세기 임계치(예컨대, IL보다 낮은 세기 임계치 IH)에 상대적인 터치 감응형 표면 상의 접촉의 현재 세기를 보여주는 다양한 세기 다이어그램들을 포함한다. 전형적으로 이러한 세기 다이어그램은 디스플레이되는 사용자 인터페이스의 부분은 아니지만, 도면들의 해석에 도움을 주기 위해 제공된다. 일부 실시예들에서, 가볍게 누르기 세기 임계치는, 디바이스가 물리적 마우스의 버튼 또는 트랙 패드를 클릭하는 것과 전형적으로 연관된 동작들을 수행하게 될 세기에 대응된다. 일부 실시예들에서, 깊게 누르기 세기 임계치는, 디바이스가 물리적 마우스의 버튼 또는 트랙패드를 클릭하는 것과 전형적으로 연관된 동작들과는 상이한 동작들을 수행하게 될 세기에 대응된다. 일부 실시예들에서, 접촉이 가벼운 누르기 세기 임계치 미만의 (예컨대, 그리고 이 미만에서는 접촉이 더 이상 검출되지 않는 공칭 접촉 검출 세기 임계치(IT0)초과의) 특성 세기로 검출될 때, 디바이스는 가벼운 누르기 세기 임계치 또는 깊게 누르기 세기 임계치와 연관된 동작을 수행함이 없이 터치 감응형 표면 상의 접촉의 이동에 따라 포커스 선택자를 이동할 것이다. 일반적으로, 달리 언급되지 않는 한, 이 세기 임계치들은 사용자 인터페이스 도면들의 상이한 세트들 사이에서 일관된다.
일부 실시예들에서, 디바이스에 의해 검출된 입력들에 대한 디바이스의 응답은 입력 동안 접촉 세기에 기초한 기준들에 따라 좌우된다. 예를 들어, 일부 "가볍게 누르기" 입력들의 경우, 입력 중 제1 세기 임계치를 초과하는 접촉의 세기는 제1 응답을 트리거한다. 일부 실시예들에서, 디바이스에 의해 검출된 입력들에 대한 디바이스의 응답은 입력 도중의 접촉 세기 및 시간 기반 기준들 둘 다를 포함하는 기준들에 따라 좌우된다. 예를 들어, 일부 "깊게 누르기" 입력들의 경우, 입력 도중 가볍게 누르기에 대한 제1 세기 임계치보다 큰 제2 세기 임계치를 초과하는 접촉의 세기는, 제1 세기 임계치를 충족하는 것과 제2 세기 임계치를 충족하는 것 사이에서 지연 시간이 경과하는 경우에만 제2 응답을 트리거한다. 이 지연 시간은 전형적으로 200 ms 미만의 지속기간이다(예컨대, 제2 세기 임계치의 크기에 따라 40, 100, 또는 120 ms이며, 제2 세기 임계치가 증가함에 따라 지연 시간이 증가함). 이 지연 시간은 우발적 깊게 누르기 입력의 방지를 돕는다. 다른 예로서, 일부 "깊게 누르기" 입력들의 경우, 제1 세기 임계치가 충족되는 시간 이후에 발생하는 감소된 민감도 시간 주기가 있다. 감소된 민감도 시간 주기 동안, 제2 세기 임계치가 증가된다. 제2 세기 임계치의 일시적인 증가는 또한 우발적 깊게 누르기 입력의 방지를 돕는다. 다른 깊게 누르기 입력들의 경우, 깊게 누르기 입력의 검출에 대한 응답은 시간 기반 기준들에 따라 좌우되지 않는다.
일부 실시예들에서, 입력 세기 임계치들 및/또는 대응되는 출력들 중 하나 이상은 하나 이상의 요인들, 예컨대 사용자 설정, 접촉 모션, 입력 타이밍, 애플리케이션 실행, 세기가 적용되는 속도, 동시 입력들의 수, 사용자 이력, 환경적 요인(예컨대, 주변 노이즈), 포커스 선택자 위치 등에 기초하여 달라진다. 예시적인 요인들이 미국 특허 출원 번호 제14/399,606호 및 제14/624,296호에 기술되고, 이는 본 명세서에 전체적으로 참조로서 포함된다.
예를 들어, 도 4c는 시간에 대한 터치 입력(476)의 세기에 부분적으로 기초하여 시간이 지남에 따라 변경되는 동적 세기 임계치(480)를 예시한다. 동적 세기 임계치(480)는 터치 입력(476)이 초기에 검출된 때부터 미리 정의된 지연 시간(p1) 이후에 시간이 지남에 따라 감소하는 제1 컴포넌트(474), 및 시간이 지남에 따라 터치 입력(476)의 세기를 따라가는 제2 컴포넌트(478), 이 두 컴포넌트들의 합이다. 제1 컴포넌트(474)의 초기의 높은 세기 임계치는 "깊게 누르기" 응답의 우발적 트리거를 감소시키지만, 터치 입력(476)이 충분한 세기를 제공하는 경우, 즉각적인 "깊게 누르기" 응답을 여전히 허용한다. 제2 컴포넌트(478)는 터치 입력의 점진적인 세기 변동에 의한 "깊게 누르기" 응답의 의도하지 않은 트리거를 감소시킨다. 일부 실시예들에서, 터치 입력(476)이 동적 세기 임계치(480)를 만족하는 경우에(예컨대, 도 4c의 지점(481)), "깊게 누르기" 응답이 트리거된다.
도 4d는 다른 동적 세기 임계치(486)(예컨대, 세기 임계치(ID))를 예시한다. 도 4d는 또한 다른 두 세기 임계치들: 제1 세기 임계치(IH) 및 제2 세기 임계치(IL)를 예시한다. 도 4d에서, 터치 입력(484)은 시간(p2) 이전에 제1 세기 임계치(IH) 및 제2 세기 임계치(IL)를 만족하지만, 지연 시간(p2)이 시간(482)을 경과할 때까지 응답이 제공되지 않는다. 또한 도 4d에서, 동적 세기 임계치(486)는 시간이 지남에 따라 감쇠하는데, 감쇠는 시간(482)(제2 세기 임계치(IL)와 연관된 응답이 트리거된 때)으로부터 미리 정의된 지연 시간(p1)이 경과한 후에 시간(488)에서 시작한다. 그러한 유형의 동적 세기 임계치는 더 낮은 세기 임계치, 예를 들어 제1 세기 임계치(IH) 또는 제2 세기 임계치(IL)와 연관된 응답을 트리거한 직후, 또는 그와 동시에 동적 세기 임계치(ID)와 연관된 응답의 우발적 트리거를 감소시킨다.
도 4e는 또 다른 동적 세기 임계치(492)(예컨대, 세기 임계치(ID)를 예시한다. 도 4e에서, 세기 임계치(IL)와 연관된 응답이 터치 입력(490)이 처음 검출된 때부터 지연 시간(p2)이 경과한 후에 트리거된다. 동시에, 동적 세기 임계치(492)는 터치 입력(490)이 처음 검출된 때부터 미리 정의된 지연 시간(p1)이 경과한 후에 감쇠한다. 세기 임계치(IL)와 연관된 응답을 트리거한 후에 터치 입력(490)의 세기가 감소하고, 이어서 터치 입력(490)의 해제 없이 터치 입력(490)의 세기가 증가하면, 터치 입력(490)의 세기가 다른 세기 임계치, 예를 들어, 세기 임계치(IL) 미만인 때에도 세기 임계치(ID)와 연관된 응답을 트리거할 수 있다(예컨대, 시간(494)).
가볍게 누르기 세기 임계치(ITL) 미만의 세기에서 가볍게 누르기 세기 임계치(ITL)와 깊게 누르기 세기 임계치(ITD) 사이의 세기로의 접촉의 특성 세기의 증가는, 때때로 "가볍게 누르기" 입력으로서 지칭된다. 깊게 누르기 세기 임계치(ITD) 미만의 세기에서 깊게 누르기 세기 임계치(ITD) 초과의 세기로의 접촉의 특성 세기의 증가는, 때때로 "깊게 누르기" 입력으로서 지칭된다. 접촉-검출 세기 임계치(IT0) 미만의 세기에서 접촉-검출 세기 임계치(IT0)와 가볍게 누르기 세기 임계치(ITL) 사이의 세기로의 접촉의 특성 세기의 증가는, 때때로 터치 표면 상의 접촉을 검출하는 것으로서 지칭된다. 접촉-검출 세기 임계치(IT0) 초과의 세기에서 접촉-검출 세기 임계치(IT0) 미만의 세기로의 접촉의 특성 세기의 감소는, 때때로 터치 표면으로부터 접촉의 리프트 오프를 검출하는 것으로서 지칭된다. 일부 실시예들에서 IT0는 0(영)이다. 일부 실시예들에서 IT0는 0보다 크다. 일부 실시예들에서 음영이 있는 원 또는 타원은 터치 감응형 표면 상의 접촉의 세기를 표현하는 데 사용된다. 일부 실시예들에서, 음영이 없는 원 또는 타원은 각자의 접촉의 세기를 특정하지 않으면서 터치 감응형 표면 상의 각자의 접촉을 표현하는 데 사용된다.
본 명세서에 설명된 일부 실시예들에서, 하나 이상의 동작들은, 각자의 누르기 입력을 포함하는 제스처를 검출하는 것에 응답하여 또는 각자의 접촉(또는 복수의 접촉들)으로 수행되는 각자의 누르기 입력을 검출하는 것에 응답하여 수행되며, 여기서 각자의 누르기 입력은 누르기-입력 세기 임계치 초과의 접촉(또는 복수의 접촉들)의 세기의 증가를 검출하는 것에 적어도 부분적으로 기초하여 검출된다. 일부 실시예들에서, 각자의 동작은, 누르기-입력 세기 임계치 초과의 각자의 접촉의 세기의 증가를 검출하는 것에 응답하여 수행된다(예컨대, 각자의 동작은 각자의 누르기 입력의 "다운 스트로크"에서 수행됨). 일부 실시예들에서, 누르기 입력은 누르기-입력 세기 임계치 초과의 각자의 접촉의 세기의 증가 및 누르기-입력 세기 임계치 미만의 접촉의 세기의 후속적인 감소를 포함하며, 각자의 동작은 누르기-입력 임계치 미만의 각자의 접촉의 세기의 후속적인 감소를 검출하는 것에 응답하여 수행된다(예컨대, 각자의 동작은 각자의 누르기 입력의 "업 스트로크"에서 수행됨).
일부 실시예들에서, 디바이스는 때때로 "지터(jitter)"로 지칭되는 돌발적인 입력들을 회피하기 위해 세기 히스테리시스를 채용하며, 여기서 디바이스는 누르기 입력 세기 임계치에 대한 미리 정의된 관계를 갖는 히스테리시스 세기 임계치(예컨대, 히스테리시스 세기 임계치는 누르기 입력 세기 임계치보다 더 낮은 X 세기 단위이거나, 히스테리시스 세기 임계치는 누르기 입력 세기 임계치의 75%, 90% 또는 어떤 적절한 비율임)를 정의하거나 선택한다. 따라서, 일부 실시예들에서, 누르기 입력은 누르기-입력 세기 임계치 초과의 각자의 접촉의 세기의 증가 및 누르기-입력 세기 임계치에 대응되는 히스테리시스 세기 임계치 미만의 접촉의 세기의 후속적인 감소를 포함하며, 각자의 동작은 히스테리시스 세기 임계치 미만의 각자의 접촉의 세기의 후속적인 감소를 검출하는 것에 응답하여 수행된다(예컨대, 각자의 동작은 각자의 누르기 입력의 "업 스트로크"에서 수행됨). 유사하게, 일부 실시예들에서, 누르기 입력은 디바이스가 히스테리시스 세기 임계치 이하의 세기로부터, 누르기 입력 세기 임계치 이상의 세기로의 접촉의 세기의 증가, 및 옵션적으로, 히스테리시스 세기 이하의 세기로의 후속 접촉의 세기의 감소를 검출하는 경우에만 검출되고, 각자의 동작은 누르기 입력(예컨대, 주변환경에 따른 접촉의 세기의 증가 또는 접촉의 세기의 감소)을 검출하는 것에 응답하여 수행된다.
설명의 편의상, 누르기-입력 세기 임계치와 연관된 누르기 입력에 응답하여 또는 누르기 입력을 포함하는 제스처에 응답하여 수행되는 동작들의 설명은, 옵션적으로, 누르기-입력 세기 임계치 초과의 접촉의 세기의 증가, 히스테리시스 세기 임계치 미만의 세기로부터 누르기-입력 세기 임계치 초과의 세기로의 접촉의 세기의 증가, 누르기-입력 세기 임계치 미만의 접촉의 세기의 감소, 또는 누르기-입력 세기 임계치에 대응되는 히스테리시스 세기 임계치 미만의 접촉의 세기의 감소를 검출하는 것에 응답하여 트리거된다. 또한, 동작이 누르기-입력 세기 임계치 미만의 접촉의 세기의 감소를 검출하는 것에 응답하여 수행되는 것으로서 설명되어 있는 예들에서, 동작은, 옵션적으로, 누르기-입력 세기 임계치에 대응되고 그보다 더 낮은 히스테리시스 세기 임계치 미만의 접촉의 세기의 감소를 검출하는 것에 응답하여 수행된다. 위에서 설명한 바와 같이, 일부 실시예들에서, 이러한 응답들의 트리거는 또한 시간-기반 기준들이 충족됨(예컨대, 제1 세기 임계치가 충족됨과 제2 세기 임계치가 충족되는 사이에 지연 시간이 경과됨)에 따라 좌우된다.
사용자 인터페이스들 및 연관된 프로세스들(USER INTERFACES AND ASSOCIATED PROCESSES)
이제 예를 들어, 디스플레이, 터치 감응형 표면, 및 (옵션적으로) 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 휴대용 다기능 디바이스(100) 또는 디바이스(300)와 같은 전자 디바이스 상에서 구현될 수 있는 사용자 인터페이스들("UI") 및 연관된 프로세스들의 실시예들에 대하여 집중한다.
이러한 사용자 인터페이스들 및 연관된 프로세스들은 다음과 같은 새롭고 개선된 방법들을 제공한다:
Figure 112023028445147-pat00024
메시지들에 확인응답하기;
Figure 112023028445147-pat00025
이전에 전송된 메시지들을 편집하기;
Figure 112023028445147-pat00026
이전에 전송된 메시지에 대한 편집 내역을 디스플레이하기;
Figure 112023028445147-pat00027
메시지에 임팩트 효과 옵션들을 적용하기(예컨대, 사용자가 전달하고자 하는 바를 표현하기);
Figure 112023028445147-pat00028
"투명 잉크"를 사용하여 비공개 메시지들을 디스플레이하기;
Figure 112023028445147-pat00029
향상된 메시지 인터페이스 콘텐츠(예컨대, "풀-스크린(full screen) 모멘트")를 디스플레이하기;
Figure 112023028445147-pat00030
두 개의 별개의 메시지들 내의 콘텐츠의 특정 조합들에 대응되는 콘텐츠(예컨대, "마법의 모멘트")를 디스플레이하기;
Figure 112023028445147-pat00031
메시지 버블들 만들기;
Figure 112023028445147-pat00032
이모지들 제안하기;
Figure 112023028445147-pat00033
사용자들 사이에 콘텐츠 뷰잉을 동기화하기;
Figure 112023028445147-pat00034
수기 입력들을 통합하기;
Figure 112023028445147-pat00035
메시지 트랜스크립트 내의 콘텐츠를 선택적으로 스크런치(scrunch)하기;
Figure 112023028445147-pat00036
카메라 통합하기;
Figure 112023028445147-pat00037
검색 및 공유 통합하기;
Figure 112023028445147-pat00038
대화형 애플리케이션들 통합하기;
Figure 112023028445147-pat00039
스티커들 통합하기;
Figure 112023028445147-pat00040
결제하기;
Figure 112023028445147-pat00041
아바타들과 상호작용하기; 및
Figure 112023028445147-pat00042
제안하기.
도 5a 내지 도 5k는 일부 실시예들에 따른, 메시지 트랜스크립트들 및 메시지 확인응답들을 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다. 특히, 도 5a는 전자 디바이스의 디스플레이 상에 디스플레이되는 (예컨대, 메시징 애플리케이션에 대한) 메시징 사용자 인터페이스의 메시징 사용자 인터페이스(5002)를 예시하며, 전자 디바이스는 때때로 제1 전자 디바이스라 불리는데, 이는 제1 전자 디바이스와 통신하는 다른 전자 디바이스들로부터 그것을 구별하는 것을 돕기 위함이다. 제1 전자 디바이스는 또한 터치 감응형 표면 및 이 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된, 터치 스크린 디스플레이 또는 트랙 패드 내의 것들과 같은 하나 이상의 센서들을 포함한다.
도 5a에 도시된 바와 같이, 메시징 사용자 인터페이스(5002)는 전자 디바이스의 사용자(예컨대, Genevive)와 다른 전자 디바이스의 적어도 하나의 타 사용자(예컨대, Isaac) 사이의 메시징 세션의 대화 트랜스크립트(5004)를 포함한다. 이 예에서 대화 트랜스크립트(5004)는 각각 각자의 메시지 구역(5008) 내의 다수의 메시지들을 포함한다. 제1 메시지(5006)에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉(5010)을 갖는 제1 입력. 제1 입력(5010)을 검출하는 것에 응답하여, 전자 디바이스는 제1 메시지 구역에 대응되는 메시징 인터페이스 내의 위치에 도 5b의 확인응답 선택 어포던스(5012)를 디스플레이한다. 이 예에서, 확인응답 선택 어포던스는 복수의 확인응답 옵션들: 즉 5014-1(하트), 5014-2(썸즈 업(thumbs up)), 5014-3(썸즈 다운(thumbs down)), 5014-4("HA"), 5014-5("!!") 및 5014-6("?")을 디스플레이한다. 다른 실시예들은 더 적은, 추가적인 또는 상이한 확인응답 옵션들을 포함할 수 있다. 전자 디바이스는 옵션(5014-2)(썸즈 업)과 같은 각자의 확인응답 옵션(또는 각자의 확인응답 옵션에 대응되는 히트 구역) 상의 제2 접촉(예컨대, 탭 제스처, 가볍게 누르기 제스처, 깊게 누르기 제스처 또는 리프트 오프)에 의한 제2 입력(5106)을 수신하는 것에 응답하여, 도 5c에 도시된 바와 같이, 각자의 확인응답 옵션을 선택하여 이를 제1 메시지(5006) 또는 제1 메시지 구역(5008-1)에 적용한다. 이 예에서 옵션(5014-2)인, 선택된 확인응답 옵션은 각자의 확인응답 구역(5018) 내에 디스플레이된다. 도 5h에 도시된 바와 같이, (때때로 대화라고 불리우는) 메시징 세션에 참여하는 타 사용자(들)(이 예에서는 isaac)의 전자 디바이스(들)는 동일한 선택된 확인응답 옵션을 제1 메시지 구역에 근접하게 디스플레이한다.
선택된 확인응답 옵션을 편집하기 위해, 사용자는 도 5c에 도시된 바와 같이, 제3 접촉(5022)에 의해 제3 입력을 한다. 제3 접촉에 의한 제3 입력을 검출하면, 전자 디바이스는 도 5d에 도시된 바와 같이 확인응답 편집 인터페이스(5024)를 디스플레이한다. 옵션적으로, 확인응답 편집 인터페이스는 대화 트랜스크립트의 상측 상에 그리고/또는 대화 트랜스크립트 대신에 디스플레이된다. 옵션적으로, 이 예에서 옵션(5014-2)인, 현재 선택된 확인응답 옵션은 도 5d에 도시된 바와 같이 확인응답 편집 인터페이스(5024) 내의 다른 이용가능한 확인응답 옵션들과 시각적으로 구별된다.
도 5e는 상이한 제2 확인응답 옵션(5014-1)을 선택하는 입력인 접촉(5026)을 도시하고, 도 5f는 편집된 확인응답을 갖는(즉, 제1 확인응답 옵션(5014-2) 대신에 디스플레이된 제2 확인응답 옵션(5014-1)을 갖는) 대화 트랜스크립트 내의 메시지 구역을 도시한다.
일부 실시예들에서, 제1 전자 디바이스의 사용자가 제1 메시지 구역에 대해 이전에 선택된 확인응답 옵션을 편집하기 위해 확인응답 편집 인터페이스(5024)를 사용하는 동안, 메시징 세션 내의 다른 사용자의 전자 디바이스는 도 5g에 도시된 바와 같이, 확인응답 준비 표시자(5020)를 그 전자 디바이스에 의해 디스플레이된 대화 트랜스크립트(5004) 내의 제1 메시지 구역에 근접하게(예컨대, 근처, 인접 또는 부분적으로 중첩되게) 디스플레이한다.
동일한 메시징 세션 내의 서로 상이한 사용자들이 동일한 메시지 또는 메시지 구역에 대해 상이한 확인응답 옵션들을 선택할 수 있다. 일부 실시예들에서, 도 5i에 도시된 바와 같이, 전자 디바이스는, 대화 트랜스크립트 내에, 메시징 세션 내의 사용자들이 제2 메시지 구역에 대한 복수의 확인응답 옵션들을 선택했다는 표지(5036)를 디스플레이한다. 도 5i에 도시된 예에서, 표지(5036)는 중첩된 확인응답 옵션 아이콘들의 스택이지만, 대안적으로 복수의 개별적 확인응답 옵션 아이콘들일 수 있다. 도 5i에 도시된 바와 같이, 표지(5036)는 옵션적으로 제2 메시지 구역(5008-02)에 인접하고/하거나 부분적으로 중첩된다.
도 5j는 메시징 세션 내의 사용자들에 의해 선택된 확인응답 옵션의 각각의 유형에 대한 탤리(tally)를 포함하는 사용자 인터페이스의 예를 도시한다. 예를 들어, 도 5j에 도시된 바와 같이, 사용자 인터페이스는 메시징 세션 내의 사용자들에 의해 선택된 세 개의 개별적 확인응답 옵션들에 대한 탤리들(5040-1, 5040-2, 5040-3)을 포함한다. 일부 실시예들에서, 도 5j에 도시된 사용자 메시징 인터페이스는 메시징 세션 내의 다수의 사용자가 동일한 메시지(또는 대응되는 메시지 구역)에 대한 확인응답 옵션을 선택했음을 나타내는 표지(5036)를 갖는 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉(예컨대, 도 5i의 접촉(5034))에 의한 입력을 검출하는 것에 응답하여 전자 디바이스에 의해 디스플레이된다.
탤리들(5040) 중 하나를 선택함으로써, 사용자는 임의의 특정 확인응답 옵션을 선택한 사용자들을 볼 수 있다. 전자 디바이스는, 각자의 메시지 구역에 대한 특정 확인응답 옵션에 대한 탤리(5040)에 대응되는 터치 감응형 표면 상의 위치에서 접촉(예컨대, 도 5j에 도시된 바와 같은 접촉(5041))에 의한 입력에 응답하여, 도 5k에 도시된 바와 같이, 각자의 메시지 구역에 대한 특정 확인응답 옵션을 선택한 사용자들을 표현하는 아이콘들(5042)(예컨대, 아바타들)을 디스플레이한다.
도 5l 내지 도 5t는 메시지 트랜스크립트를 디스플레이하는 동안 이전에 전송된 메시지들을 편집하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 5l은 전자 디바이스의 디스플레이 상의 메시징 애플리케이션의 메시징 사용자 인터페이스(5002)를 도시한다. 메시징 사용자 인터페이스(5002)는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(5004), 및 사용자의 전자 디바이스로부터 메시징 세션 내의 적어도 하나의 타 사용자로 전송된 제1 메시지(5046-1)를 포함하는 제1 메시지 구역(5044)을 포함한다.
제1 메시지(5046-1)는 그것이 이미 전송되었다는 사실에도 불구하고 편집될 수 있다. 제1 메시지의 편집을 개시하기 위해, 사용자는 제1 메시지 또는 제1 메시지에 대한 메시지 구역 상에서 미리 정의된 터치 입력(5048)(예컨대, 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처)을 이용하여 제1 메시지를 선택한다. 일부 실시예들에서, 전자 디바이스는 입력(5048)을 검출하는 것에 응답하여, 도 5m에 도시된 것과 같은 메뉴 인터페이스를 디스플레이한다. 대안적으로, 전자 디바이스는 입력(5048)을 검출하는 것에 응답하여, 도 5n에 도시된 바와 같이 메시지 편집 인터페이스(5022)를 디스플레이한다. 일부 실시예들에서, 제1 메시지 상의 제1 입력 제스처(예컨대, 탭 제스처)가 메뉴 인터페이스로 전이하는 데 사용되는 한편(예컨대, 도 5m에 도시된 바와 같음), 제2 입력 제스처(예컨대, 깊게 누르기)는 도 5n의 메시지 편집 인터페이스(5052)로 전이하는 데 사용된다. 도 5m에 도시된 바와 같이 메뉴 인터페이스로부터, 사용자는 메뉴 인터페이스 내의 편집 옵션을 선택하는 터치 입력(5050)(도 5m)에 의해, 메시징 애플리케이션을 도 5n에 도시된 메시지 편집 인터페이스(5022)로 전이할 수 있다.
제1 메시지(5046-1)와 같은 각자의 메시지를 편집하기 위한 도 5n의 메시지 편집 인터페이스(5052)는 키보드(5054) 및 업데이트 어포던스(5056)를 포함한다. 각자의 메시지에 대한 메시지 편집 인터페이스(5052)를 디스플레이하는 동안, 전자 디바이스는 각자의 메시지를 개정하는(revise) 도 5n에 도시된 입력(5057)과 같은 하나 이상의 입력들을 검출하고, 메시지의 개정된 버전을 디스플레이하며, (예컨대, 메시징 세션 내의 하나 이상의 타 참가자들의 하나 이상의 다른 전자 디바이스들로 업데이트된 메시지를 전송하기 위한) 업데이트 어포던스를 활성화하는 입력을 검출한다.
도 5o는 메시지(5046)가 업데이트된 후의 대화 트랜스크립트(5004)를 도시한다. 대화 트랜스크립트(5004)는 편집된 메시지를 포함하기 때문에, 편집된 메시지는 메시지의 원래 버전이 메시징 세션 내의 타 참가자(들)로 전송된 후에 특정 메시지가 개정되었다는 하나 이상의 표시들(5058)을 포함한다. 도 5o에서, 개정에 대한 그러한 두 개의 표시들이 있으며, 표시(5058-1)는 메시지 구역 뒤의 섀도우 구역이고; 표시(5058-2)는 메시지의 개정된 버전을 포함하는 메시지 구역 아래에 디스플레이되는 텍스트(예컨대, "Edited")이다.
편집되거나 개정된 메시지는 또 다시 편집될 수 있다. 전자 디바이스는, 메시지의 개정된 버전(5046-2)을 편집하라는 요청에 대응되는 입력(예컨대, 도 5o의 입력(5060))에 응답하여, 도 5r에 도시된 바와 같이, 메시지의 개정된 버전에 대한 메시지 편집 인터페이스를 디스플레이한다. 도 5r에 도시된 바와 같이, 메시지 편집 인터페이스는 편집될 메시지(5046-2), 키보드 및 업데이트 어포던스(옵션적으로 이는 적어도 하나의 개정이 메시지에 행해질 때까지 보이지 않음)를 포함한다.
메시징 세션 내의 참가자는 편집된 메시지의 모든 버전 또는 둘 이상의 버전을 보기 위해 요청할 수 있다. 예를 들어, 편집된 메시지 상의 도 5o의 미리 정의된 입력(5060)에 응답하여, 전자 디바이스는 도 5p에 도시된 사용자 인터페이스를 디스플레이하며, 대화 트랜스크립트의 디스플레이는 제1 메시지의 개정된 버전(5046-2) 및 메뉴(5062) 또는 편집 옵션들의 목록을 제외하고는 억제된다. 이 예에서, 디스플레이된 메뉴(5062)는 (입력(5060)에 의해 선택된 메시지를 복사하기 위한) 복사 어포던스(5064), (입력(5060)에 의해 선택된 메시지에 대한 편집들을 보여주는) 편집 보기 어포던스(5066), (입력(5060)에 의해 선택된 메시지를 삭제하기 위한, 또는 대안적으로 입력(5060)에 의해 선택된 메시지에 대해 행해진 모든 편집을 실행취소하기 위한) 삭제 어포던스(5068), 및 추가 옵션 디스플레이 어포던스(5070)를 포함한다. 도 5p에 도시된 예에서, "편집 보기" 어포던스(5066)의 위치에 대응되는 터치 감응형 표면 상의 위치에서 입력(5072)(예컨대, 탭 제스처)이 검출되며, 이는 활성화된 경우, 도 5q에 도시된 바와 같이, 제1 메시지의 현재 버전(5046-1)뿐만 아니라 이전 버전(5046-2)을 포함하는 사용자 인터페이스(5074)(도 5q)를 디스플레이한다. 도 5q의 사용자 인터페이스 내의 추가 입력(5076 또는 5078)은 편집할 메시지의 버전을 선택한다. 예를 들어, 선택된 버전이 하이라이팅되고, 이어서 편집(Edit)(5080) 상의 터치 입력이 메시지의 선택된 버전의 편집을 개시한다. 대안적으로, 완료(Done)(5082) 상의 터치 입력은 메시지의 선택된 버전의 편집을 종료한다.
도 5p에 도시된 편집 메뉴 인터페이스에 대한 대안으로서, 선택된 메시지(도 5o의 입력(5060)에 응답하여 선택됨) 및 어포던스(예컨대, "편집 보기"옵션(5086))를 포함하는 메뉴를 포함하는 도 5s에 도시된 편집 메뉴 인터페이스가 있으며, 이는, 활성화될 때, 선택된 메시지의 현재 버전(5046-2) 및 선택된 메시지의 하나 이상의 이전 버전들(예컨대, 버전 5046-1)을 포함하는 도 5t에 도시된 사용자 인터페이스의 디스플레이를 생성한다.
도 5u 내지 도 5bf는 메시지 입력 또는 메시지 구역에 임팩트 효과 옵션을 적용하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 5u는 전자 디바이스의 사용자(이 예에서 Wendy)와 적어도 하나의 타 사용자(예컨대, 이 예에서 Max, 다른 전자 디바이스의 사용자) 사이의 메시징 세션의 대화 트랜스크립트(5004) 및 제1 메시지 입력(5102)(예컨대, 메시지 입력 영역 내에 전자 디바이스의 사용자에 의해 입력되었으나 아직 메시징 세션 내의 적어도 하나의 타 사용자로 전송되지 않은 텍스트, 스티커들, 이미지들 및/또는 다른 그래픽들)을 포함하는 메시지 입력 영역(5100)을 갖는 메시징 사용자 인터페이스(5002)를 예시한다. 도 5u에서, 제1 메시지 입력(5102)은 아직 전송되지 않았다.
일부 실시예들에서, 도 5aa의 임팩트 선택 인터페이스(5110)의 활성화를 트리거하기 위해, 메시지 입력 영역(5100) 내의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉에 의한 제1 입력(5102)은 메시지 입력 영역(5100)에서 수신된 특정 제스처(예컨대, 스와이프 제스처)를 포함한다. 이 예에서, 메시지 입력 영역은 임팩트 선택 어포던스(5104)를 포함하며, 제1 입력의 접촉(5106)의 위치는 임팩트 선택 어포던스에 대응된다. 일부 실시예들에서, 임팩트 선택 어포던스(5104)는 다목적 어포던스이고, 동일한 어포던스(5104) 상의 제2 제스처(예컨대, 탭)는 메시지 입력 영역(5100) 내의 메시지(5102)를 전송하는데 사용된다. 어포던스(5104) 상의 제2 제스처를 포함하는 입력을 검출하면, 전자 디바이스는 메시지(5102)를 전송하고 도 5v에 도시된 사용자 인터페이스로 전이한다. 유사하게, 메시지(5102)가 전송된 후, 타 사용자의 전자 디바이스는 그 메시지를 수신하고, 도 5w에 도시된 사용자 인터페이스를 보여준다.
도 5x, 도 5y 및 도 5z에 예시된 일부 대안적인 실시예들에서, 깊게 누르기 입력(5108-1, 5108-2, 5108-3)은 도 5x, 도 5y 및 도 5z에 도시된 바와 같이 전자 디바이스에 의해 검출될 때, 메시징 애플리케이션으로 하여금 복수의 임팩트 효과 옵션들(예컨대, 임팩트 효과 옵션들(5112-1 내지 5112-4)을 포함하는 도 5aa의 임팩트 선택 인터페이스(5110)를 디스플레이하게 한다. 깊게 누르기 입력의 증가하는 세기는 도 5x, 도 5y 및 도 5z의 세기 다이어그램들로 표현된다. 또한, 도 5x, 도 5y 및 도 5z에 도시된 바와 같이, 임팩트 선택 어포던스(5104) 상의 깊게 누르기 입력(5108-1, 5108-2, 5108-3), 뒤이어 제1 임팩트 효과 옵션(예컨대, 도 5aa의 임팩트 효과 옵션(5112-1) 상의 입력(5108-4))으로의 드래그, 그리고 이어서 각자의 임팩트 효과 옵션(5112)에 대한 어포던스 위에 있는 동안 일시 정지하는 것은 그 임팩트 효과 옵션을 선택한다.
도 5aa의 임팩트 선택 인터페이스(5110)는 선택 메시지 구역 임팩트 효과 옵션을 디스플레이하기 위한 "버블" 어포던스(5114) 및 풀-스크린 임팩트 효과 옵션을 선택하기 위한 "스크린" 어포던스(5116)를 포함한다.
일부 실시예들에서, 임팩트 선택 인터페이스(5110)는 현재 선택된 임팩트 효과 옵션의 애니메이션화된 미리보기를 도시한다. 예를 들어, 도 5ab 내지 도 5ad의 시퀀스는 "라우드" 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서의 입력(5108-5)에 응답하여, 제1 메시지 입력 ("Congratulations!")에 적용되는 메시지 구역 임팩트 효과 옵션인 "라우드" 임팩트 효과 옵션의 애니메이션화된 미리보기를 도시한다. 이 예에서, "라우드" 임팩트 효과 옵션의 미리보기는 처음에는 증가하고 이어서 감소하는 메시지의 글꼴 크기와 메시지 구역의 크기를 보여준다.
다른 예에서, 도 5ae 내지 도 5ag의 시퀀스는 "슬램" 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제2 입력(5108-6)에 응답하여, 제1 메시지 입력 ("Congratulations!")에 적용되는 메시지 구역 임팩트 효과 옵션인 "슬램" 임팩트 효과 옵션의 애니메이션화된 미리보기를 도시한다. 이 예에서 "슬램" 임팩트 효과 옵션의 미리보기는 메시지의 글꼴 크기와 메시지 구역의 크기가 처음에는 증가하고 이어서 감소하며, 동시에 메시지 구역의 기울기 또는 회전 상태를 변경하고 옵션적으로 메시지 구역을 둘러싸는 배경 구역의 음영 또는 색상을 변경하는 것을 보여준다. 옵션적으로, 각자의 임팩트 효과 옵션의 애플리케이션은 메시지 구역 내의 글꼴 색상, 배경 음영 또는 색상 등과 같은, 임팩트 효과 옵션이 적용되는 메시지 구역의 추가적인 특성들을 변경할 수 있다.
도 5ag는 또한 사용자 선택 임팩트 효과 옵션(이 경우에는 "슬램" 옵션)에 대응되는 위치에서, 전송 어포던스 상의 제3 입력(5108-7)을 도시한다. 이에 응답하여, 메시지를 작성하는 사용자의 전자 디바이스는 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하고, 제1 메시지 입력을 포함하는 메시지 구역을 대화 트랜스크립트 내에 디스플레이하며, 일부 실시예들에서는 선택된 임팩트 효과 옵션을 도 5ah에 도시된 바와 같이 메시지 구역에, 또는, 도 5ai에 도시된 바와 같이 전체 대화 트랜스크립트에 적용하고(임팩트 효과 옵션이 적용된 메시지 구역을 확대하고, 대화 트랜스크립트 내의 하나 이상의 다른 메시지 구역들의 크기를 감소시킴), 이어서, 도 5aj에 도시된 바와 같이, 전송된 메시지를 포함하는 대화 트랜스크립트의 최종 또는 정적 디스플레이로 전이한다. 유사하게, 전송된 메시지는 Wendy와 같은 메시징 세션 내의 하나 이상의 타 사용자들의 전자 디바이스에서 디스플레이되고, 선택된 임팩트 효과 옵션은 전송측 사용자에 의해 어떤 임팩트 효과 옵션이 선택되었는지에 따라, 전송된 메시지의 메시지 구역 또는 전체 대화 트랜스크립트 중 하나에 적용되며, 그 일례는 도 5ak, 도 5al, 도 5am의 시퀀스에 도시된다.
도 5an 내지 도 5as의 시퀀스는 각자의 전송 메시지("congrats")에 적용된 "라우드" 임팩트 효과 옵션의 예를 도시한다. 도 5at 내지 도 5aw의 시퀀스는 각자의 전송된 메시지("I'm sorry.")에 적용된 "젠틀" 임팩트 효과 옵션의 예를 도시한다.
일부 실시예들에서, 선택된 임팩트 효과 옵션은 풀-스크린 효과를 위한 메시지를 전송 또는 수신하는 전자 디바이스의 디스플레이 스크린 - 디스플레이 스크린은 전송 메시지를 갖는 메시지 구역을 포함함 - 전체(또는 실질적으로 전체)에 적용되며, 그 예가 도 5ax 내지 도 5bf의 사용자 인터페이스 이미지들의 시퀀스에 의해 도시된다. 도 5ax 내지 도 5bf는 제1 메시지 입력("Hell No!!")의 "슬램" 효과의 진행을 도시한 것으로, 디스플레이된 제1 메시지 입력이 확대되고, 회전되고, 어두운 배경(도 5ax)을 가지고 도시되는 것으로 시작하여, 이어서 심지어 더 크고 약간 더 밝아진 배경(도 5ay)을 가지고 디스플레이되고, 이어서 이전보다 덜 확대되고 상이한 각도로 회전한 다음(도 5az), 이어서 더 축소된 확대를 가지고 흐린 테두리들을 이용하여 도시되고(도 5ba), 이어서 축소된 크기, 상이한 배경 및 상이한 회전을 가지고 도시되고(도 5bb), 이어서 제1 메시지 입력이 정상(디폴트) 크기로, 비회전 상태로, 정상(디폴트) 배경을 가지고 도시될 때까지(도 5bf), 메시지 구역 주위로 상이한 섀도우들의 시퀀스(도 5bc, 도 5bd, 도 5be)를 가지고 도시된다.
도 5bg 내지 도 5ca는 은폐된 메시지들과 상호작용하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 5bg에 도시된 임팩트 선택 인터페이스(5110)는 복수의 임팩트 효과 옵션들(예컨대, 도 5aa와 관련하여 이 문서의 다른 곳에서 설명된 임팩트 효과 옵션들(5112-1 내지 5112-4))을 포함한다. 이 예에서, 임팩트 선택 인터페이스(5110)는 또한 선택 메시지 구역 임팩트 효과 옵션들을 디스플레이하기 위한 "버블" 어포던스(5114) 및 풀-스크린 임팩트 효과 옵션들을 선택하기 위한 "스크린" 어포던스(5116)를 포함한다.
일부 실시예들에서, 디스플레이된 임팩트 효과 옵션들은 대화 트랜스크립트 내의 메시지의 콘텐츠를 은폐하는 옵션을 포함한다(도 5aa의 "투명 잉크" 옵션(5112-1)이 도 5bg에서 빈 메시지 구역에 의해 표시됨). 도 5bg에 도시된 예에서, 투명 잉크 옵션은 (사용자 지정 메시지 입력과 함께) 각자의 임팩트 효과 옵션을 갖는 메시지를 전송하기 위한 전송 어포던스(5118)를 포함한다. 도 5bg에 도시된 예에서, 임팩트 선택 인터페이스(5110)는 임의의 임팩트 효과 옵션의 선택을 취소하고, 메시징 애플리케이션을 메시징 애플리케이션의 이전 사용자 인터페이스 또는 메시징 애플리케이션의 미리 정의된 사용자 인터페이스 중 어느 하나로 복귀시키기 위한 취소 어포던스(5120)를 포함한다.
투명 잉크 옵션을 갖는 메시지(이하, 참조를 쉽게 하기 위해 "은폐된 메시지"로 지칭함)가 전송되면, 도 5bh에 도시된 바와 같이, 은폐된 메시지는 디스플레이되지 않거나 예를 들어 메시지를 은폐하는 스크린 요소들(5124)에 의해 가려지고(obscured), 이는 도 5bh 내지 도 5bl의 시퀀스에 도시된 바와 같이, 은폐된 메시지를 포함하는 대화 트랜스크립트를 디스플레이하는 전자 디바이스의 사용자가 은폐된 메시지를 포함하는 메시지 구역 위로 터치 입력(5128-a, 5128-b, 5128-c)을 슬라이딩하는 것과 같은 각자의 제스처를 수행할 때까지 - 이는 터치 입력(5128-1, 5128-b, 5128-c)의 위치에 대응하여 메시지의 일부분을 일시적으로 노출함 -; 또는, 도 5bm 내지 도 5bp의 시퀀스에 도시된 바와 같이, 은폐된 메시지를 포함하는 메시지 구역 상에 깊게 누르기 제스처를 수행할 때까지 지속되며, 여기서 은폐된 메시지의 일부분은 깊게 누르기 입력(5130-a, 5130-b, 5130-c)의 세기에 대응하여, 또한 옵션적으로 깊게 누르기 입력(5130-a, 5130-b, 5130-c)의 위치에 대응하여 노출된다. 이러한 예들에서, 은폐된 메시지는 은폐된 메시지 또는 그 일부분이 일시적으로 노출되게 하는 접촉에 의한 입력의 종료를 검출하는 것에 응답하여 다시 은폐된다.
또 다른 예에서, 도 5bq 내지 도 5bv의 시퀀스는 도 5bq 내지 도 5bt에 도시된 바와 같이, 은폐된 메시지가 점차적으로 노출되고, 이어서 도 5bt 내지 도 5bv에 도시된 바와 같이, 점차적으로 은폐되는 것을 도시한다. 또 다른 예에서, 도 5bw 내지 도 5ca의 시퀀스는 점차적으로 노출되는 사진의 그림을 포함하는 은폐된 메시지를 도시한다.
도 5cb 내지 도 5cw는 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는 경우에, 향상된 메시지 콘텐츠를 트리거하고 메시징 사용자 인터페이스들에 효과를 적용하기 위한 예시적인 사용자 인터페이스들을 예시한다. 특히, 메시징 세션 내의 각자의 메시지는 향상된 메시지 콘텐츠 트리거와 함께 전송될 수 있고, 호환가능한 메시징 애플리케이션을 갖는 전자 디바이스가 향상된 메시지 콘텐츠 트리거와 함께 그 메시지를 수신하는 경우, 전자 디바이스는 수신된 메시지 및 향상된 메시지 콘텐츠와 함께 대화 트랜스크립트를 디스플레이한다. 일부 실시예들에서, 디스플레이될 특정 향상된 메시지 콘텐츠는 향상된 메시지 콘텐츠 트리거의 하나 이상의 파라미터들에 의해 표시된다.
도 5cb 및 도 5cc는 풀-스크린 임팩트 효과의 미리보기를 디스플레이하는 사용자 인터페이스의 예를 도시하며, 이 경우 풀-스크린 임팩트 효과는 이동하는 풍선들 또는 애니메이션 풍선들(5152-1)을 포함한다. 도 5cb에 도시된 바와 같이, "Congratulations!"라는 메시지를 작성하는 전자 디바이스의 사용자는 풀-스크린 임팩트 효과 옵션을 선택하기 위해 "스크린" 어포던스(5116)를 선택했다. 유사하게, 도 5cd 내지 도 5cf의 시퀀스는 풀-스크린 임팩트 효과의 미리보기를 디스플레이하는 사용자 인터페이스의 예를 도시하며, 이 경우 풀-스크린 임팩트 효과는 이동하는 색종이 또는 애니메이션 색종이(5152-2)를 포함한다. 여기에 도시된 예에서, 사용자는 도 5cc에 도시된 스와이프 제스처(5156)와 같은 스와이프 제스처를 사용하여 이용가능한 풀-스크린 임팩트 효과들에 걸쳐 내비게이션하며, 이는 전자 디바이스로 하여금 도 5cc에 도시된 풍선 풀-스크린 임팩트 효과의 미리보기로부터 도 5cd에 표시된 색종이 풀-스크린 임팩트 효과로 이동하게 한다. 도 5cb 및 도 5cc에 도시된 바와 같이, 사용자 인터페이스는 어느 풀-스크린 효과 옵션이 현재 선택되었는지 또는 현재 미리보기 중인지를 표시하고, 또한 얼마나 많은 풀-스크린 효과 옵션이 이용가능한지와, 또한 풀-스크린 효과 옵션의 시퀀스에서 그 옵션들 중 어느 옵션이 현재 보여지고 있는지를 표시하기 위한 효과 옵션 표시자(5154)(때로는 페이지 도트(page dot)라고 함)를 포함할 수 있다.
도 5cg는 메시지들 중 어느 것도 향상된 메시지 콘텐츠 트리거를 포함하지 않는 대화 트랜스크립트를 갖는 사용자 인터페이스의 예이며, 따라서 트랜스크립트 내의 메시지들은 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하지 않고 디스플레이된다.
도 5ch 내지 도 5co의 시퀀스는 대응되는 향상된 메시지 콘텐츠 트리거를 포함하는 메시지("Happy Birthday!!!!!")가 수신될 때 디스플레이되는 풍선 풀-스크린 효과의 예를 도시한다. 유사하게, 도 5cp 내지 도 5cw의 시퀀스는 대응되는 향상된 메시지 콘텐츠 트리거를 포함하는 메시지("Happy New Year!!!")가 수신될 때 디스플레이되는 폭죽 풀-스크린 효과의 예를 도시한다.
도 5cx 내지 도 5dc는 별개의 메시지들 내의 조합가능한 콘텐츠를 검출하고 그에 응답하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 5cx에서, 메시징 사용자 인터페이스(5002)는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자(예컨대, 다른 전자 디바이스의 사용자) 사이의 메시징 세션 대화 트랜스크립트(5004) 및 메시지 입력 영역(5100)을 포함한다. 제1 메시지 구역(5008) 내의 수신된 제1 메시지(5170)가 대화 트랜스크립트(5004) 내에 도시된다. 제1 메시지(5170), 예를 들어, 맥주잔은 제1 조합가능한 콘텐츠(예컨대, 이모티콘, 또는 이모지 또는 스티커와 같은 이미지)를 갖는다. 도 5cy에서, 전자 디바이스의 사용자는 메시징 사용자 인터페이스(5002)의 메시지 입력 영역(5100) 내에 제2 메시지(5172)를 입력하고, 전송 어포던스(5118)를 선택하는 입력(5174)에 의해 제2 메시지(5172)를 전송한다. 그 결과 도 5cz에 도시된 메시징 사용자 인터페이스가 디스플레이된다.
제2 메시지(5172)가 제1 메시지(5170)의 제1 조합가능한 콘텐츠와 함께 미리 정의된 조합인 콘텐츠(5176)를 형성하는 제2 조합가능한 콘텐츠를 포함하는 경우, 전자 디바이스는 (도 5da에 도시된 바와 같이) 함께 부딪치고 있는 두 개의 맥주잔들의 애니메이션 및/또는 단어 "Cheers!"의 디스플레이와 같은 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이한다 (도 5da에 도시된 바와 같음). 유사하게, 메시징 세션의 하나 이상의 타 사용자들의 전자 디바이스들은 제1 메시지, 제2 메시지 및 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이할 것이다. 미리 정의된 조합에 대응되는 콘텐츠(5176)는 제2 메시지가 전송된 후에 잠깐 디스플레이되는 애니메이션일 수 있다는 것을 유의한다. 옵션적으로, 미리 정의된 조합에 대응되는 콘텐츠의 디스플레이는, 조합가능한 콘텐츠를 갖는 제1 및 제2 메시지들 모두가 대화 트랜스크립트(5004) 내에 디스플레이되는 동안, 또는 다른 미리 정의된 기준들이 만족되는 경우(예컨대, 조합가능한 콘텐츠를 갖는 제1 및 제2 메시지들 모두가 대화 트랜스크립트(5004) 내에 디스플레이되고, 적어도 N 초 동안 메시징 세션에 새로운 활동이 없는 경우로, 이때 N은 1 내지 60 초 사이의 미리 정의된 값임) 주기적으로 반복된다.
도 5db 및 도 5dc의 시퀀스는 제1 사용자가 제1 메시지(5178) "Happy"를 전송했고, 제2 사용자가 제2 메시지(5180) "Birthday!"를 입력하는 조합가능한 콘텐츠의 다른 예를 도시한다. 제1 메시지 및 제2 메시지 모두가 미리 정의된 조합에 대응되는 조합가능한 콘텐츠를 포함하는 경우, 미리 정의된 조합에 대응되는 콘텐츠는 전송자의 전자 디바이스 또는 수신자의 전자 디바이스 중에 하나, 또는 (전형적으로) 둘 모두에 의해 디스플레이된 메시징 사용자 인터페이스의 메시지 트랜스크립트 내에 디스플레이될 것이다. 예를 들어, 이 예에서 미리 정의된 조합에 대응되는 콘텐츠는 도 5ch 내지 도 5co에 도시된 것과 유사한 풍선들일 수 있다.
도 5dd 내지 도 5di는 일부 실시예들에 따른, 메시지 구역 유형 또는 형상을 선택하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 5dd는 이미 메시지 입력 구역에 이미 입력된 제1 메시지 입력(5102)("Yes!")을 갖는 메시지 입력 구역(5100)을 갖는 메시징 사용자 인터페이스(5002)를 도시한다. 메시징 사용자 인터페이스(5002)는 그 구역에 입력된 메시지를 전송하기 위해 메시지 입력 구역(5100) 내에 또는 그 근처에 전송 어포던스(5200)를 포함한다. 또한, 도 5dd는 옵션 어포던스(5204) 상의 접촉(5202)을 갖는 입력을 도시한다.
도 5de에 도시된 메시징 사용자 인터페이스는 옵션 어포던스(5204) 상의 접촉(5202)을 갖는 입력에 응답하여 디스플레이되며, 도 5de에 "버블" 어포던스로 라벨링된, 메시지 구역 유형/형상 선택 어포던스(5208)를 포함하는 다수의 메시지 프로세싱 옵션들에 대한 어포던스들을 포함한다. 이러한 메시징 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스는 "버블" 옵션 어포던스(5208) 상의 접촉(5206)을 갖는 입력을 수신한다.
도 5df에 도시된 메시징 사용자 인터페이스는 "버블" 어포던스(5208) 상의 접촉(5206)을 갖는 입력에 응답하여 디스플레이된다. 도 5df는 또한 제1 메시지 입력(5102)을 포함하고, 디폴트 메시지 구역 유형, 또는 이전에 선택된 메시지 구역 유형을 갖는 미리보기 메시지 구역(5210-1)을 도시한다. 이러한 실시예들에서, 메시징 애플리케이션은, 각각 대응되는 형상을 가지고, 전형적으로 대응되는 글꼴 크기를 가지며, 옵션적으로 글꼴 색상, 테두리 색상 및/또는 배경 색상 중 하나 이상을 갖는 복수의 메시지 구역 유형들 또는 옵션들을 갖는다. 도 5df에 도시된 예에서, 전송 어포던스(5200)는 메시지 입력 구역(5100) 대신 미리보기 메시지 구역(5210-1) 근처에 디스플레이된다. 제1 메시지(5172)에 대해 상이한 메시지 구역 유형을 선택하거나, 다른 이용가능한 메시지 구역 유형을 뷰잉하기 위해, 사용자는 스와이프 제스처(5212)를 입력한다. 스와이프 제스처(5212)에 응답하여, 도 5df로부터 도 5dg로의 진행에 도시된 바와 같이, 메시지 구역 유형 아이콘들의 스크롤 세트가 스크롤된다.
도 5dg에 도시된 메시징 사용자 인터페이스의 예에서, 도 5dh에 도시된 바와 같이, 전자 디바이스로 하여금 메시지 입력(5102)과 함께 사용될 메시지 구역에 대한 메시지 구역 유형을 변경하게 하는 접촉(5214)을 갖는 입력이 수신된다. 도 5dh에서, 메시지 입력(5102)은 이제 접촉(5214)(도 5dg에 도시됨)을 갖는 입력에 의해 선택된 메시지 구역 유형에 대응되는 메시지 구역 유형을 갖는 메시지 구역(5210-2) 내에 도시된다. 사용자는 계속해서 상이한 메시지 구역 유형들을 선택할 수 있다. 예를 들어, 도 5di에서, 메시지 입력(5102)은 이제 접촉(5216)을 갖는 입력에 의해 선택된 메시지 구역 유형에 대응되는 메시지 구역 유형을 갖는 메시지 구역(5210-3) 내에 도시된다.
도 5dj 내지 도 5dq는 메시지를 작성하는 동안, 자동 제안된 이모지를 디스플레이하고 선택하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 5dj에서, 메시지 입력 구역(5100) 내의, 아직 전송되지 않은, 입력 메시지(5220)를 갖는 대화 트랜스크립트(5004)를 갖는 메시징 사용자 인터페이스(5002)가 도시된다. 이 예에서, 메시징 사용자 인터페이스(5002)는 입력 메시지를 전송하기 위한 메시지 입력 구역(5100) 내에 또는 그 근처에 전송 어포던스(5200)를 포함한다.
도 5dk 내지 도 5dn에 도시된 바와 같이, 전자 디바이스는 메시지 입력 구역(5100) 내의 하나 이상의 단어들 또는 용어들을 대체하기 위한 이모지에 대한 제안들을 자동적으로 만들기 시작한다. 도시된 예에서, 전자 디바이스는 이모지로 대체될 후보들인 단어 또는 용어를 메시지 시퀀스 내에서 하이라이팅하여, 도 5dk 및 도 5dl에 도시된 바와 같이, 입력 메시지(5220) 내의 용어 "sushi"(5222)를 처음에 하이라이팅하고, 이어서, 도 5dm에 도시된 바와 같이 입력 메시지(5220) 내의 용어 "wine"(5224)을 하이라이팅하고, 이어서 도 5dn에 도시된 바와 같이 입력 메시지(5220) 내의 용어 "bowling"(5226)을 하이라이팅한다. 입력 메시지(5220) 내의 "sushi"(5222)와 같은 하이라이팅 용어들 중 하나를 (예컨대, 하이라이팅된 용어 상의 접촉을 갖는 입력에 의해) 선택하는 전자 디바이스의 사용자에 응답하여, 도 5do에 도시된 바와 같이, 그 용어는 그 용어에 대응되는 대응 이모지(5232)에 의해 대체된다. 유사하게, 도 5dp에서, 입력 메시지(5220) 내의 용어 "wine"은 입력 메시지(5220) 내의 하이라이팅된 용어 "wine"의 사용자 선택에 응답하여 그 용어에 대응되는 이모지(5234)(예컨대, 와인잔 이모지)에 의해 대체되었다. 제3 예에서, 입력 메시지(5220) 내의 용어 "bowling"은 입력 메시지(5220) 내의 하이라이팅된 용어 "bowling"의 사용자 선택에 응답하여 그 용어에 대응되는 이모지(5236)(예컨대, 볼링 이모지)로 대체되었다.
메시지 확인응답(Message Acknowledgements)
도 6a 내지 도 6e는 일부 실시예들에 따른, 대화 트랜스크립트 내의 메시지 구역에 확인응답을 적용하기 위한 프로세스의 흐름도들이다. 보다 구체적으로, 이들 방법들은 복수의 확인응답 옵션들을 포함하는 확인응답 선택 어포던스를 디스플레이하는 것과 선택된 확인응답 옵션을 수신된 메시지에 적용하는 것에 관한 것이다. 일부 실시예들에서, 적용된 확인응답 옵션의 표시는 원격 디바이스로 송신된다(예컨대, 원격 디바이스의 대화 트랜스크립트 내에 디스플레이하기 위함). 확인응답은 사용자로 하여금 다수의 단어들을 타이핑하지 않고 신속하게 정서를 전달하게 허용한다. 키스트로크들을 절약하여 사용자 시간을 절약할 수 있으므로, 보다 효율적인 사람-기계 상호작용을 생성한다.
이들 방법들을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5a 내지 도 5k에 도시된다.
도 6a 내지 도 6e는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(600)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
방법(600)을 수행하는 동안, 전자 디바이스는 디스플레이 상에 (예컨대, 메시징 애플리케이션의) 메시징 사용자 인터페이스를 디스플레이한다(602). 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 예를 들어, 도 5a의 메시징 사용자 인터페이스(5002) 내의 대화 트랜스크립트(5004)를 참조하라. 전자 디바이스는 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스(예컨대, 제2 전자 디바이스)로부터 제1 메시지를 수신한다(604). 예를 들어, 도 5a에서, 메시지(5006)는 제1 메시지이다.
제1 메시지를 수신하는 것에 응답하여, 전자 디바이스는 디스플레이 상에, 대화 트랜스크립트(예컨대, 도 5a의 대화 트랜스크립트(5004)) 내의 제1 메시지 구역(예컨대, 도 5a의 메시지 구역(5008-1)) 내에 제1 메시지(예컨대, 도 5a의 메시지(5006))를 디스플레이한다(606). 본 명세서에서 사용되는 메시지 구역은 메시징 세션의 대화 트랜스크립트 내의 메시지에 대한 메시지 구역, 버블, 플래터(platter) 또는 다른 컨테이너이다. 전자 디바이스는 또한 대화 트랜스크립트 내의 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉(예컨대, 도 5a의 접촉(5010))에 의한 제1 입력을 검출한다(608). 예를 들어, 제1 접촉은 제1 메시지 구역에 대한 제1 메시지 구역 또는 은폐된 히트 구역 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처일 수 있다.
다음으로, 제1 입력을 검출하는 것에 응답하여, 전자 디바이스는 제1 메시지 구역에 대응되는 메시징 인터페이스 내의 위치에 확인응답 선택 어포던스(예컨대, 도 5b의 확인응답 선택 어포던스(5012))를 디스플레이하는 것을 디스플레이한다(610). 확인응답 선택 어포던스는 복수의 확인응답 옵션들을 디스플레이한다. 예를 들어, 도 5b의 확인응답 옵션들(5014-1 내지 5014-6)을 참조한다. 일부 실시예들에서, 확인응답 선택 어포던스는 제1 메시지 구역에 근접하고/하거나 중첩하여 디스플레이된 확인응답 선택 플래터이다. 일부 실시예들에서, 접촉의 특성 세기가 제1 세기 임계치 초과라는 결정에 따라, 확인응답 선택 어포던스가 디스플레이된다. 일부 실시예들에서, 사용자는 반복된 깊게 누르기, 드래그 제스처 등을 포함하는 제스처와 같은 미리 정의된 입력 제스처를 수행함으로써 처음에 디스플레이된 확인응답 옵션들(5014)의 세트에 추가적인 확인응답 옵션을 노출할 수 있다.
일부 실시예들에서, 복수의 확인응답 옵션들은 하트, 썸즈 업, 썸즈 다운, "HA!", "!!" 및/또는 물음표 중 적어도 하나를 디스플레이하는 그래픽 아이콘들을 포함한다(612). (예를 들어, 도 5b에 도시된 확인응답 옵션들(5014-1 내지 5014-6)을 참조).
일부 실시예들에서, 방법(600)은, 제1 입력을 검출하는 것에 응답하여, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금, 대응되는 제1 메시지 구역에 대한 확인응답 준비 표시자를 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하게 하는 정보를 송신하는 단계(614)를 포함한다(예컨대, 메시징 세션 내의 타 디바이스들로 하여금, 도 5g에 도시된 것과 유사하게, 적어도 하나의 타 사용자의 디바이스의 대화 트랜스크립트 내의 대응되는 제1 메시지 구역에 인접하고/하거나 부분적으로 중첩되는 애니메이션 타원 마크를 갖는 확인응답 구역을 디스플레이하게 함).
제1 입력을 검출하고 응답한 후, 전자 디바이스는 확인응답 선택 어포던스(예컨대, 도 5b의 확인응답 선택 어포던스(5012))의 제1 확인응답 옵션(예컨대, 도 5b의 확인응답 옵션(5014-2))의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉(예컨대, 도 5b의 접촉(5016))에 의한 제2 입력을 검출한다(616). 옵션적으로, 제2 접촉을 검출하는 것은, 예를 들어, 제1 확인응답 옵션 또는 제1 확인응답 옵션에 대한 은폐된 히트 구역 상의 탭 제스처, 가볍게 누르기 제스처, 깊게 누르기 제스처, 리프트 오프를 검출함으로써 달성된다. 일부 실시예들에서, 제1 접촉 및 제2 접촉은 동일한 손가락에 의해 형성된 두 개의 상이한 탭 제스처 내의 접촉들과 같은 별개의 접촉들이다. 일부 실시예들에서, 제1 접촉 및 제2 접촉은 제1 메시지 구역 상의 길게 누르기, 가볍게 누르기 또는 깊게 누르기와, 뒤이어 제1 확인응답 옵션으로의 드래그, 그리고 제1 확인응답 옵션에서 리프트 오프와 같은, 터치 감응형 표면과의 동일한 연속 접촉의 상이한 부분들이다.
제2 입력을 검출하는 것에 응답하여, 전자 디바이스는 제1 확인응답 옵션을 제1 메시지 구역에 적용한다(618). 예를 들어, 도 5c는 제1 메시지 구역에 적용된 제1 확인응답 옵션(5014-2)을 도시한다. 일부 실시예들에서, 전자 디바이스는 또한 제2 입력을 검출하는 것에 응답하여 확인응답 선택 어포던스를 디스플레이하는 것을 중지한다.
일부 실시예들에서, 제1 확인응답 옵션을 제1 메시지 구역에 적용하는 단계(618)는 제1 메시지 구역에 인접하고/하거나 부분적으로 중첩되는 위치에 제1 확인응답 옵션을 디스플레이하는 단계(620)를 포함한다. 예를 들어도 5c를 참조하면, 대응되는 제1 메시지 구역에 적용되는, 그리고 이 경우 부분적으로 중첩되는, 제1 확인응답 옵션(5014-2)을 도시한다.
옵션적으로, 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 전자 디바이스는 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 제1 확인응답 옵션을 메시징 세션에 대응되는 대화 트랜스크립트 내의 대응되는 제1 메시지 구역에 적용하게 하는 정보를 송신한다(622). 일부 실시예들에서, 이는 메시징 세션 내의 타 디바이스들로 하여금 적어도 하나의 타 사용자의 디바이스의 대화 트랜스크립트 내의 대응되는 제1 메시지 구역에 인접하고/하거나 부분적으로 중첩되는 제1 확인응답 옵션을 디스플레이하게 하는 정보를 송신함으로써 달성된다. 예를 들어, 대응되는 제1 메시지 구역에 적용되는 (그리고 이 경우 부분적으로 중첩되는) 제1 확인응답 옵션(5014-2)을 포함하는, 메시징 세션의 타 디바이스들 중 하나 상에 디스플레이된 대화 트랜스크립트를 도시하는 도 5h를 참조한다. 일부 실시예들에서, 제1 확인응답 옵션(예컨대, 제1 확인응답 옵션(5014-2))은 대응되는 제1 메시지 구역에 대한 확인응답 준비 표시자(예컨대, 도 5g의 확인응답 준비 표시자(5020))를 대체한다(예컨대, 애니메이션화된 전이를 통해).
일부 실시예들에서, 제1 확인응답 옵션은 제1 메시지 구역과 상이한 형상을 갖는 확인응답 구역 내에 디스플레이된다(예컨대, 도 5c에 도시된 바와 같이, 다른 사용자로부터의 메시지에 대한 각자의 메시지 구역(5008-1)은 사각형이고/이거나, 제1 메시지가 타 사용자로부터 왔다는 제1 표시자(예컨대, 디스플레이의 제1 측을 향하여 가리키는 꼬리 섹션 "<")를 포함하는 반면, 각자의 확인응답 구역(5018)은 원형이고/이거나, 확인응답이 사용자로부터 왔다는 제2 표시자를 포함함(예컨대, 제1 측의 반대인 디스플레이의 제2 측을 향하여 가리키는 꼬리 섹션 "Oo")).
일부 실시예들에서, 방법(600)은 제1 확인응답 옵션을 제1 메시지 구역에 적용한 후(또한 일부 실시예들에서는 확인응답 선택 어포던스를 디스플레이하는 것을 중지함), 제1 메시지 구역(또는 일부 실시예들에서는 제1 확인응답 옵션)의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제3 접촉(예컨대, 도 5c의 접촉(5022))에 의한 제3 입력을 검출(632)하는 것을 포함하는 동작들(632 내지 658)의 시퀀스를 수행하는 단계를 포함한다. 일부 실시예들에서, 제3 입력을 검출하는 단계(632)는 제1 메시지 구역(또는 제1 확인응답 옵션) 상의 또는 제1 메시지 구역(또는 제1 확인응답 옵션)에 대한 은폐된 히트 구역 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계를 포함한다.
그러한 실시예들에서, 방법(600)은 제1 메시지 구역(또는 일부 실시예들에서, 제1 확인응답 옵션)의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제3 접촉에 의한 제3 입력을 검출(632)하는 것에 응답하여, 확인응답 편집 인터페이스(예컨대, 도 5d의 확인응답 편집 인터페이스(5024))를 디스플레이하는 단계(634)를 더 포함한다. 옵션적으로, 확인응답 편집 인터페이스는 대화 트랜스크립트의 상측 상에 그리고/또는 대화 트랜스크립트 대신에 디스플레이된다.
그러한 실시예들에서, 방법(600)은 확인응답 편집 인터페이스로의 하나 이상의 입력들을 검출하는 단계(650)(예컨대, 도 5e의 접촉(5026)을 검출), 검출된 하나 이상의 입력들에 따라 제1 메시지 구역에 대한 확인응답 옵션을 편집하는 단계(652)(예컨대, 변경 또는 삭제); 확인응답 편집 인터페이스를 디스플레이하는 것을 중지하는 단계(654); 제1 메시지 구역을 대화 트랜스크립트 내에 편집된 확인응답과 함께 디스플레이하는 단계(656); 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 편집된 확인응답을 갖는 대응되는 제1 메시지 구역을 편집된 확인응답과 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하게 하는 정보를 송신하는 단계(658)를 더 포함한다. 예를 들어, 도 5d는 확인응답 옵션(5014-2)이 이전에 선택되었다는 표시(예컨대, 하이라이팅 또는 그레이 아웃)를 갖는 확인응답 편집 인터페이스(5024)를 도시한다. 도 5e는 상이한 제2 확인응답 옵션(5014-1)을 선택하는 입력, 접촉(5026)을 도시하고, 도 5f는 편집된 확인응답을 갖는 (즉, 제1 확인응답 옵션(5014-2) 대신에 디스플레이된 제2 확인응답 옵션(5014-1)을 갖는) 대화 트랜스크립트 내의 메시지 구역을 도시한다.
일부 실시예들에서, 방법(600)은 제3 접촉에 의한 제3 입력을 검출하는 것(632)에 응답하여 확인응답 편집 인터페이스를 디스플레이하는 단계(634)에 추가하여, 예를 들어 도 5e에 도시된 예와 같이, 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 대화 트랜스크립트를 디스플레이하는 것을 중지(또는 디밍)하는 단계(636)를 포함한다.
또한, 일부 실시예들에서, 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 방법(600)은 제1 메시지 구역을 확인응답 편집 인터페이스 내에 디스플레이하는 단계(638)를 포함한다. 예를 들어, 도 5e는 대화 트랜스크립트 내의 임의의 다른 메시지 구역을 확인응답 편집 인터페이스 내에 디스플레이하지 않으면서, 제1 메시지 구역이 확인응답 편집 인터페이스 내에 디스플레이되는 예를 도시한다. 일부 실시예들에서, 제1 메시지 구역은 제3 입력을 검출하기 직전에 대화 트랜스크립트 내의 제1 메시지 구역이 디스플레이되었던 동일한 위치에서 확인응답 편집 인터페이스 내에 처음 디스플레이된다.
일부 실시예들에서, 방법(600)은 제3 접촉에 의한 제3 입력을 검출하는 것(632)에 응답하여 확인응답 편집 인터페이스를 디스플레이하는 단계(634)에 추가하여, 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여 복수의 확인응답 옵션들을 포함하는 확인응답 선택 어포던스를 확인응답 편집 인터페이스 내에 디스플레이하는 단계를 포함하며, 제1 확인응답 옵션은 제1 확인응답 옵션이 현재 선택된 것을 표시하기 위해 복수의 확인응답 옵션들 중 다른 확인응답 옵션들과 시각적으로 구별된다(예컨대, 하이라이팅됨). 예를 들어, 도 5d는 확인응답 편집 인터페이스(5024)가 복수의 확인응답 옵션들(5014)을 포함하는 확인응답 선택 어포던스(도 5b의 어포던스(5012)와 유사함)를 포함하는 것을 도시한다.
일부 실시예들에서, 방법(600)은 제3 접촉에 의한 제3 입력을 검출하는 것(632)에 응답하여 확인응답 편집 인터페이스를 디스플레이하는 단계(634)에 추가하여, 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 대한 활성화가능한 편집 옵션을 포함하는 확인응답 편집 인터페이스의 메뉴를 디스플레이하는 단계(642)를 포함한다. 예를 들어, 도 5d는 제1 메시지 구역의 콘텐츠를 복사하기 위한 "복사" 아이콘(530)을 포함하는 편집 메뉴(5028)를 도시한다. 도 5d에 도시되지는 않았지만, 편집 메뉴(5028)는 옵션적으로 현재 적용된 확인응답 옵션을 삭제하기 위한 "삭제" 아이콘과 같은 추가적인 활성화가능한 편집 옵션을 포함한다.
일부 실시예들에서, 방법(600)은 전술한 바와 같이 메시징 사용자 인터페이스를 디스플레이하는 동안, 디스플레이 상에 (A) 대화 트랜스크립트 내의 제2 메시지 구역(예컨대, 도 5i의 메시지 구역(5008-2)) - (1) 메시징 세션 내의 사용자들 중 적어도 일부는 제2 메시지 구역에 대한 제1 확인응답 옵션을 선택했고, (2) 메시징 세션 내의 사용자들 중 적어도 일부는 제1 확인응답 옵션과 구별되는 제2 메시지 구역에 대한 제2 확인응답 옵션을 선택함 -; 및 (B) 메시징 세션 내의 사용자들이 제2 메시지 구역에 대한 복수의 확인응답 옵션들을 선택했다는 하나 이상의 표지(예컨대, 표지(5036))를 동시에 디스플레이하는 단계(660)를 포함한다. 도 5i에 도시된 예에서, 표지(5036)는 중첩된 확인응답 옵션 아이콘들의 스택이지만, 대안적으로 복수의 개별적 확인응답 옵션 아이콘들일 수 있다. 도 5i에 도시된 바와 같이, 표지(5036)는 옵션적으로 제2 메시지 구역(5008-02)에 인접하고/하거나 부분적으로 중첩된다. 일부 실시예들에서, 선택된 주어진 확인응답 옵션에 대해, 확인응답 옵션이 메시징 세션 내의 사용자들의 임계 개수보다 많은 사용자들(예컨대, 2, 3 또는 4명 초과의 사용자들)에 의해 선택된 경우, 선택들은 스택된다.
그러한 실시예들에서(즉, 제2 메시지 구역 및 메시징 세션 내의 사용자들이 제2 메시지 구역에 대한 복수의 확인응답 옵션들을 선택했다는 표지를 도시하는 실시예들에서), 방법(600)은 제2 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉(예컨대, 도 5i의 제2 메시지 구역(5008-2) 상의 접촉(5034))에 의한 입력을 검출하는 단계(662)를 포함한다. 대안적으로, 검출된 입력은 메시징 세션 내의 사용자들이 제2 메시지 구역에 대한 복수의 확인응답 옵션들을 선택했다는 하나 이상의 표지의 위치에 대응된다. 일부 실시예들에서, 입력을 검출하는 단계(662)는 제2 메시지 구역에 대한 제2 메시지 구역 상의, 또는 은폐된 히트 구역 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계를 포함한다.
방법(600)은 제2 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력을 검출하는 것에 응답하여, 메시징 세션 내의 사용자들에 의해 선택된 확인응답 옵션의 각각의 유형에 대한 탤리를 포함하는 사용자 인터페이스를 디스플레이하는 단계(664)를 포함한다. 예를 들어, 도 5j에 도시된 바와 같이, 사용자 인터페이스는 메시징 세션 내의 사용자들에 의해 선택된 세 개의 별개의 확인응답 옵션들에 대한 탤리들(5040-1, 5040-2, 5040-3)을 포함한다. 대안적으로, 일부 실시예들에서, 제2 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력을 검출하는 것에 응답하여, 디바이스는 (예컨대, 메뉴 옵션으로서) 탤리 어포던스를 포함하는 사용자 인터페이스를 디스플레이하며, 이는, 활성화될 때, 메시징 세션 내의 사용자들이 선택한 확인응답 옵션의 각각의 유형에 대한 탤리를 디스플레이한다.
일부 실시예들에서, 방법(600)은 메시징 세션 내의 사용자들에 의해 선택된 확인응답 옵션의 각각의 유형에 대한 탤리를 디스플레이하는 동안, 제2 메시지 구역에 대한 제1 확인응답 옵션에 대한 탤리에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력을 검출하는 단계(666)를 포함한다. 예를 들어, 도 5j를 참조하면, 입력은 탤리(5040-1)를 선택할 수 있다. 일부 실시예들에서, 탤리에 대응되는 터치 감응형 표면 상의 위치에서 입력을 검출하는 단계(666)는 제1 확인응답 옵션에 대한 탤리 상의 또는 제1 확인응답 옵션을 선택한 메시징 세션 내의 사용자들에 대응되는 아이콘들(예컨대, 아바타들)의 스택 상의, 또는 이 탤리 또는 아이콘들의 이 스택의 은폐된 히트 구역 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계를 포함한다.
그러한 실시예들에서, 방법(600)은 제2 메시지 구역에 대한 제1 확인응답 옵션에 대한 탤리에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력을 검출하는 것(666)에 응답하여, 제2 메시지 구역에 대한 제1 확인응답 옵션을 선택한 사용자들을 표현하는 아이콘들(예컨대, 아바타들)을 디스플레이하는 단계(668)를 더 포함한다. 예를 들어, 도 5k에 도시된 바와 같이, 입력 선택 탤리(5040-1)(도 5j)에 응답하여 디바이스에 의해 디스플레이된 사용자 인터페이스는 제2 메시지 구역에 대한 제1 확인응답 옵션을 선택한 사용자들을 표현하는 아이콘들(예컨대, 아바타들)의 디스플레이를 포함하며, 이는 메시징 세션(도 5j에 도시됨) 내의 사용자들에 의해 선택된 확인응답 옵션의 각각의 유형에 대한 탤리의 디스플레이를 대체한다.
도 6a 내지 도 6e에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(800, 1000, 1200, 1400, 1600, 1800)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 6a 내지 도 6e와 관련하여 위에 설명된 방법(600)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(600)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 7은 전술한 바와 같은 본 발명의 원리에 따라 구성된 전자 디바이스(700)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 7에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 7에 도시된 바와 같이, 전자 디바이스(700)는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(702) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(704); 및 디스플레이 유닛(702) 및 터치 감응형 표면 유닛(704)과 결합된 프로세싱 유닛(706)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(706)은 검출 유닛(708), 디스플레이 인에이블 유닛(710), 중지 유닛(712), 송신 유닛(714), 수신 유닛(716), 적용 유닛(718) 및 편집 유닛(720)을 포함한다.
프로세싱 유닛(706)은: 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하고(예컨대, 수신 유닛(716)을 이용함); 제1 메시지를 수신하는 것에 응답하여, 디스플레이 유닛(702) 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(710)을 이용함); 대화 트랜스크립트 내의 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 제1 접촉에 의한 제1 입력을 검출하고(예컨대, 검출 유닛(708)을 이용함); 제1 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 대응되는 메시징 인터페이스 내의 위치에 확인응답 선택 어포던스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(710)을 이용함) - 확인응답 선택 어포던스는 복수의 확인응답 옵션들을 디스플레이함 -; 확인응답 선택 어포던스 내의 제1 확인응답 옵션의 위치에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하고(예컨대, 검출 유닛(708)을 이용함); 제2 입력을 검출하는 것에 응답하여, 제1 확인응답 옵션을 제1 메시지 구역에 적용하도록(예컨대, 적용 유닛(718)을 이용함) 구성된다.
일부 실시예들에서, 제1 확인응답 옵션을 제1 메시지 구역에 적용하는 것은 제1 메시지 구역에 인접하고/하거나 부분적으로 중첩되는 위치에 제1 확인응답 옵션을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 제1 확인응답 옵션은 제1 메시지 구역과 상이한 형상을 갖는 확인응답 구역 내에 디스플레이된다.
일부 실시예들에서, 프로세싱 유닛(706)은: 제1 입력을 검출하는 것에 응답하여, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 대응되는 제1 메시지 구역에 대한 확인응답 준비 표시자를 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하게 하는 정보를 송신하도록(예컨대, 송신 유닛(714)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(706)은: 제2 입력을 검출하는 것에 응답하여, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 메시징 세션에 대응되는 대화 트랜스크립트 내의 대응되는 제1 메시지 구역에 제1 확인응답 옵션을 적용하게 하는 정보를 송신하도록(예컨대, 송신 유닛(714)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(706)은 또한, 제1 확인응답 옵션을 제1 메시지 구역에 적용한 후, 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하고(예컨대, 검출 유닛(708)을 이용함); 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 확인응답 편집 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(710)을 이용함); 확인응답 편집 인터페이스에 대한 하나 이상의 입력들을 검출하고(예컨대, 검출 유닛(708)을 이용함); 검출된 하나 이상의 입력들에 따라 제1 메시지 구역에 대한 확인응답 옵션을 편집하고(예컨대, 편집 유닛(720)을 이용함); 확인응답 편집 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(712)을 이용함); 제1 메시지 구역의 디스플레이를 편집된 확인응답과 함께 대화 트랜스크립트 내에 인에이블하고(예컨대, 디스플레이 인에이블 유닛(710)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 메시징 세션에 대응되는 대화 트랜스크립트 내의 대응되는 제1 메시지 구역을 편집된 확인응답과 함께 디스플레이하게 하는 정보를 송신하도록(예컨대, 송신 유닛(714)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(706)은: 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 대화 트랜스크립트를 디스플레이하는 것을 중지하도록(예컨대, 중지 유닛(712)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(706)은 또한 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 확인응답 편집 인터페이스 내에 제1 메시지 구역의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(710)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(706)은: 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 확인응답 편집 인터페이스 내에 복수의 확인응답 옵션들을 포함하는 확인응답 선택 어포던스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(710)을 이용함) 더 구성되며, 제1 확인응답 옵션은 제1 확인응답 옵션이 현재 선택된 것을 표시하기 위해 복수의 확인응답 옵션들 중 다른 확인응답 옵션들로부터 시각적으로 구별된다.
일부 실시예들에서, 프로세싱 유닛(706)은: 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 제1 메시지 구역에 대한 활성화가능한 편집 옵션들을 포함하는 메뉴의 디스플레이를 확인응답 편집 인터페이스 내에 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(710)을 이용함) 더 구성된다.
일부 실시예들에서, 복수의 확인응답 옵션들은 하트, 썸즈 업, 썸즈 다운, "HA!", "!!" 및/또는 물음표 중 적어도 하나를 디스플레이하는 그래픽 아이콘들을 포함한다.
일부 실시예들에서, 프로세싱 유닛(706)은: 디스플레이 유닛(702) 상에: 대화 트랜스크립트 내의 제2 메시지 구역 - 메시징 세션 내의 사용자들 중 적어도 일부는 제2 메시지 구역에 대한 제1 확인응답 옵션을 선택하고, 메시징 세션 내의 사용자들 중 적어도 일부는 제1 확인응답 옵션과 구별되는 제2 메시지 구역에 대한 제2 확인응답 옵션을 선택함 -; 및 메시징 세션 내의 사용자들이 제2 메시지 구역에 대한 복수의 확인응답 옵션들을 선택했다는 하나 이상의 표지의 디스플레이를 동시에 인에이블하고(예컨대, 디스플레이 인에이블 유닛(710)을 이용함); 제2 메시지 구역의 위치에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 접촉에 의한 입력을 검출하고(예컨대, 검출 유닛(708)을 이용함); 제2 메시지 구역의 위치에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 접촉에 의한 입력을 검출하는 것에 응답하여, 메시징 세션 내의 사용자들에 의해 선택된 확인응답 옵션의 각각의 유형에 대한 탤리를 포함하는 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(710)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(706)은: 메시징 세션 내의 사용자들에 의해 선택된 확인응답 옵션의 각각의 유형에 대한 탤리가 디스플레이되는 동안, 제2 메시지 구역에 대한 제1 확인응답 옵션에 대한 탤리에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 접촉에 의한 입력을 검출하고(예컨대, 검출 유닛(708)을 이용함); 제2 메시지 구역에 대한 제1 확인응답 옵션에 대한 탤리에 대응되는 터치 감응형 표면 유닛(704) 상의 위치에서 접촉에 의한 입력을 검출하는 것에 응답하여, 제2 메시지 구역에 대한 제1 확인응답 옵션을 선택한 사용자들을 표현하는 아이콘의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(710)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 6a 내지 도 6e를 참조하여 앞서 기술한 동작들은, 옵션적으로, 도 1a 및 도 1b 또는 도 7에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(606 및 616)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이전 전송 메시지 편집(Editing previously sent messages)
도 8a 내지 도 8c는 일부 실시예들에 따른, 메시징 세션 내의 이전에 전송된 메시지들을 편집하기 위한 프로세스의 흐름도들이다. 보다 상세하게, 방법들은 메시지를 편집하고, 메시지의 개정된 버전을 디스플레이하고, 메시지의 이전에 개정된 버전을 디스플레이하는 것을 중지하고/하거나, 개정에 대한 적어도 하나의 표시를 디스플레이하기 위한 인터페이스를 디스플레이하는 것에 관한 것이다.
메시지 트랜스크립트들은 오타를 포함하는 메시지들과 뒤이어 이전의 오류들을 정정하는 메시지들로 난잡(clutter)하게 될 수 있다. 이전에 송신된 메시지들을 편집하는 것을 허용함으로써, 트랜스크립트의 대화 흐름이 보다 잘 보존될 수 있으며, 대화 참가자가 대화를 더 용이하게 따라갈 수 있게 한다.
이들 방법들을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5l 내지 도 5t에 도시된다.
도 8a 내지 도 8c는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(800)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
일부 실시예들에 따르면, 방법(800)은 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 메시징 애플리케이션의 도 5l의 사용자 인터페이스(5002))를 디스플레이하는 단계(802)를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 5l의 사용자 인터페이스(5002)의 대화 트랜스크립트(5004)) 및 사용자의 전자 디바이스로부터 메시징 세션 내의 적어도 하나의 타 사용자로 전송된 메시징 세션의 제1 메시지(예컨대, 도 5l의 메시지(5046-1))를 포함하는 제1 메시지 구역(예컨대, 도 5l의 메시지 구역(5044))을 포함한다.
방법은 제1 메시지를 편집하라는 요청에 대응되는 제1 입력(예컨대, 입력(5048))을 검출하는 단계(804)를 더 포함한다. 일부 실시예들에서, 디바이스는 제1 메시지 구역(예컨대, 도 5l의 메시지 구역(5044)) 상의, 또는 제1 메시지에 대한 메시지 편집 인터페이스(예컨대, 도 5n의 메시지 편집 인터페이스(5052))의 디스플레이를 생성하는 제1 메시지 구역에 대한 은폐된 히트 구역 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출함으로써 제1 입력을 검출한다. 일부 실시예들에서, 디바이스는 메시징 사용자 인터페이스 내의 편집 어포던스 상의, 또는 편집 어포던스에 대한 감추어진 히트 구역 상의 탭 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하며 이는 제1 메시지에 대한 메시지 편집 인터페이스의 디스플레이를 생성한다(예컨대, 도 5n에 도시된 바와 같음). 일부 실시예들에서, 제1 메시지가 사용자에 의해 가장 최근에 전송된 메시지인 경우, 디바이스는 메시지 입력 영역 상의(또는 메시지 입력 영역의 편집 어포던스 상의) 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하며 이는 제1 메시지에 대한 메시지 편집 인터페이스의 디스플레이를 생성한다(예컨대, 도 5n에 도시된 바와 같음).
일부 실시예들에서, 제1 메시지 구역(예컨대, 도 5l의 제1 메시지 구역(5044))의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력을 검출하는 것에 응답하여, 디바이스는, 활성화될 때, 제1 메시지에 대한 메시지 편집 인터페이스(예컨대, 도 5n의 메시지 편집 인터페이스(5052))를 디스플레이하는 편집 어포던스(예컨대, 도 5m에 도시된 바와 같이, 메뉴 옵션으로서 디스플레이된 편집 어포던스)를 포함하는 사용자 인터페이스를 디스플레이한다. 일부 실시예들에서, 제1 메시지 구역이 제1 메시지(도 5m)에 대한 활성화가능한 옵션들의 목록과 함께 디스플레이되는 동안, 디바이스는 편집 옵션 상의 탭 제스처와 같은 편집 옵션을 활성화하는 입력(예컨대, 도 5m의 입력(5050))을 검출하며, 이는 제1 메시지에 대한 메시지 편집 인터페이스의 디스플레이를 생성한다.
방법(800)은 제1 입력(예컨대, 도 5l의 입력(5048) 또는 도 5m의 입력(5050))을 검출하는 것에 응답하여, 제1 메시지(예컨대, 도 5n의 메시지(5046-1)), 키보드(예컨대, 도 5n의 키보드(5054)) 및 업데이트 어포던스(예컨대, 도 5n의 업데이트 어포던스(5056))를 포함하는 제1 메시지에 대한 메시지 편집 인터페이스(예컨대, 도 5n의 메시지 편집 인터페이스(5052))를 디스플레이하는 단계(806), 및 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 동안(808), 제1 메시지를 개정하는 하나 이상의 입력들을 검출하는 단계(810), 제1 메시지의 개정된 버전을 디스플레이하는 단계(814), 및 업데이트 어포던스를 활성화하는 입력을 검출하는 단계(816)를 포함한다.
일부 실시예들에서, 편집 인터페이스를 디스플레이하는 단계(806)는 대화 트랜스크립트의 디스플레이를 대체한다(예컨대, 도 5l과 도 5n을 비교). 일부 실시예들에서, (예컨대, 도 5n에 도시된 바와 같은) 편집 인터페이스의 디스플레이는 (예컨대, 도 5m에 도시된 바와 같이) 제1 메시지에 대한 활성화가능한 옵션들의 목록을 포함하는 사용자 인터페이스의 디스플레이를 대체한다.
일부 실시예들에서, 제1 메시지를 개정하는 하나 이상의 입력들을 검출하는 단계(810)는 제1 메시지의 텍스트를 추가 및/또는 삭제하는 키보드 상의 입력을 검출하는 단계, 및/또는 텍스트를 선택, 오리기, 복사 및/또는 붙이기하는 입력을 검출하는 단계를 포함한다. 예를 들어, 도 5n 및 도 5o에서, 편집은 용어 "ridiculous"를 "ride"로 대체한다. 일부 실시예들에서, 업데이트 어포던스를 활성화하는 입력을 검출하는 단계(816)는 업데이트 어포던스에 대응되는 위치에서 탭 제스처를 검출하는 단계를 포함한다. 일부 실시예들에서, 업데이트 어포던스는 메시지 편집 인터페이스 내의(키보드 내, 또는 새로운 메시지 입력 영역 내가 아님) 제1 메시지의 개정된 버전에 인접한다.
방법(800)은 업데이트 어포던스를 활성화하는 입력을 검출하는 것에 응답하여(818): 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 것을 중지하는 단계(820); 제1 메시지 대신에 제1 메시지의 개정된 버전을 대화 트랜스크립트 내에 디스플레이하는 단계(822); 대화 트랜스크립트 내의 제1 메시지의 개정에 대한 적어도 하나의 표지를 디스플레이하는 단계(824); 및 제1 메시지의 개정된 버전을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들(예컨대, 제2 전자 디바이스)로 송신하는 단계(832)를 더 포함하며, 하나 이상의 전자 디바이스들은 제1 메시지 대신에 제1 메시지의 개정된 버전을, 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다. 예를 들어, 도 5n에 도시된 업데이트 어포던스(5056)를 활성화하는 것은, 디바이스로 하여금 메시지 편집 인터페이스(5052)의 디스플레이를 중지하게 하여, 예를 들어, 도 5o에 도시된 바와 같이, 대화 트랜스크립트(5004)를 포함하는 메시징 사용자 인터페이스(5002)의 디스플레이로 복귀한다. 또한, 도 5o에 도시된 바와 같이, 이제 제1 메시지(5046-2)의 개정된 버전이 대화 트랜스크립트 내의 제1 메시지의 개정에 대한 표시(5058-1)(예컨대, 제1 메시지의 이전 버전의 존재를 표시하는 섀도우)와 함께 디스플레이된다. 도 5o는 또한 대화 트랜스크립트 내의 제1 메시지의 개정에 대한 표시(5058-2)의 제2 예를 도시하며, 이는 본 예에서, 디스플레이된 용어 "Edited"이다. 도 5r에 도시된 바와 같이, 제1 메시지의 개정된 버전(5046-2)은 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 적어도 하나의 전자 디바이스에 송신되어 디스플레이되며, 제1 메시지의 개정에 대한 제1 표시(5058-1)(예컨대, 메시지 구역 섀도우)뿐만 아니라, 제1 메시지의 개정에 대한 제2 표시(5058-2)(예컨대, 디스플레이된 용어 "Edited")를 포함한다.
방법(800)의 일부 실시예들에서, 제1 메시지를 개정하는 하나 이상의 입력들을 검출하는 단계(810)는, 텍스트 선택, 텍스트 삽입 또는 텍스트 삭제에 대한 제1 메시지 내의 위치를 선택하기 위해, 메시지 편집 인터페이스 내의 제1 메시지에 대응되는 위치(예컨대, 도 5n의 위치(5057))에서 입력(예컨대, 제1 메시지 구역 내의 제1 메시지 상의 탭)을 검출하는 단계(812) 포함한다. 도 5n에 도시된 삽입 지점 또는 위치(5057)는 도 5o에 도시된 바와 같이, 용어 "ridiculous"에 인접하며, 사용자는 그 용어를 용어 "ride"로 대체하도록 편집한다.
일부 실시예들에서, 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시(예컨대, 도 5o의 표시(5058-1) 및/또는 표시(5058-2))는 대화 트랜스크립트(826)로부터 제거가능하지 않다. 그러한 표시들을 제거할 수 없게 하는 것은 대화 트랜스크립트가 참가자가 전송한 메시지들을 정확하게 반영한다는 확신을 사용자들에게 주기 위해 중요할 수 있다.
일부 실시예들에서, 제1 메시지의 개정에 대한 적어도 하나의 표시는 제1 메시지 구역의 위치에 그래픽 요소를 포함한다(828). 예를 들어, 도 5o에 도시된 바와 같이, 표시(5058-1)는 제1 메시지 구역 뒤의 섀도우 구역이며; 대안적으로 말한다면, 표시(5058-1)는 제1 메시지 구역에 의해 부분적으로 중첩된 섀도우 구역이다.
일부 실시예들에서, 제1 메시지의 개정에 대한 적어도 하나의 표시는 제1 메시지 구역(830)에 인접한 텍스트를 포함한다. 예를 들어, 도 5o에 도시된 바와 같이, 표시(5058-1)는 제1 메시지의 개정된 버전을 포함하는 제1 메시지 구역 아래에 디스플레이된 텍스트(예컨대, "Edited")이다.
일부 실시예들에서, 방법(800)은 제1 메시지를 편집한 후, 제1 메시지의 개정된 버전(예컨대, 버전 5046-2)을 편집하라는 요청에 대응되는 입력(예컨대, 도 5o의 입력(5060))을 검출하는 단계(834), 및 제1 메시지의 개정된 버전을 편집하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 도 5r에 도시된 예와 같이, 제1 메시지의 개정된 버전, 키보드, 및 업데이트 어포던스를 포함하는 제1 메시지의 개정된 버전에 대한 메시지 편집 인터페이스(예컨대, 도 5r에 도시된 인터페이스)를 디스플레이하는 단계를 포함하는 동작들의 세트를 수행하는 단계를 포함한다. 그러한 실시예들에서, 방법(800)은 제1 메시지의 개정된 버전에 대한 메시지 편집 인터페이스를 디스플레이하는 동안, 제1 메시지를 추가로 개정하는 하나 이상의 입력들을 검출하는 단계; 제1 메시지의 더 개정된 버전을 디스플레이하는 단계; 및 업데이트 어포던스를 활성화하는 입력을 검출하는 단계를 더 포함한다. 그러한 실시예들에서, 방법(800)은 업데이트 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 제1 메시지의 개정된 버전에 대한 메시지 편집 인터페이스를 디스플레이하는 것을 중지하는 단계; 제1 메시지의 개정된 버전 대신에 제1 메시지의 더 개정된 버전을 대화 트랜스크립트 내에 디스플레이하는 단계; 제1 메시지가 개정되었다는 대화 트랜스크립트 내의 적어도 하나의 표시를 디스플레이하는 단계(예컨대, 일부 실시예에서, 제1 메시지가 두 번 개정된 것을 표시하기 위해, 두 개의 섀도우 구역들이 제1 메시지 구역 뒤에서, 제1 메시지 구역에 의해 부분적으로 중첩되어 디스플레이됨); 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 메시지의 더 개정된 버전을 송신하는 단계를 더 포함하며, 하나 이상의 전자 디바이스들은 제1 메시지의 개정된 버전 대신에 제1 메시지의 더 개정된 버전을 제1 메시지가 개정되었다는 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에서, 방법(800)은 제1 메시지를 편집한 후, 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 단계(836), 및 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 현재 버전 및 제1 메시지의 하나 이상의 이전 버전들을 포함하는 사용자 인터페이스를 디스플레이하는 단계를 포함한다. 예를 들어, 도 5o의 입력(5060)에 응답하여, 디바이스는 도 5p에 도시된 사용자 인터페이스를 디스플레이할 수 있으며, 대화 트랜스크립트의 디스플레이는 제1 메시지의 개정된 버전(5046-2) 및 메뉴(5062) 또는 편집 옵션 목록을 제외하고는 억제된다. 이 예에서, 디스플레이된 메뉴(5062) 또는 편집 옵션들의 목록은 복사 어포던스(5064), 편집 보기 어포던스(5066), 삭제 어포던스(5068) 및 추가 옵션 디스플레이 어포던스(5070)를 포함한다. 도 5p에 도시된 예에서, "편집 보기" 어포던스(5066)의 위치에 대응되는 터치 감응형 표면 상의 위치에서 입력(5072)(예컨대, 탭 제스처)이 검출되며, 이는 활성화된 경우, 도 5q에 도시된 바와 같이, 제1 메시지의 현재 버전(5046-1)뿐만 아니라 이전 버전(5046-2)을 포함하는 사용자 인터페이스(5074)(도 5q)를 디스플레이한다.
도 8a 내지 도 8c에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 1000, 1200, 1400, 1600, 1800)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 8a 내지 도 8c와 관련하여 위에 설명된 방법(800)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(800)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 9는 전술한 바와 같은 본 발명의 원리에 따라 구성된 전자 디바이스(900)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 9에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 9에 도시된 바와 같이, 전자 디바이스(900)는 디스플레이(902) 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(902) - 메시징 사용자 인터페이스는: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 사용자의 전자 디바이스로부터 메시징 세션 내의 적어도 하나의 타 사용자로 전송된 메시징 세션의 제1 메시지를 포함하는 제1 메시지 구역을 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(904); 및 디스플레이 유닛(902) 및 터치 감응형 표면 유닛(904)과 결합된 프로세싱 유닛(906)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(906)은 검출 유닛(908), 디스플레이 인에이블 유닛(910), 중지 유닛(912) 및 송신 유닛(914)을 포함한다.
프로세싱 유닛(906)은: 제1 메시지를 편집하라는 요청에 대응되는 제1 입력을 검출하고(예컨대, 검출 유닛(908)을 이용함); 제1 입력을 검출하는 것에 응답하여, 제1 메시지, 키보드, 및 업데이트 어포던스를 포함하는 제1 메시지에 대한 메시지 편집 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 제1 메시지에 대한 메시지 편집 인터페이스가 디스플레이되는 동안 제1 메시지를 개정하는 하나 이상의 입력들을 검출하고(예컨대, 검출 유닛(908)을 이용함); 제1 메시지의 개정된 버전의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 업데이트 어포던스를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(908)을 이용함); 업데이트 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(912)을 이용함); 제1 메시지 대신에 제1 메시지의 대화 트랜스크립트 내의 개정된 버전의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 대화 트랜스크립트 내의 제1 메시지의 개정에 대한 적어도 하나의 표시의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 메시지의 개정된 버전을 송신하도록(예컨대, 송신 유닛(914)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 제1 메시지 대신에 제1 메시지의 개정된 버전을 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에서, 제1 메시지의 개정에 대한 대화 트랜스크립트 내의 적어도 하나의 표시는 대화 트랜스크립트로부터 제거가능하지 않다.
일부 실시예들에서, 제1 메시지의 개정에 대한 적어도 하나의 표시는 제1 메시지 구역의 위치에 그래픽 요소를 포함한다.
일부 실시예들에서, 제1 메시지의 개정에 대한 적어도 하나의 표시는 제1 메시지 구역에 인접한 텍스트를 포함한다.
일부 실시예들에서, 제1 메시지를 개정하는 하나 이상의 입력들을 검출하는 것은 텍스트 선택, 텍스트 삽입 또는 텍스트 삭제를 위한 제1 메시지 내의 위치를 선택하기 위해 메시지 편집 인터페이스 내의 제1 메시지에 대응되는 위치에서 입력을 검출하는 것을 포함한다.
일부 실시예들에서, 프로세싱 유닛(906)은: 제1 메시지를 편집한 후, 제1 메시지의 개정된 버전을 편집하라는 요청에 대응되는 입력을 검출하고(예컨대, 검출 유닛(908)을 이용함); 제1 메시지의 개정된 버전을 편집하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 개정된 버전, 키보드 및 업데이트 어포던스를 포함하는 제1 메시지의 개정된 버전에 대한 메시지 편집 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 제1 메시지의 개정된 버전에 대한 메시지 편집 인터페이스가 디스플레이되는 동안, 제1 메시지를 더 개정하는 하나 이상의 입력들을 검출하고(예컨대, 검출 유닛(908)을 이용함); 제1 메시지의 더 개정된 버전의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 업데이트 어포던스를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(908)을 이용함); 업데이트 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 제1 메시지의 개정된 버전에 대한 메시지 편집 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(912)을 이용함); 제1 메시지의 개정된 버전 대신에 대화 트랜스크립트 내의 제1 메시지의 더 개정된 버전의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 제1 메시지가 개정되었다는 대화 트랜스크립트 내의 적어도 하나의 표시의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(910)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 메시지의 더 개정된 버전을 송신하도록(예컨대, 송신 유닛(914)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 제1 메시지의 개정된 버전 대신에 제1 메시지의 더 개정된 버전을 제1 메시지가 개정되었다는 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에서, 프로세싱 유닛(906)은: 제1 메시지를 편집한 후, 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하고(예컨대, 검출 유닛(908)을 이용함); 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 현재 버전 및 제1 메시지의 하나 이상의 이전 버전들을 포함하는 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(910)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 8a 내지 도 8c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 9에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(804 및 810)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 10a 및 도 10b는 일부 실시예들에 따른, 메시징 세션 내의 이전에 전송된 메시지를 편집하기 위한 프로세스의 흐름도들이다. 이들 방법들을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5l 내지 도 5t에 도시된다.
도 10a 및 도 10b는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(1000)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
일부 실시예들에 따르면, 방법(1000)은 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 메시징 애플리케이션의 도 5l 또는 도 5o에 도시된 바와 같은 사용자 인터페이스(5002))를 디스플레이하는 단계(1002)를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자(예컨대, 다른 전자 디바이스의 사용자) 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 5l 또는 도 5o의 사용자 인터페이스(5002) 내의 대화 트랜스크립트(5004)), 및 메시징 세션 내의 제1 메시지의 현재 버전(예컨대, 도 5o의 메시지 버전(5046-2))을 포함하는 제1 메시지 구역(예컨대, 도 5o의 메시지 구역(5044))을 포함하며, 대화 트랜스크립트는 제1 메시지의 현재 버전은 대화 트랜스크립트 내의 제1 메시지의 개정된 버전이라는 표시(예컨대, 전술한 바와 같이, 표시 5058-1 또는 5058-2)를 포함한다. 제1 메시지의 원래 버전은 예를 들어, 이전에 송신된 메시지 또는 이전에 수신된 메시지이다.
방법(1000)은 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력(예컨대, 도 5o에 도시된 바와 같이, 입력(5060))을 검출하는 단계(1004), 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 현재 버전(예컨대, 버전 5046-1) 및 제1 메시지의 하나 이상의 이전 버전들(예컨대, 버전 5046-2)을 포함하는 버전 사용자 인터페이스(예컨대, 도 5q의 사용자 인터페이스(5074))를 디스플레이(1008)하는 단계를 더 포함한다.
일부 실시예들에서, 입력을 검출하는 단계(1004)는 디바이스가 제1 메시지 구역 상의, 또는 제1 메시지 구역에 대한 은폐된 히트 구역 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계를 포함하며, 이는 제1 메시지의 현재 및 이전 버전들을 갖는 사용자 인터페이스의 디스플레이를 생성한다(예컨대, 도 5q의 사용자 인터페이스(5074)).
일부 실시예들에서, 제1 메시지 구역의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력(도 5o의 입력(5060))을 검출하는 것에 응답하여, 디바이스는, 활성화될 때, 제1 메시지의 현재 및 이전 버전들을 디스플레이(예컨대, 도 5q)하는 어포던스(예컨대, 도 5p의 "편집 보기" 메뉴 옵션)를 포함하는 사용자 인터페이스를 디스플레이한다. 일부 실시예들에서, 제1 메시지 구역이 (도 5p에 도시된 바와 같이) 제1 메시지의 개정된 버전에 대한 활성화가능한 옵션들의 목록과 함께 디스플레이되는 동안, 디바이스는 "편집 보기" 옵션 상의 탭 제스처와 같은 "편집 보기" 옵션을 활성화하는 입력(예컨대, 도 5p의 편집 보기 옵션(5066) 상의 입력(5072))을 검출하며, 이는 제1 메시지의 현재 및 이전 버전들의 사용자 인터페이스의 디스플레이(예컨대, 도 5q)를 생성한다.
일부 실시예들에서, (예컨대, 도 5s에 도시된 바와 같이, 대화 트랜스크립트 내의 다른 메시지들을 디스플레이하지 않고) 제1 메시지의 현재 버전 및 메뉴를 디스플레이하는 동안 - 메뉴는, 활성화될 때, 제1 메시지의 현재 버전(예컨대, 도 5t의 버전(5046-2)) 및 제1 메시지의 하나 이상의 이전 버전들(예컨대, 도 5t의 버전(5046-1))을 포함하는 사용자 인터페이스(예컨대, 도 5t에 도시된 바와 같음)의 디스플레이를 생성하는 어포던스(예컨대, 도 5s의 "편집 보기" 옵션)를 포함함 -, 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력이 검출된다(1006). 일부 실시예들에서, 메뉴는, 활성화될 때, 제1 메시지의 현재 버전을 포함하는 제1 메시지의 현재 버전에 대한 메시지 편집 인터페이스의 디스플레이를 생성하는 어포던스(예컨대, "편집"옵션), 키보드, 및 업데이트 어포던스를 포함한다.
일부 실시예들에서, 버전 사용자 인터페이스(예컨대, 도 5q의 5074)에서, 제1 메시지의 현재 버전(예컨대, 5046-1)은 제1 메시지의 다른 버전들과 시각적으로 구별된다(1010). 예를 들어, 다양한 실시예들에서, 제1 메시지의 현재 버전은 상이한 음영, 배경 색상, 배경 패턴, 글꼴 색상 및/또는 구역 테두리 색상 등에 의해 제1 메시지의 다른 버전들과 시각적으로 구별된다.
일부 실시예들에서, 버전 사용자 인터페이스(예컨대, 도 5q의 5074)는 제1 메시지의 현재 버전(예컨대, 5046-1), 제1 메시지의 원래 버전(예컨대, 5046-2) 및 제1 메시지의 현재 버전(도시되지 않음) 이전에 개정된 제1 메시지의 적어도 하나의 버전을 포함한다(1012).
일부 실시예들에서, 버전 사용자 인터페이스(예컨대, 도 5q의 5074)는, 활성화될 때, 사용자 인터페이스 내의 대화 트랜스크립트의 재-디스플레이(예컨대, 도 5r에 도시된 바와 같음)를 야기하는 어포던스(예컨대, 도 5q의 "완료"옵션(5082))를 포함한다(1014). 전형적으로, 이 어포던스의 활성화는 또한 버전 사용자 인터페이스의 디스플레이가 중지되게 한다.
일부 실시예들에서, 버전 사용자 인터페이스는, 활성화될 때, 제1 메시지(5046-2)의 현재 버전을 포함하는 제1 메시지의 현재 버전에 대한 메시지 편집 인터페이스의 디스플레이를 야기하는(도 5r에 도시된 바와 같음) 어포던스(예컨대, 도 5q의 편집 아이콘(5080)), 키보드(5054) 및 업데이트 어포던스(5056)를 포함한다(1016). 전형적으로, 이 어포던스의 활성화는 또한 버전 사용자 인터페이스의 디스플레이가 중지되게 한다.
도 10a 및 도 10b의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1200, 1400, 1600, 1800)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 10a 및 도 10b와 관련하여 위에 설명된 방법(1000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1000)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에서, 방법(100)은 버전 사용자 인터페이스(예컨대, 도 5q의 5074)를 디스플레이하는 동안, 제1 메시지의 각자의 버전 상의 입력(예컨대, 현재 버전(5046-1) 또는 원래 버전(5046-2) 중 하나를 편집하기 위한 입력(도 5q의 5076 또는 5078))을 검출하는 단계(1018)(예컨대, 제1 메시지의 현재 버전, 중간 버전 또는 원래 버전 상의 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계); 및 제1 메시지의 각자의 버전 상의 입력을 검출하는 것에 응답하여, 제1 메시지의 각자의 버전(5046)을 포함하는 제1 메시지의 각자의 버전에 대한 메시지 편집 인터페이스(예컨대, 도 5n에 도시된 바와 같은 메시지 편집 인터페이스), 키보드(5054) 및 업데이트 어포던스(5056)를 디스플레이하는 단계; 및 버전 사용자 인터페이스를 디스플레이하는 것을 중지하는 단계를 포함한다.
일부 실시예들에 따르면, 도 11은 전술한 바와 같은 본 발명의 원리에 따라 구성된 전자 디바이스(1100)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 11에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 11에 도시된 바와 같이, 전자 디바이스(1100)는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1102) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시징 세션 내의 제1 메시지의 현재 버전을 포함하는 제1 메시지 구역을 포함하고, 대화 트랜스크립트는 제1 메시지의 현재 버전이 대화 트랜스크립트 내의 제1 메시지의 개정된 버전이라는 표시를 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(1104); 및 디스플레이 유닛(1102) 및 터치 감응형 표면 유닛(1104)과 결합된 프로세싱 유닛(1106)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(1106)은 검출 유닛(1108), 디스플레이 인에이블 유닛(1110), 및 중지 유닛(1112)을 포함한다.
프로세싱 유닛(1106)은: 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하고(예컨대, 검출 유닛(1108)을 이용함); 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지의 현재 버전 및 제1 메시지의 하나 이상의 이전 버전들을 포함하는 버전 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(1110)을 이용함) 구성된다.
일부 실시예들에서, 제1 메시지의 현재 버전 및 메뉴를 디스플레이하는 동안 - 메뉴는, 활성화될 때, 제1 메시지의 현재 버전 및 제1 메시지의 하나 이상의 이전 버전들을 포함하는 사용자 인터페이스의 디스플레이를 생성하는 어포던스를 포함함 -, 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력이 검출된다.
일부 실시예들에서, 버전 사용자 인터페이스에서, 제1 메시지의 현재 버전은 제1 메시지의 다른 버전들과 시각적으로 구별된다.
일부 실시예들에서, 버전 사용자 인터페이스는 제1 메시지의 현재 버전, 제1 메시지의 원래 버전 및 제1 메시지의 현재 버전 이전에 개정된 제1 메시지의 적어도 하나의 버전을 포함한다.
일부 실시예들에서, 버전 사용자 인터페이스는, 활성화될 때, 대화 트랜스크립트의 재-디스플레이를 야기하는 어포던스를 포함한다.
일부 실시예들에서, 버전 사용자 인터페이스는, 활성화될 때, 제1 메시지의 현재 버전을 포함하는 제1 메시지의 현재 버전에 대한 메시지 편집 인터페이스의 디스플레이를 야기하는 어포던스, 키보드 및 업데이트 어포던스를 포함한다.
일부 실시예들에서, 프로세싱 유닛(1106)은 버전 사용자 인터페이스가 디스플레이되는 동안, 제1 메시지의 각자의 버전 상의 입력을 검출하고(예컨대, 검출 유닛(1108)을 이용함); 제1 메시지의 각자의 버전 상의 입력을 검출하는 것에 응답하여, 제1 메시지의 각자의 버전을 포함하는 제1 메시지의 각자의 버전에 대한 메시지 편집 인터페이스, 키보드, 및 업데이트 어포던스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1110)을 이용함); 버전 사용자 인터페이스를 디스플레이하는 것을 중지하도록(예컨대, 중지 유닛(1112)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 10a 및 도 10b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 11에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(1004 및 1018)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
메시지 임팩트 효과들
아래에서 보다 상세히 설명되는 도 12a 내지 도 12e는 일반적으로 메시지 입력에 임팩트 효과 옵션을 적용하기 위한 방법들에 관한 것이다. 보다 구체적으로, 이들 도면은 메시징 사용자 인터페이스의 메시지 입력 영역 내에 수신된 입력에 응답하여 다수의 임팩트 효과 옵션들을 포함하는 인터페이스를 디스플레이하는 방법들에 관한 것이다. 메시지 입력에 임팩트 효과 옵션을 적용하는 미리보기가 디스플레이된다. 메시지 입력 및 적용된 임팩트 효과 옵션을 포함하는 정보는 적어도 하나의 원격 전자 디바이스(예를 들어, 적어도 하나의 타 사용자의 디바이스)로 송신된다. 종종, 대화의 텍스트만이 화자의 의도를 결정하는 데 이용가능한 경우, 언어적 어조(tone) 또는 얼굴 표정으로 전달될 수 있는 추가적인 정보가 손실된다. 도 12a 내지 도 12e와 관련하여 본 명세서에서 설명된 방법들은 그렇지 않으면 누락될 수 있는 추가적인 감정을 전달하기 위해 트랜스크립트에 추가적인 정보가 추가되는 것을 허용한다.
이들 방법들을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5u 내지 도 5am 및 도 5an 내지 도 5bf에 도시된다.
도 12a 내지 도 12e는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(1200)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
일부 실시예들에 따르면, 방법(1200)은 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 메시징 애플리케이션의 도 5u에 도시된 바와 같은 사용자 인터페이스(5002))를 디스플레이하는 단계(1202)를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자(예컨대, 다른 전자 디바이스의 사용자) 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 5u의 사용자 인터페이스(5002) 내의 대화 트랜스크립트(5004)) 및 제1 메시지 입력(예컨대, 전자 디바이스의 사용자에 의해 메시지 입력 영역에 입력되었으나 메시징 세션 내의 적어도 하나의 타 사용자에게 아직 전송되지 않은 텍스트, 스티커들, 이미지들 및/또는 다른 그래픽들)을 포함하는 메시지 입력 영역(예컨대, 도 5u의 5100)을 포함한다. 방법(1200)은, 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시지 입력 영역 내의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉에 의한 제1 입력(예컨대, 도 5u의 입력(5102))을 검출하는 단계를 포함한다. 일부 실시예들에서, 제1 입력은 메시지 입력 영역 내에 수신된 제스처(예컨대, 스와이프 제스처)를 포함한다. 일부 실시예들에서, 메시지 입력 영역은 임팩트 선택 어포던스(예컨대, 도 5u의 5104) 및 임팩트 선택 어포던스에 대응되는 접촉의 위치를 포함한다. 일부 실시예들에서, 제1 입력을 검출하는 것은 디바이스가 임팩트 선택 어포던스에 대응되는 위치에서 접촉에 의한 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 것을 포함한다. 또한, 일부 실시예들에서, 임팩트 선택 어포던스 상의 상이한 입력들(예컨대, 탭 제스처 및 깊게 누르기 제스처)은 사용자 인터페이스가 상이한 후속 사용자 인터페이스들로 전이되게 한다. 예를 들어, 일부 실시예들에서, 도 5u 또는 도 5x의 어포던스(5104) 상의 탭 제스처는 메시지 입력 영역(5100) 내의 메시지 입력(5102)을 메시지로서 전송하는 한편, 깊게 누르기 입력(5108-1, 5108-2, 5108-3)은, 도 5x, 도 5y 및 도 5z에 도시된 바와 같이, 전자 디바이스에 의해 검출될 때, 메시징 애플리케이션으로 하여금 도 5aa의 임팩트 선택 인터페이스(5110)를 디스플레이하게 한다.
따라서, 방법(1200)은, 제1 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스(예컨대, 도 5aa의 임팩트 선택 인터페이스(5110))를 디스플레이하는 단계(1206)를 더 포함한다(예컨대, 임팩트 효과 옵션들(5112-1 내지 5112-4)은 메시징 사용자 인터페이스 대신에, 또는 메시징 사용자 인터페이스의 상측에 디스플레이됨). 일부 실시예들에서, 디스플레이된 복수의 임팩트 효과 옵션들(예컨대, 도 5aa의 5112-1 내지 5112-4)은 임팩트 효과 옵션들의 세트의 전체보다 작은 서브셋이다. 일부 실시예들에서, 임팩트 효과 옵션들의 세트는, 메시지가 메시징 세션 내에 처음 디스플레이될 때 개별적 메시지 구역에 적용되는 옵션들(예컨대, "구역 효과" 옵션들) 및 디스플레이된 대화 트랜스크립트 전체에 적용되는 옵션들(예컨대, "풀-스크린 효과" 옵션들)을 포함한다. 일부 실시예들에서, 디스플레이된 복수의 임팩트 효과 옵션들은 구역 효과 옵션들 중 적어도 일부를 포함하고 풀-스크린 효과 옵션들 중에서는 어느 것도 포함하지 않는다. 일부 실시예들에서, 구역 효과 옵션은: 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내의 메시지를 슬램 다운하는 옵션(예컨대, 도 5aa의 "슬램" 옵션(5112-4)); 적어도 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내의 메시지의 크기를 증가시키는 옵션(예컨대, 도 5aa의 "라우드" 옵션(5112-3)); 적어도 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내의 메시지의 크기를 감소시키는 옵션(예컨대, 도 5aa, 및 도 5at 내지 도 5aw의 "젠틀" 옵션(5112-2)); 및 대화 트랜스크립트 내의 메시지의 콘텐츠를 은폐하는 옵션(도 5aa의 "투명 잉크" 옵션(5112-1))을 포함한다.
일부 실시예들에서, 풀-스크린 효과 옵션은 다음의 옵션들 중 두 개 이상을 포함한다: 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내에 풍선들을 디스플레이하는 옵션("풍선"); 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내에 색종이를 디스플레이하는 옵션("색종이"); 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내의 폭죽을 디스플레이하는 옵션("폭죽"); 메시지가 처음 디스플레이될 때 포커스가 있는 메시지를 디스플레이하고 나머지 대화 트랜스크립트를 흐릿하게 하는 옵션("포커스"); 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내에 이동하는 하나 이상의 스포트라이트 빔들을 디스플레이하는 옵션("스포트라이트"또는 "드롭 더 마이크(drop the mic)"); 메시지가 처음 디스플레이될 때 대화 트랜스크립트 위로 메시지의 다수의 복사본들을 디스플레이하는 옵션("에코"); 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내에 유성을 디스플레이하는 옵션("슈팅 스타"); 메시지가 처음 디스플레이될 때 대화 트랜스크립트 내에 이동하는 다수의 레이저 빔들(예컨대, 도 5cr 내지 도 5ct에 도시된 바와 같음)을 디스플레이하는 옵션("레이저"); 및 메시지가 처음 디스플레이될 때 메시지로부터 팽창하는 하트("메탈릭 하트")를 디스플레이하는 옵션.
방법(1200)은 임팩트 선택 인터페이스를 디스플레이하는 동안, 복수의 임팩트 효과 옵션들 중 제1 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하는 단계(1222)를 더 포함한다. 제2 입력의 예들은 도 5aa의 입력(5108-4), 도 5ab 내지 도 5ad의 입력(5108-5) 및 도 5ae 및 도 5af의 입력(5108-6)이다. 일부 실시예들에서, 제1 접촉 및 제2 접촉은 동일한 손가락에 의해 형성된 두 개의 상이한 탭 제스처들 내의 접촉들, 또는 전송 어포던스 상의 깊게 누르기 제스처와 뒤이어 제1 임팩트 효과 옵션 상의 탭 제스처와 같은 별개의 접촉이다. 일부 실시예들에서, 제1 접촉 및 제2 접촉은 임팩트 선택 어포던스 상의 길게 누르기, 가볍게 누르기 또는 깊게 누르기(예컨대, 도 5x, 도 5y 및 도 5z에 도시된 바와 같은 임팩트 선택 어포던스(5104) 상의 깊게 누르기 입력(5108-1, 5108-2, 5108-3)), 뒤이어 제1 임팩트 효과 옵션 상으로의 드래그(예컨대, 도 5aa의 임팩트 효과 옵션(5112-1) 상의 입력(5108-4)), 이어서 제1 임팩트 효과 옵션 상의 일시 중지 또는 깊게 누르기와 같은, 터치 감응형 표면과의 동일한 연속 접촉의 상이한 부분들이다.
방법(1200)은 또한, 제2 접촉에 의한 제2 사용자 입력(예컨대, 도 5ae의 제2 입력(5108-6))을 검출하는 것에 응답하여, 제1 임팩트 효과 옵션을 제1 메시지 입력에 적용하는 (예컨대, 도 5ae의 임팩트 선택 인터페이스(5110)의) 미리보기를 디스플레이하는 단계(1224)를 포함한다. 도 5ae는 제1 임팩트 효과 옵션(즉, 슬램 옵션)의 위치에 대응되는 터치 감응형 표면 상의 위치에서 각각 제2 접촉에 의한 제2 입력(5108-6)에 응답하여, 제1 메시지 입력("Congratulations!")에 적용되는 슬램 옵션의 미리보기를 도시한다. 일부 실시예들에서, 미리보기는 제1 메시지 입력을 포함하는 메시지 구역에 제1 임팩트 효과를 적용한다(예컨대, 도 5ae에 도시된 바와 같음). 일부 실시예들에서, 미리보기는 풀-스크린 효과의 경우, 제1 메시지를 갖는 메시지 구역을 포함하는 디스플레이 스크린 전체(또는 실질적으로 전체)에 제1 임팩트 효과를 적용하며, 그 예는 도 5ax 내지 도 5bf의 사용자 인터페이스 이미지들의 시퀀스에 의해 도시된다. 도 5ax 내지 도 5bf는 제1 메시지 입력("Hell No!!")의 "슬램" 효과의 진행을 도시한 것으로, 디스플레이된 제1 메시지 입력이 확대되고, 회전되고, 어두운 배경(도 5ax)을 가지고 도시되는 것으로 시작하여, 이어서 심지어 더 크고 약간 더 밝아진 배경(도 5ay)을 가지고 디스플레이되고, 이어서 이전보다 덜 확대되고 상이한 각도로 회전한 다음(도 5az), 이어서 더 축소된 확대를 가지고 흐린 테두리들을 이용하여 도시되고(도 5ba), 이어서 축소된 크기, 상이한 배경 및 상이한 회전을 가지고 도시되고(도 5bb), 이어서 제1 메시지 입력이 정상(디폴트) 크기로, 비회전 상태로, 정상(디폴트) 배경을 가지고 도시될 때까지(도 5bf), 메시지 구역 주위로 상이한 섀도우들의 시퀀스(도 5bc, 도 5bd, 도 5be)를 가지고 도시된다.
일부 실시예들에서, 각자의 임팩트 효과 옵션의 미리보기가 디스플레이되는 동안, 각자의 임팩트 효과 옵션에 대응되는 임팩트 선택 인터페이스 내의 위치는 각자의 임팩트 효과 옵션과 함께 (제1 메시지 입력을 갖는) 메시지를 전송하기 위한 어포던스(예컨대, 도 5ab의 전송 어포던스(5118))를 포함한다.
일부 실시예들에서, 전술한 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)과 관련하여, 임팩트 선택 인터페이스는, 활성화될 때, 제1 메시지 입력을 포함하는 메시지에 대한 임팩트 효과 옵션의 디스플레이를 야기하는 구역 효과 옵션 어포던스(예컨대, 도 5aa의 어포던스(5114)), 및 활성화될 때, 제1 메시지 입력을 포함하는 메시지가 메시징 세션 내에 디스플레이되는 경우, 디스플레이된 대화 트랜스크립트 전체에 적용되는 하나의 임팩트 효과 옵션의 미리보기의 디스플레이를 야기하는 풀-스크린 효과 옵션 어포던스(예컨대, 도 5aa의 어포던스(5116)) 모두를 포함한다(1208). 전형적으로, 복수의 풀-스크린 효과 옵션들이 있지만, 풀-스크린 효과 옵션 어포던스의 활성화에 응답하여, 임의의 시간 일 회에 그들 중 하나만 미리보기할 수 있다.
일부 실시예들에서, 위에 논의된 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)에 관하여, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역에, 제1 메시지 입력을 포함하는 메시지 구역의 면적보다 더 큰 면적을 갖는 이미지(예컨대, 음영 처리된 타원 또는 구름)를 적용하는(예컨대, 제1 메시지 입력을 포함하는 메시지 구역 뒤로 이미지를 디스플레이하는) 적어도 하나의 임팩트 효과 옵션을 포함한다(1210). 이러한 효과의 예들이 도 5ae 및 도 5af에 도시되어 있다.
일부 실시예들에서, 위에 설명된 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)에 관하여, 복수의 임팩트 효과 옵션들은 어떠한 임팩트 효과 옵션도 선택되지 않을 때 제1 메시지 입력을 포함하는 메시지 구역의 크기(예컨대, 디폴트 크기)에 상대적으로 제1 메시지 입력을 포함하는 메시지 구역의 크기를 증가 또는 감소시키는 적어도 하나의 임팩트 효과 옵션을 포함한다(1212). 예를 들어, 도 5ab는 임팩트 효과 옵션이 메시지 구역의 디폴트 크기에 상대적으로 감소된 크기를 갖는 제1 메시지 입력을 포함하는 메시지 구역과 함께 디스플레이되는 예를 도시하는 한편, 도 5ac는 임팩트 효과 옵션이 메시지 구역의 디폴트 크기에 상대적으로 증가된 크기를 갖는 제1 메시지 입력을 포함하는 메시지 구역과 함께 디스플레이된 예를 도시한다.
일부 실시예들에서, 전술한 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)에 관하여, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 디스플레이되는 경우, 제1 메시지 입력을 포함하는 메시지 구역과, 디스플레이된 대화 트랜스크립트 내의 다른 메시지 구역들이 상호작용하게 하도록 구성된 적어도 하나의 임팩트 효과 옵션(예컨대, 다른 메시지 구역들은 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역이 디스플레이될 때 흔들리고/흔들리거나 튀어 올라 도착 메시지의 임팩트를 증가시킴)을 포함한다(1214). 예를 들어, 도 5bb 내지 도 5be에 도시된 사용자 인터페이스들의 시퀀스는 도착 메시지의 시각적 임팩트를 증가시키기 위해, 제1 메시지 입력(예컨대, "Hell No !!")을 갖는 메시지 구역 이외의 다른 메시지 구역들이 이동되는(예컨대, 서로 가까워지도록 이동되고, 부분적으로 중첩되게 야기됨)것을 예시한다.
일부 실시예들에서, 전술한 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)에 관하여, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이되는 경우, 애니메이션을 디스플레이하도록 구성된 적어도 하나의 임팩트 효과 옵션을 포함한다(1216). 일부 실시예들에서, 애니메이션은 좌우 및/또는 상하 애니메이션과 같은, 두 개 이상의 위치 사이에서 메시지 구역을 이동하는 "셰이크(shake)" 애니메이션이다(예컨대, 도 5ah 및 도 5ai에 도시된 바와 같음). 일부 실시예들에서, 애니메이션은 메시지 구역의 크기를 대화 트랜스크립트 내의 처음 디스플레이된 크기로부터 증가시킨다(예컨대, 도 5ak, 도 5al, 도 5am의 시퀀스 및 도 5an 내지 도 5as의 시퀀스에 도시된 바와 같음).
일부 실시예들에서, 애니메이션은 메시지 구역의 크기를 애니메이션의 단부에서 디스플레이되는 최종 크기를 초과하여 증가시키고(따라서 최종 크기를 오버 슈트함), 이어서, 메시지 구역의 크기를 최종 크기로 축소한다(예컨대, 도 5an 내지 도 5as의 시퀀스에 도시된 바와 같음). 일부 실시예들에서, 임팩트 효과 옵션이 선택되지 않은 경우, 메시지 구역의 최종 크기는 제1 메시지 입력을 포함하는 메시지 구역의 (디폴트) 크기보다 크거나 작다. 일부 실시예들에서, 메시지 구역의 콘텐츠를 은폐하는 임팩트 효과 옵션은 메시지의 콘텐츠가 은폐되었음을 표시하기 위해 이동 입자들(예컨대, 가상 모래 입자들)을 포함하는 애니메이션을 메시지 구역 내에 디스플레이한다(예컨대, 도 5bq 및 도 5br에 도시된 바와 같음).
일부 실시예들에서, 전술한 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)에 관하여, 복수의 임팩트 효과 옵션들은, 제1 메시지 입력을 포함하는 메시지 구역이 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이되는 경우 애니메이션을 디스플레이하도록 구성된 적어도 하나의 임팩트 효과 옵션을 포함하며(1218), 애니메이션은 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역 및 다른 메시지 구역들을 동시에 이동한다. 예를 들어, 도착 메시지의 임팩트를 증가시키기 위해, 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이 시, 다른 메시지 구역들이 흔들리고/흔들리거나 튀어 오른다. 도 5bb 내지 도 5bf에 예시된 사용자 인터페이스들의 시퀀스는 제1 메시지 입력을 갖는 메시지 구역 및 다른 메시지 구역 둘 모두가 "슬램" 효과 옵션에 따라 대화 트랜스크립트 내의 이동되는 예를 도시한다(도 5aa, 도 5ac의 5112-4).
일부 실시예들에서, 전술한 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스를 디스플레이하는 것(1206)에 관하여, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이되는 경우, (예컨대, 햅틱 피드백을 제공하기 위해) 하나 이상의 촉각 출력들을 트리거하도록 구성된 적어도 하나의 임팩트 효과 옵션을 포함한다(1220). 예를 들어, 일부 실시예들에서, 제1 임팩트 효과 옵션(예컨대, 도 5aa의 "슬램" 옵션(5112-4))은 제2 임팩트 효과 옵션(예컨대, 도 5aa의 "라우드"옵션(5112-3))보다 작은 진폭 촉각 출력을 갖는다.
일부 실시예들에서, (예컨대, 도 5ae의 임팩트 선택 인터페이스(5110) 내의) 미리보기를 디스플레이(1224)하는 것에 관하여, 제1 임팩트 효과 옵션을 제1 메시지 입력에 적용하는 (예컨대, 도 5ae의 임팩트 선택 인터페이스(5110) 내의) 미리보기는 주기적으로 반복된다(1226). 예를 들어, 미리보기 내에 보이는 애니메이션은 후속 사용자 입력이 검출될 때까지, N(예컨대, 2, 3 또는 4) 초마다 반복된다.
일부 실시예들에서, 미리보기를 디스플레이한 후, 방법(1200)은 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉의 리프트 오프를 검출하는 단계(1228); 및 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉의 리프트 오프를 검출하는 것에 응답하여, 임팩트 선택 인터페이스(예컨대, 도 5ae의 임팩트 선택 인터페이스(5110))를 디스플레이하는 것을 중지하는 단계; 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하는 단계(및, 일부 실시예들에서, 도 5ah에 도시된 바와 같이, 메시지 구역에 그리고/또는 대화 트랜스크립트에 제1 임팩트 효과 옵션을 적용하는 단계); 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들이 (A) 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하고, (B) 제1 임팩트 효과 옵션을 적용하게 하는 정보를 송신하는 단계를 포함한다(예컨대, 도 5ak에 도시된 바와 같음). 제1 임팩트 효과는 옵션적으로 제1 메시지 입력을 포함하는 메시지 구역에 그리고/또는 디스플레이된 대화 트랜스크립트에 적용된다.
일부 실시예들에서, 미리보기를 디스플레이한 후, 방법(1200)은 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 단계(1230)를 포함한다 (예컨대, 제1 임팩트 효과 옵션에 대한 전송 어포던스와 같은 제1 임팩트 효과 옵션에 대응되는 위치에서 접촉에 의한 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계). 예를 들어, 도 5ag는 사용자 선택 임팩트 효과 옵션(이 경우에는 "슬램" 옵션)에 대응되는 위치에서 전송 어포던스 상의 제3 입력(5108-7)을 도시한다.
그러한 실시예들에서, 방법(1200)은 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하는 단계; 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하는 단계 (및, 일부 실시예들에서, 도 5ah에 도시된 바와 같이, 메시지 구역에 그리고/또는 대화 트랜스크립트에 제1 임팩트 효과 옵션을 적용하는 단계); 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들이 (A) 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하고, (B) 제1 임팩트 효과 옵션을 적용하게 하는 정보를 송신하는 단계를 포함한다(예컨대, 도 5ak에 도시된 바와 같음). 제1 임팩트 효과는 옵션적으로 제1 메시지 입력을 포함하는 메시지 구역에 그리고/또는 디스플레이된 대화 트랜스크립트에 적용된다.
일부 실시예들에서, 미리보기를 디스플레이한 후, 방법(1200)은 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉의 리프트 오프(예컨대, 도 5ae 또는 도 5af에 도시된 바와 같은 제2 입력(5108-6)의 리프트 오프)를 검출하는 단계(1232); 및 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제2 접촉의 리프트 오프를 검출하는 것에 응답하여, 제1 메시지 입력을 포함하는 메시지에 대한 제1 임팩트 효과 옵션을 선택하는 단계; 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하는 단계; 및 메시징 세션의 대화 트랜스크립트 및 제1 메시지 입력을 포함하는 메시지 입력 영역을 (예컨대, 도 5ah에 도시된 바와 같이) 디스플레이하는 단계를 포함한다.
그러한 실시예들에서, 방법(1200)은 제3 입력(예컨대, 도 5ag의 제3 입력(5108-7)과 같은, 전송 어포던스에 대응되는 위치에서의 탭 제스처)을 검출하는 단계; 및 제3 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 (예컨대, 도 5ah에 도시된 바와 같이) 디스플레이하는 단계(및 일부 실시예들에서는, 메시지 구역에 그리고/또는 대화 트랜스크립트에 제1 임팩트 효과 옵션을 적용하는 단계); 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들이 (A) 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하고, (B) 제1 임팩트 효과 옵션을 적용하게 하는 정보를 송신하는 단계를 포함한다(예컨대, 도 5ak에 도시된 바와 같음). 제1 임팩트 효과는 옵션적으로 제1 메시지 입력을 포함하는 메시지 구역에 그리고/또는 디스플레이된 대화 트랜스크립트에 적용된다.
일부 실시예들에서, 미리보기를 디스플레이한 후, 방법(1200)은 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 단계(1234)를 포함한다 (제1 임팩트 효과 옵션에 대한 전송 어포던스와 같은 제1 임팩트 효과 옵션에 대응되는 위치에서 접촉에 의한 탭 제스처, 길게 누르기 제스처, 가볍게 누르기 제스처 또는 깊게 누르기 제스처를 검출하는 단계) 예를 들어, 도 5ag는 사용자 선택 임팩트 효과 옵션(이 경우에는 "슬램" 옵션)에 대응되는 위치에서 어포던스 상의 제3 입력(5108-7)을 도시한다.
그러한 실시예들(1234)에서, 방법(1200)은 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 제1 메시지 입력을 포함하는 메시지에 대한 제1 임팩트 효과 옵션을 선택하는 단계; 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하는 단계; 및 메시징 세션의 대화 트랜스크립트 및 제1 메시지 입력(예컨대, 도 5ah에 도시된 바와 같이, 메시지 입력 영역(5008)의 제1 메시지 입력(5102))을 포함하는 메시지 입력 영역을 디스플레이하는 단계를 포함한다. 또한, 방법(1200)은 제4 입력(예컨대, 임팩트 옵션 선택 어포던스와 옵션적으로 동일한 어포던스일 수 있거나, 대안적으로 임팩트 옵션 선택 어포던스와 구별되는 어포던스일 수 있는 전송 어포던스에 대응되는 위치에서의 탭 제스처)을 검출하는 단계; 및 제4 입력을 검출하는 것에 응답하여: (A) 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하는 단계(및 일부 실시예들에서, 메시지 구역에 그리고/또는 대화 트랜스크립트에 제1 임팩트 효과 옵션을 적용하는 단계); 및 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들이 (A) 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하고, (B) 제1 임팩트 효과 옵션을 적용하게 하는 정보를 송신하는 단계를 포함한다(예컨대, 도 5ak에 도시된 바와 같음). 제1 임팩트 효과는 옵션적으로 제1 메시지 입력을 포함하는 메시지 구역에 그리고/또는 디스플레이된 대화 트랜스크립트에 적용된다.
옵션적으로, 메시징 애플리케이션의 사용자는 임팩트 효과 옵션에 대해 최종 선택을 내리기 전에 디스플레이된 대화 트랜스크립트 전체에 적용되는 하나보다 많은 임팩트 효과 옵션을 미리보기할 수 있다. 일부 실시예들에서, 방법(1200)은 메시지 입력 영역이 비어 있는 동안(1236), 메시지 입력 영역(예컨대, 도 5u의 메시지 입력 영역(5100)) 내에 텍스트를 입력하는 입력을 검출하는 단계; 메시지 입력 영역 내에 텍스트를 입력하는 입력을 검출하는 것에 응답하여, 임팩트 선택 어포던스(예컨대, 메시지 입력 영역(5100) 내의 임팩트 선택 어포던스(5104))를 디스플레이하는 단계를 포함하며, 임팩트 선택 어포던스의 활성화는 임팩트 선택 인터페이스의 디스플레이를 야기하도록 구성된다.
일부 실시예들에서, 방법(1200)은 디스플레이된 대화 트랜스크립트 전체에 적용되는 임팩트 효과 옵션의 미리보기가 디스플레이되는 동안 (예컨대, 도 5cc 및 도 5ch 내지 도 5co에 도시된 바와 같이, 생일 메시지에 대한 대화 트랜스크립트 내의 상향으로 떠오르는 풍선들(예컨대, 도 5cb에 도시된 바와 같은 풍선들(5152-1))을 디스플레이하는 것과 같은 제1 풀-스크린 효과 옵션의 미리보기), 디스플레이된 대화 트랜스크립트 전체에 적용되는 다른 임팩트 효과 옵션의 미리보기의 디스플레이를 활성화하는 입력(예컨대, 도 5cc의 스와이프 제스처(5156))을 검출하는 단계(1238); 및 디스플레이된 대화 트랜스크립트 전체에 적용되는 다른 임팩트 효과 옵션의 미리보기의 디스플레이를 활성화하는 입력을 검출하는 것에 응답하여, 디스플레이된 대화 트랜스크립트 전체에 적용된 제2 임팩트 효과 옵션의 미리보기를 디스플레이하는 단계를 포함한다(예컨대, 도 5cd 및 도 5ce에 도시된 바와 같이, "Congratulations!" 메시지에 대한 색종이의 디스플레이, 또는 도 5cp 내지 도 5cw에 도시된 바와 같이, "Happy New Year" 메시지에 대한 대화 트랜스크립트 내의 폭발하는 폭죽과 같은 제2 풀-스크린 효과 옵션의 미리보기를 디스플레이함). 도 5cb 및 도 5cc에 도시된 바와 같이, 사용자 인터페이스는 어느 풀-스크린 효과 옵션이 현재 선택되었는지 또는 현재 미리보기 중인지를 표시하고, 또한 얼마나 많은 풀-스크린 효과 옵션이 이용가능한지와, 또한 풀-스크린 효과 옵션의 시퀀스에서 그 옵션들 중 어느 옵션이 현재 보여지고 있는지를 표시하기 위한 효과 옵션 표시자(5154)(때로는 페이지 도트라고 함)를 포함할 수 있다.
옵션적으로, 메시징 애플리케이션의 사용자는 임팩트 효과 옵션에 대해 최종 선택을 내리기 전에 하나보다 많은 임팩트 효과 옵션을 미리보기할 수 있다. 일부 실시예들에서, 방법(1200)은 임팩트 선택 인터페이스(예컨대, 도 5aa에 도시된 바와 같은, 임팩트 선택 인터페이스(5110))를 디스플레이하는 동안, 복수의 임팩트 효과 옵션들 중 제2 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 입력(예컨대, 입력(5108-4))을 검출하는 단계(1240); 및 제2 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 사용자 입력을 검출하는 것에 응답하여, 제2 임팩트 효과 옵션을 제1 메시지 입력에 적용하는 (예컨대, 임팩트 선택 인터페이스 내의) 미리보기를 디스플레이하는 단계를 포함한다. 일부 실시예들에서, 미리보기는 제1 메시지 입력을 포함하는 메시지 구역에 제2 임팩트 효과를 적용한다.
도 5ch 내지 도 5co의 시퀀스는 대응되는 향상된 메시지 콘텐츠 트리거를 포함하는 메시지("Happy Birthday!!!!!")가 수신될 때 디스플레이되는 풍선 풀-스크린 효과의 예를 도시한다. 유사하게, 도 5cp 내지 도 5cw의 시퀀스는 대응되는 향상된 메시지 콘텐츠 트리거를 포함하는 메시지("Happy New Year!!!")가 수신될 때 디스플레이되는 폭죽 풀-스크린 효과의 예를 도시한다.
일부 실시예들에서, 방법(1200)은 메시징 세션 내의 다른 사용자에 대응되는 전자 디바이스가 제1 임팩트 효과 옵션을 메시징 세션 내의 메시지에 적용할 수 있는지(또는, 보다 일반적으로, 복수의 임팩트 효과 옵션들 중 임의의 임팩트 효과 옵션을 적용할 수 있는지) 여부를 결정하는 단계(1242), 및 메시징 세션 내의 다른 사용자에 대응되는 전자 디바이스가 메시징 세션 내의 메시지에 제1 임팩트 효과 옵션을 적용할 수 없다는 결정에 따라, 사용자의 전자 디바이스의 디스플레이 상에 제1 임팩트 효과 옵션에 대한 통지(예컨대, 메시징 세션 내의 타 사용자에 대응되는 전자 디바이스가 제1 임팩트 효과 옵션 또는 임의의 임팩트 효과 옵션을 메시징 세션 내의 메시지에 적용할 수 없다는 통지)를 디스플레이하는 단계를 포함한다. 옵션적으로, 메시징 세션 내의 다른 사용자에 대응되는 전자 디바이스가 메시징 세션 내의 메시지에 제1 임팩트 효과 옵션을 적용할 수 있다는 결정에 따라, 방법(1200)은 통지를 디스플레이하는 것을 보류하는 단계를 포함한다.
일부 실시예들에서, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 제1 메시지 입력을 포함하는 메시지 구역을 디스플레이하게 하는 정보를 송신하기 전에, 사용자의 전자 디바이스는 적어도 하나의 타 사용자에 대응되는 전자 디바이스가 메시지 구역에 제1 임팩트 효과 옵션을 적용할 수 있는지 여부를 결정한다. 그렇지 않은 경우, 사용자의 전자 디바이스는 타 사용자가 효과를 보지 않을 것이라고 표시하는 통지를 디스플레이한다.
도 12a 내지 도 12e에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1400, 1600, 1800)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 12a 내지 도 12e와 관련하여 위에 설명된 방법(1200)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1200)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 13은 전술한 바와 같은 본 발명의 원리에 따라 구성된 전자 디바이스(1300)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 13에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 13에 도시된 바와 같이, 전자 디바이스(1300)는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1302) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 제1 메시지 입력을 포함하는 메시지 입력 영역을 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(1304); 및 디스플레이 유닛 및 터치 감응형 표면 유닛과 결합된 프로세싱 유닛(1306)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(1306)은 검출 유닛(1308), 디스플레이 인에이블 유닛(1310), 중지 유닛(1312), 송신 유닛(1314), 선택 유닛(1316) 및 결정 유닛(1318)을 포함한다.
프로세싱 유닛(1306)은: 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시지 입력 영역 내의 위치에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제1 접촉에 의한 제1 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제1 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 복수의 임팩트 효과 옵션들을 포함하는 임팩트 선택 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 임팩트 선택 인터페이스를 디스플레이하는 동안, 복수의 임팩트 효과 옵션들 중 제1 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제2 접촉에 의한 제2 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제2 접촉에 의한 제2 사용자 입력을 검출하는 것에 응답하여, 제1 임팩트 효과 옵션을 제1 메시지 입력에 적용하는 미리보기의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 미리보기를 디스플레이한 후, 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제2 접촉의 리프트 오프를 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제2 접촉의 리프트 오프를 검출하는 것에 응답하여: 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(1312)을 이용함); 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하게 하는 정보를 송신하고, 제1 임팩트 효과 옵션을 적용하도록(예컨대, 송신 유닛(1314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 미리보기를 디스플레이한 후, 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제2 접촉의 리프트 오프를 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제2 접촉의 리프트 오프를 검출하는 것에 응답하여, 제1 메시지 입력을 포함하는 메시지에 대한 제1 임팩트 효과 옵션을 선택하고(예컨대, 선택 유닛(1316)을 이용함); 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(1312)을 이용함); 메시징 세션의 대화 트랜스크립트 및 제1 메시지 입력을 포함하는 메시지 입력 영역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 제3 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제3 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하게 하는 정보를 송신하고, 제1 임팩트 효과 옵션을 적용하도록(예컨대, 송신 유닛(1314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 미리보기를 디스플레이한 후, 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여: 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(1312)을 이용함); 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하게 하는 정보를 송신하고, 제1 임팩트 효과 옵션을 적용하도록(예컨대, 송신 유닛(1314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 미리보기를 디스플레이한 후, 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제1 임팩트 효과 옵션에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 제3 접촉에 의한 제3 입력을 검출하는 것에 응답하여, 제1 메시지 입력을 포함하는 메시지에 대한 제1 임팩트 효과 옵션을 선택하고(예컨대, 선택 유닛(1316)을 이용함); 임팩트 선택 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(1312)을 이용함); 메시징 세션의 대화 트랜스크립트 및 제1 메시지 입력을 포함하는 메시지 입력 영역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 제4 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제4 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 하여금 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역의 디스플레이를 인에이블하게 하는 정보를 송신하고, 제1 임팩트 효과 옵션을 적용하도록(예컨대, 송신 유닛(1314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 메시지 입력 영역이 비어 있는 동안, 메시지 입력 영역 내에 텍스트를 입력하는 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 메시지 입력 영역 내에 텍스트를 입력하는 입력을 검출하는 것에 응답하여, 임팩트 선택 어포던스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함) 더 구성되며, 임팩트 선택 어포던스의 활성화는 임팩트 선택 인터페이스의 디스플레이를 야기하도록 구성된다.
일부 실시예들에서, 임팩트 선택 인터페이스는, 활성화될 때, 제1 메시지 입력을 포함하는 메시지에 대한 임팩트 효과 옵션의 디스플레이를 야기하는 구역 효과 옵션 어포던스, 및 활성화될 때, 제1 메시지 입력을 포함하는 메시지가 메시징 세션 내에 디스플레이되는 경우 디스플레이된 대화 트랜스크립트 전체에 적용되는 하나의 임팩트 효과 옵션의 미리보기의 디스플레이를 야기하는 풀-스크린 효과 옵션 어포던스를 포함한다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 디스플레이된 대화 트랜스크립트 전체에 적용되는 임팩트 효과 옵션의 미리보기가 디스플레이되는 동안, 디스플레이된 대화 트랜스크립트 전체에 적용되는 다른 임팩트 효과 옵션의 미리보기의 디스플레이를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 디스플레이된 대화 트랜스크립트 전체에 적용되는 다른 임팩트 효과 옵션의 미리보기의 디스플레이를 활성화하는 입력을 검출하는 것에 응답하여, 디스플레이된 대화 트랜스크립트 전체에 적용되는 제2 임팩트 효과 옵션의 미리보기의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 임팩트 선택 인터페이스를 디스플레이하는 동안, 복수의 임팩트 효과 옵션들 중 제2 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 접촉에 의한 입력을 검출하고(예컨대, 검출 유닛(1308)을 이용함); 제2 임팩트 효과 옵션의 위치에 대응되는 터치 감응형 표면 유닛(1304) 상의 위치에서 접촉에 의한 사용자 입력을 검출하는 것에 응답하여, 제2 임팩트 효과 옵션을 제1 메시지 입력에 적용하는 미리보기의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함) 더 구성된다.
일부 실시예들에서, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역의 면적보다 더 큰 면적을 갖는 이미지를 제1 메시지 입력을 포함하는 메시지 구역에 적용하는 적어도 하나의 임팩트 효과 옵션을 포함한다.
일부 실시예들에서, 복수의 임팩트 효과 옵션들은 어떠한 임팩트 효과 옵션도 선택되지 않은 경우의 제1 메시지 입력을 포함하는 메시지 구역의 크기에 상대적으로 제1 메시지 입력을 포함하는 메시지 구역의 크기를 증가 또는 감소시키는 적어도 하나의 임팩트 효과 옵션을 포함한다.
일부 실시예들에서, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 디스플레이되는 경우, 제1 메시지 입력을 포함하는 메시지 구역과, 디스플레이된 대화 트랜스크립트 내의 다른 메시지 구역들이 상호작용하게 하도록 구성되는 적어도 하나의 임팩트 효과 옵션을 포함한다.
일부 실시예들에서, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이되는 경우, 애니메이션을 디스플레이하도록 구성된 적어도 하나의 임팩트 효과 옵션을 포함한다.
일부 실시예들에서, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이되는 경우, 애니메이션을 디스플레이하도록 구성된 적어도 하나의 임팩트 효과 옵션을 포함하며, 애니메이션은 대화 트랜스크립트 내의 제1 메시지 입력을 포함하는 메시지 구역 및 다른 메시지 구역들을 동시에 이동한다.
일부 실시예들에서, 복수의 임팩트 효과 옵션들은 제1 메시지 입력을 포함하는 메시지 구역이 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이되는 경우, 하나 이상의 촉각 출력들을 트리거하도록 구성된 적어도 하나의 임팩트 효과 옵션을 포함한다.
일부 실시예들에서, 제1 임팩트 효과 옵션을 제1 메시지 입력에 적용하는 미리보기는 주기적으로 반복된다.
일부 실시예들에서, 프로세싱 유닛(1306)은: 메시징 세션 내의 다른 사용자에 대응되는 전자 디바이스가 메시징 세션 내의 메시지에 제1 임팩트 효과 옵션을 적용할 수 있는지 여부를 결정하고(예컨대, 결정 유닛(1318)을 이용함), 메시징 세션 내의 다른 사용자에 대응되는 전자 디바이스가 메시징 세션 내의 메시지에 제1 임팩트 효과 옵션을 적용할 수 없다는 결정에 따라, 사용자의 전자 디바이스의 디스플레이 유닛(1302) 상에 제1 임팩트 효과 옵션에 대한 통지의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(1310)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 12a 내지 도 12e를 참조하여 위에 설명된 동작은, 옵션적으로, 도 1a 및 도 1b 또는 도 13에 도시된 컴포넌트에 의해 구현된다. 예를 들어, 검출 동작들(1204 및 1222)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
은폐 메시지 상호작용(Concealed Message Interaction)
도 14a 및 도 14b는 일부 실시예들에 따른, 은폐된 메시지들과 상호작용하기 위한 프로세스의 흐름도들이다. 보다 구체적으로, 이들 도면들은 메시지 구역 내에서 수신된 메시지 텍스트를 은폐하기 위해 하나 이상의 스크린 요소들을 포함하는 인터페이스를 디스플레이하는 방법들에 관한 것이다. 메시지 구역에 대응되는 위치에 수신된 입력에 응답하여, 수신된 메시지는 적어도 부분적으로 노출된다. 이것은 메시지들이 뷰잉될 수 있는 혼잡한 위치 등에서 메시지들이 비공개로 송신되고 뷰잉되도록 허용한다. 메시지 텍스트를 뷰잉하기 위한 추가적 액션을 요구함으로써, 콘텐츠의 의도하지 않은 공개를 피한다.
이들 방법들을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5bg 내지 도 5bp 및 도 5bq 내지 도 5ca에 도시된다.
도 14a 및 도 14b는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(1400)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
일부 실시예들에 따르면, 방법(1400)은 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 메시징 애플리케이션의 도 5bh에 도시된 바와 같은 사용자 인터페이스(5002))를 디스플레이하는 단계(1402)를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자(예컨대, 다른 전자 디바이스의 사용자) 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 5bh의 사용자 인터페이스(5002)의 대화 트랜스크립트(5004)), 및 제1 타 사용자로부터 수신된 메시지(예컨대, 메시지(5126))에 대한 대화 트랜스크립트 내의 메시지 구역(도 5bh의 5008)을 포함하며, 메시지 구역은 제1 타 사용자로부터 수신된 메시지를 은폐하는 하나 이상의 스크린 요소들(예컨대, 도 5bh의 스크린 요소들(5124))을 포함한다.
일부 실시예들에서, 수신된 메시지는 타 디바이스 - 다른 디바이스의 사용자가 메시지에 "투명 잉크" 효과를 적용했음 - 에 의해 전송된다. 일부 실시예들에서, 이는 복수의 임팩트 효과 옵션들(예컨대, 도 5aa와 관련하여 전술한 임팩트 효과 옵션들(5112-1 내지 5112-4))을 포함하는 도 5bg의 임팩트 선택 인터페이스(5110)를 사용하여 달성된다. 일부 실시예들에서, 임팩트 효과 옵션들의 세트는, 메시지가 메시징 세션 내에 처음 디스플레이될 때 개별적 메시지 구역에 적용되는 옵션들(예컨대, "구역 효과" 옵션들) 및 디스플레이된 대화 트랜스크립트 전체에 적용되는 옵션들(예컨대, "풀-스크린 효과" 옵션들)을 포함한다. 일부 실시예들에서, 디스플레이된 복수의 임팩트 효과 옵션들은 대화 트랜스크립트 내의 메시지의 콘텐츠를 은폐하는 옵션(도 5aa의 "투명 잉크" 옵션(5112-1), 도 5bg에 빈 메시지 구역에 의해 표시됨)을 포함한다. 일부 실시예들에서, 투명 잉크 옵션은 각자의 임팩트 효과 옵션과 함께 (사용자 지정 메시지 입력을 갖는) 메시지를 전송하기 위한 어포던스(예컨대, 도 5bg의 전송 어포던스(5118))를 포함한다. 일부 실시예들에서, 도 5bg의 임팩트 선택 인터페이스(5110)는 임의의 임팩트 효과 옵션의 선택을 취소하고, 메시징 애플리케이션을 메시징 애플리케이션의 이전 사용자 인터페이스 또는 메시징 애플리케이션의 미리 정의된 사용자 인터페이스 중 어느 하나로 복귀시키기 위한 취소 어포던스(5120)를 포함한다.
일부 실시예들에서, 메시지를 은폐하는 하나 이상의 스크린 요소들(5124)은 이동 입자들(예컨대, 이동 입자들의 디스플레이된 이미지들)이다(1404). 일부 실시예들에서, 디바이스는 메시지의 콘텐츠를 은폐하기 위해 메시지 구역 내에 이동 입자들(예컨대, 가상 모래 입자들)을 포함하는 애니메이션을 디스플레이한다.
일부 실시예들에서, 은폐된 메시지들을 갖는 메시지 구역(도 5bh의 5008)은 은폐된 메시지들을 갖지 않는 대화 트랜스크립트 내의 메시지 구역의 윤곽과 구별되는 메시지 구역 윤곽을 갖는다(1406). 일례에서, 은폐된 메시지를 갖는 메시지 구역은 점선 윤곽을 가지지만, 대화 트랜스크립트 내의 종래의 메시지 구역들(예를 들어, 투명 잉크 효과와 같은 임팩트 효과들이 그들에 적용되지 않은 메시지 구역들)은 실선 윤곽들을 갖는다.
방법(1400)은 은폐된 메시지를 갖는 메시지 구역에 대응되는 터치 감응형 표면 상의 위치에서 접촉에 의한 제1 입력(예컨대, 도 5bh의 스와이프 또는 드래그 제스처 입력(5128-a))을 검출하는 단계(1408); 및 접촉에 의한 제1 입력을 검출한 후, 메시지 구역 내의 은폐된 메시지를 노출하는 단계(1416)를 더 포함한다. 예를 들어, 도 5bh, 도 5bi, 도 5bj 및 도 5bk에 도시된 바와 같이, 메시지(5126)의 각자의 부분들은 메시지 구역(5008)의 제1 부분으로부터 메시지 구역(5008)의 다른 부분으로 진행하는 드래그 제스처 입력(5128-a, 5128-b, 5128-c, 5128-d)에 응답하여 노출된다. 이 예를 계속 참조하면, 도 5l에 도시된 바와 같이, 드래그 제스처(5128)가 완료되거나 종료될 때, 또는 미리 정의된 시간이 경과한 후, 메시지 구역(5008)의 메시지가 다시 은폐된다.
일부 실시예들에서, 제1 입력은 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서의 접촉에 의한 드래그 제스처(예컨대, 입력(5128-a))이다.
일부 실시예들에서, 접촉에 의한 제1 입력을 검출하는 단계(1408)는 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서 접촉에 의한 드래그 제스처(예컨대, 도 5bh의 입력(5128-a))를 검출하는 단계(1412)를 포함하고, 방법(1400)은 메시지를 은폐하는 하나 이상의 스크린 요소들의 부분들을 동적으로 제거하여(1412), 드래그 제스처의 접촉의 이동에 따라 메시지의 대응되는 부분들을 노출하는 단계를 포함한다. 일부 실시예들에서, 하나 이상의 스크린 요소들의 부분들(예컨대, 스크린 요소들(5124))은 드래그 제스처의 접촉에 대해 미리 결정된 거리 내에 있는 것들이 제거된다. 일부 실시예들에서, 메시지의 주어진 일부분이 노출된 후에(예컨대, 0.5, 1, 2, 3, 4 또는 5 초와 같은 미리 결정된 시간량의 경과 후에), 주어진 일부분은 (예컨대, 주어진 일부분을 은폐하는 하나 이상의 스크린 요소들을 적용함에 의해) 다시 은폐된다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함하며(1414), 제1 입력(예컨대, 입력(5128-a))은 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서의 접촉에 의한 누르기 입력(예컨대, 가볍게 누르기 또는 깊게 누르기)이다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함하며(1418), 접촉에 의한 제1 입력을 검출하는 것은 은폐된 메시지를 갖는 메시지 구역(도 5bm의 5008)에 대응되는 위치에서의 접촉의 세기의 증가(예컨대, 도 5bm, 도 5bn 및 도 5bo에 도시된 바와 같이, 증가하는 세기를 갖는 입력(5130-a, 5130-b, 5130-c))를 검출하는 것을 포함한다. 그러한 실시예들에서, 방법(1400)은: (도 5bm에 도시된 바와 같이) 메시지를 은폐하는 하나 이상의 스크린 요소들(5124)의 일부분을 동적으로 제거함으로써, 접촉의 세기가 증가함에 따라 메시지의 대응되는 부분들을 노출하도록(예컨대, 도 5bm, 도 5bn 및 도 5bo의 시퀀스에 도시된 바와 같음) 하는 단계를 포함한다. 일부 실시예들에서, 하나 이상의 스크린 요소들(5124)의 부분들은 접촉에 가장 가까운 것들이 제거되고, 이어서 접촉의 세기가 증가함에 따라, 도 5bm, 도 5bn 및 도 5bo의 시퀀스에 도시된 바와 같이, 전체 메시지가 노출될 때까지 접촉으로부터 점점 더 멀리 있는 부분들이 제거된다. 일부 실시예들에서, 입력 동안 접촉의 세기의 감소에 따라, 디바이스는 하나 이상의 스크린 요소들의 부분들을 동적으로 추가함으로써 도 5bo 내지 도 5bp의 진행에 도시된 바와 같이 메시지의 대응되는 부분들을 은폐한다.
일부 실시예들에서, 방법(1400)은 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 인증 프롬프트(예컨대, "Please enter a fingerprint or passcode" 등을 말하는 텍스트) 및/또는 인증 인터페이스(예컨대, 패스코드 스크린)를 디스플레이하는 단계(1420)를 포함한다. 그러한 실시예들에서, 방법(1400)은 인증 입력을 수신하는 단계(예컨대, 패스코드 또는 지문 입력을 수신하는 단계); 인증 입력이 인증 기준들을 만족한다는 결정에 따라, 메시지 구역 내의 은폐된 메시지를 노출하는 단계; 및 인증 입력이 인증 기준들을 만족하지 않는다는 결정에 따라, 메시지 구역 내의 메시지를 은폐된 채로 유지하는 단계를 포함한다.
일부 실시예들에서, 디바이스는 사용자가 메시지를 볼 권한이 있는지 여부를 결정하고, 사용자가 메시지를 볼 권한이 있다는 결정에 따라 메시지가 노출된다. 일부 실시예들에서, 결정은 제1 사용자 입력을 검출하는 것에 응답하여 수행된다. 일부 실시예들에서, 결정은 은폐된 메시지를 수신하는 것에 응답하여 수행된다. 일부 실시예들에서, 결정은 메시징 애플리케이션이 로딩되는 경우 또는 메시징 애플리케이션이 포커스를 수신하는 경우(예컨대, 메시징 애플리케이션의 사용자 인터페이스가 디스플레이되고, 사용자 입력을 수신하도록 인에이블되는 경우) 수행된다. 일부 실시예들에서, 결정은 사용자가 인증 정보를 디바이스에 제공하는 경우 수행된다(예컨대, 사용자가 코드, 패스워드 및/또는 지문을 사용하여 디바이스를 잠금해제하는 경우에 인증이 수행됨). 일부 실시예들에서, (예컨대, 다수의 사용자들을 갖는 디바이스 상에서) 인증은 새로운 사용자가 인증 정보를 제공하는 경우마다 수행된다.
일부 실시예들에서, 사용자가 메시지를 노출할 권한이 있는지 여부를 결정하는 것은 생체 인증을 수행하는 것을 포함한다. 일부 실시예들에서, 인증은 사용자가 디바이스를 잠금해제하기 위해 지문을 제공하는 경우에 수행된다. 일부 실시예들에서, 은폐된 메시지가 수신되는 경우 또는 사용자가 은폐된 메시지에 액세스하려고 시도하는 경우 사용자는 지문 또는 패스 코드를 제공하도록 프롬프트된다.
일부 실시예들에서, 디바이스는 은폐된 메시지를 디바이스로부터 전송하기 전에, (예컨대, 전송자 인증 크리덴셜을 검사함으로써) 전송자를 인증한다. 예를 들어, 은폐된 메시지(예컨대, "투명 잉크" 임팩트 효과 옵션을 갖는 메시지)를 전송하기 전에, 전송 디바이스는 사용자에 의해 제공된 패스코드 또는 지문이 디바이스의 일차 사용자와 같은 인증된 사용자에 대응되는지 여부를 검사한다. 일부 실시예들에서, 전송자는 (예컨대, 사용자가 전송 아이콘을 활성화하는 것 또는 "투명 잉크" 임팩트 효과 옵션과 같은 메시지를 은폐하기 위한 옵션을 선택하는 것에 응답하여) 은폐된 메시지를 전송하기 직전에, 패스 코드 및/또는 생체 인증(예컨대, 지문)을 제공하도록 프롬프트된다. 일부 실시예들에서, 디바이스가 전송자를 인증하면 은폐된 메시지가 전송되거나 전송되도록 인에이블되지만, 디바이스가 전송자를 인증하지 않으면 은폐된 메시지는 전송되지 않도록 방지된다.
일부 실시예들에서, 방법(1400)은 메시지 구역 내의 은폐된 메시지를 노출한 후, 제1 타 사용자로부터 수신된 메시지를 은폐하는 단계를 포함한다(1422). 예를 들어, 도 5bh 내지 도 5bk의 시퀀스에 도시된 바와 같이, 메시지 구역(5008) 내의 은폐된 메시지가 노출된 후에, 메시지 구역 내의 메시지는 도 5bl에 도시된 바와 같이 다시 은폐된다. 또 다른 예에서, 도 5bq 내지 도 5bv의 시퀀스는 도 5bq 내지 도 5bt에 도시된 바와 같이, 메시지가 점차적으로 노출된 다음, 도 5bt 내지 도 5bv에 도시된 바와 같이, 점차적으로 은폐되는 것을 도시한다. 일부 실시예들에서, 메시지는 접촉에 의한 제1 입력의 종료를 검출하는 것에 응답하여 다시 은폐된다. 일부 실시예들에서, 메시지는 접촉에 의한 제1 입력이 종료된 이후, 미리 결정된 시간(예컨대, 2초, 5초, 또는 2초 내지 5초 사이의 미리 결정된 시간량)이 경과된 후에 다시 은폐된다. 일부 실시예들에서, 메시지는 메시지가 노출된 이후 미리 결정된 시간(예컨대, 2초, 5초, 또는 2초 내지 5초 사이의 미리 결정된 시간량)이 경과된 후에 다시 은폐된다.
도 14a 및 도 14b의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1600, 1800)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 14a 및 도 14b와 관련하여 위에 설명된 방법(1400)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1400)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 15는 전술한 바와 같은 본 발명의 원리에 따라 구성된 전자 디바이스(1500)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 15에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 15에 도시된 바와 같이, 전자 디바이스(1500)는 디스플레이 유닛(1502) 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1502) - 메시징 사용자 인터페이스는: 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 제1 타 사용자로부터 수신된 메시지에 대한 대화 트랜스크립트 내의 메시지 구역을 포함하며, 메시지 구역은 제1 타 사용자로부터 수신된 메시지를 은폐하는 하나 이상의 스크린 요소들을 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(1504); 및 디스플레이 유닛(1502) 및 터치 감응형 표면 유닛(1504)과 결합된 프로세싱 유닛(1506)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(1506)은 검출 유닛(1508), 디스플레이 인에이블 유닛(1510), 수신 유닛(1512), 노출 유닛(1514), 은폐 유닛(1516), 제거 유닛(1518) 및 삭제 유닛(1520)을 포함한다.
프로세싱 유닛(1506)은: 은폐된 메시지를 갖는 메시지 구역에 대응되는 터치 감응형 표면 유닛(1504) 상의 위치에서 접촉에 의한 제1 입력을 검출하고(예컨대, 검출 유닛(1508)을 이용함); 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 메시지 구역 내의 은폐된 메시지를 노출하도록(예컨대, 노출 유닛(1514)을 이용함) 구성된다.
일부 실시예들에서, 메시지를 은폐하는 하나 이상의 스크린 요소들은 이동 입자들이다.
일부 실시예들에서, 은폐된 메시지들을 갖는 메시지 구역은 은폐된 메시지들을 갖지 않는 대화 트랜스크립트 내의 메시지 구역의 윤곽과 구별되는 메시지 구역 윤곽을 갖는다.
일부 실시예들에서, 프로세싱 유닛(1506)은: 접촉에 의한 제1 입력을 검출하는 것에 응답하여, 인증 프롬프트 및/또는 인증 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(1510)을 이용함); 인증 입력을 수신하고(예컨대, 수신 유닛(1512)을 이용함); 인증 입력이 인증 기준들을 만족한다는 결정에 따라, 메시지 구역 내의 은폐된 메시지를 노출하고(예컨대, 노출 유닛(1514)을 이용함); 인증 입력이 인증 기준들을 만족하지 않는다는 결정에 따라, 메시지 구역 내의 메시지를 은폐된 채로 유지하도록(예컨대, 은폐 유닛(1516)을 이용함) 더 구성된다.
일부 실시예들에서, 제1 입력은 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서의 접촉에 의한 드래그 제스처이다.
일부 실시예들에서, 접촉에 의한 제1 입력을 검출하는 것은 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서 접촉에 의한 드래그 제스처를 검출하는 것을 포함하며, 프로세싱 유닛(1506)은: 드래그 제스처의 접촉의 이동에 따라, 메시지를 은폐하는 하나 이상의 스크린 요소들의 부분들을 동적으로 제거하여(예컨대, 제거 유닛(1518)을 이용함), 메시지의 대응되는 부분들을 노출하도록 더 구성된다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 유닛(1504) 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함하며, 제1 입력은 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서의 접촉에 의한 누르기 입력이다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 유닛(1504) 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함하고, 접촉에 의한 제1 입력을 검출하는 것은 은폐된 메시지를 갖는 메시지 구역에 대응되는 위치에서 접촉의 세기의 증가를 검출하는 것을 포함하며, 프로세싱 유닛(1506)은: 접촉의 세기를 증가에 따라, 메시지를 은폐하는 하나 이상의 스크린 요소들의 부분들을 동적으로 제거하여(예컨대, 제거 유닛(1518)을 이용함), 메시지의 대응되는 부분들을 노출하도록 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1506)은: 메시지 구역 내의 은폐된 메시지를 노출한 후, 제1 타 사용자로부터 수신된 메시지를 은폐하도록(예컨대, 은폐 유닛(1516)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(1506)은: 메시지 구역 내의 은폐된 메시지를 노출한 후, 제1 타 사용자로부터 수신된 메시지를 대화 트랜스크립트로부터 자동으로 삭제하도록(예컨대, 삭제 유닛(1520)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 14a 및 도 14b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 15에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(1408, 1412 및 1414)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
향상된 메시지 콘텐츠의 트리거(Triggering enhanced message content)
도 16a 내지 도 16c는 일부 실시예들에 따른, 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는 경우, 메시징 사용자 인터페이스에 효과를 적용하기 위한 프로세스의 흐름도들이다. 보다 구체적으로, 이들 도면들은 제1 메시지 구역 내의 메시지가 향상된 메시지 콘텐츠 트리거(예컨대, 단어, 구문, 이모지의 세트, 또는 효과를 트리거하는 다른 콘텐츠, 전송자에 의해 선택된 옵션)를 포함하는지 여부를 결정하는 방법들에 관한 것이다. 메시지가 향상된 메시지 콘텐츠 트리거를 포함한다고 결정하는 것에 응답하여, 효과는 메시징 사용자 인터페이스에 적용된다. 일부 실시예들에서, 효과는 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 적용된다. 일부 실시예들에서, 효과는 메시징 사용자 인터페이스의 크롬에 적용된다.
이 방법을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5cb 내지 도 5cg 및 도 5ch 내지 도 5cw에 도시된다.
도 16a 내지 도 16c는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(1600)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
일부 실시예들에 따르면, 방법(1600)은 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 메시징 애플리케이션의 도 5bh에 도시된 바와 같은 사용자 인터페이스(5002))를 디스플레이하는 단계(1602)를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자(예컨대, 다른 전자 디바이스의 사용자) 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 5cf의 사용자 인터페이스(5002)의 대화 트랜스크립트(5004))를 포함한다. 방법(1600)은 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스(예컨대, 제2 전자 디바이스)로부터 제1 메시지를 수신하는 단계(1604); 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 단계(1606); 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함한다는 결정에 따라, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하는 단계(1616); 및 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 단계 - 향상된 메시지 콘텐츠는 대화 트랜스크립트 내의 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 콘텐츠를 포함함(예를 들어, 도 5cf에 도시된 바와 같음) -; 및 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하지 않는다는 결정에 따라, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 (즉, 예를 들어, 도 5cg에 도시된 바와 같이, 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하지 않고) 제1 메시지를 디스플레이하는 단계(1642)를 더 포함한다.
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부의 결정(1606)은 제1 메시지를 수신하는 것에 응답하여 수행된다(1608).
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 단계(1606)는 제1 메시지가 미리 정의된 텍스트를 포함하는지 여부를 결정하는 단계(1610)를 포함한다. 예를 들어, 제1 메시지가 단어들 "happy birthday,"를 포함하는 경우, 디바이스는 도 5ck 내지 도 5co의 시퀀스에 도시된 바와 같이, 풍선들을 포함하는 향상된 메시지 콘텐츠를 디스플레이한다. 일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 단계는 제1 메시지가 단어, 구문, 이모티콘, 이모티콘 문자열, 이모지, 이모지 문자열, 스티커 및/또는 스티커 문자열과 같은 미리 정의된 메시지 콘텐츠를 포함하는지 여부를 결정하기 위해 제1 메시지의 콘텐츠를 분석하는 단계를 포함한다.
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 단계(1606)는 디스플레이될 향상된 메시지 콘텐츠를 표시하는 비-디스플레이된 내재 값(embedded non-displayed value)(예컨대, 전송자에 의해 선택된 디스플레이 옵션에 의해 결정된 바와 같음)을 제1 메시지가 포함하는지 여부를 결정하는 단계(1612)를 포함한다. 예를 들어 제1 메시지의 전송자(제1 타 사용자)는 제1 메시지에 적용할 풀-스크린 효과 옵션을 선택하고, 전송자가 선택한 풀-스크린 효과 옵션에 대응되는 비-디스플레이된 내재 값은 제1 메시지와 함께 전송된다.
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 단계(1606)는 제1 메시지가 수신된 시간이 미리 결정된 시간 프레임에 대응되는지 여부를 결정하는 단계(1614)를 포함한다. 예를 들어 1월 1일 자정을 지난 미리 결정된 시간이나 그 시간 안에 제1 메시지가 수신되면, 디바이스는 폭죽 및/또는 "Happy New Year!"라는 텍스트가 포함된 향상된 메시지 콘텐츠를 디스플레이한다.
일부 실시예들에서, 향상된 메시지 콘텐츠는 디스플레이된 대화 트랜스크립트 전체에 효과를 적용하는 콘텐츠를 포함한다(1618). 예를 들어, 대화 트랜스크립트 전체에 적용되는 효과는 대화 트랜스크립트 전체를 지나 이동하는 풍선들의 애니메이션화된 디스플레이, 대화 트랜스크립트 전체를 지나 이동하는 (예컨대, 도 5cd 내지 도 5cf에 도시된 바와 같은) 색종이의 애니메이션화된 디스플레이 등일 수 있다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 단계(1616)는 제1 메시지 구역 이외의 적어도 하나의 메시지 구역 상에 애니메이션 객체들(예컨대, 가상 색종이)을 축적하는 단계(1620)를 포함한다. 일부 실시예들에서, 애니메이션 객체들은 메시징 사용자 인터페이스 외부에 디스플레이된 사용자 인터페이스 객체들 상에 축적된다. 일부 실시예들에서, 애니메이션 객체들은 디바이스의 운영 시스템에 의해 제어되는 상태 바 또는 디스플레이의 다른 부분 상에 축적된다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 단계(1616)는 제1 메시지 구역 이외의 적어도 하나의 메시지 구역을 애니메이션화하는 단계(1622)를 포함한다. 일부 실시예들에서, 다른 메시지 구역들의 이동은 제1 메시지 구역의 이동에 의해 트리거된다. 일부 실시예들에서, 메시징 사용자 인터페이스 외부에 디스플레이된 다른 사용자 인터페이스 객체들이 애니메이션화된다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 단계(1616)는 도 5cq에 도시된 바와 같이, (도 5cp에 비교적으로) 제1 메시지 구역을 페이딩하지 않고 제1 메시지 구역 이외의 메시지 구역들을 일시적으로 페이딩하는 단계(1624)를 포함한다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 단계(1616)는 제1 메시지 구역의 디스플레이를 유지하는 동안 제1 메시지 구역 이외의 메시지 구역들을 디스플레이하는 것을 일시적으로 중지하는 단계(1626)를 포함한다.
일부 실시예들에서, 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 단계(1616)는 메시징 사용자 인터페이스 전체를 일시적으로 대체하는 이미지(예컨대, 애니메이션화된 이미지)를 디스플레이하는 단계(1628)를 포함한다. 일부 다른 실시예들에서, 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 단계(1616)는 제1 메시지 구역을 제외하고 메시징 사용자 인터페이스 전체를 일시적으로 대체하는 이미지(예컨대, 애니메이션화된 이미지)를 디스플레이하는 단계(1630)를 포함한다. 예를 들어, 풍선들 또는 색종이가 디스플레이되어, 메시징 사용자 인터페이스 전체를 대체하거나, 제1 메시지 구역 이외의 메시징 사용자 인터페이스 전체를 대체할 수 있다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 단계(1616)는 제1 메시지 구역 이외의 메시지 구역들을 하이라이팅하지 않고 제1 메시지 구역을 일시적으로 하이라이팅하는 단계(1632)를 포함한다. 예를 들어, "풍선" 풀-스크린 효과에서, 풍선들이 디스플레이되는 동안, 디스플레이된 대화 트랜스크립트 내의 다른 메시지 구역들을 하이라이팅(또는 페이딩)하지 않으면서, 제1 메시지 구역이 하이라이팅될 것이다.
일부 실시예들에서, 향상된 메시지 콘텐츠는 사운드를 포함한다(1634). 예를 들어, 일부 실시예들에서, 사운드는 디스플레이된 향상된 메시지 콘텐츠와 함께 재생된다.
일부 실시예들에서, 향상된 메시지 콘텐츠는 촉각 출력(1636)을 포함한다. 예를 들어, 촉각 출력은 디스플레이된 향상된 메시지 콘텐츠와 협력하는(in coordination with) 햅틱 효과 출력일 수 있다.
일부 실시예들에서, 향상된 메시지 콘텐츠를 디스플레이하는 단계(1616)는 제1 메시지 구역의 애니메이션을 디스플레이하는 단계(1638)를 포함한다. 일부 실시예들에서, 애니메이션을 디스플레이하는 경우, 제1 메시지 구역은 사라졌다가 후속적으로 다시 나타난다. 일부 실시예들에서, 제1 메시지 구역 크기 및/또는 제1 메시지 텍스트 크기는 애니메이션 동안 변경된다.
일부 실시예들에서, 향상된 메시지 콘텐츠를 디스플레이하는 단계(1616)는 대화 트랜스크립트를 스크롤하는 것에 응답하여 이동 가상 객체들을 생성 및 디스플레이하는 단계(1640)를 포함한다. 예를 들어, 이것은 트랜스크립트가 이동하는 경우에 제1 메시지 구역에서 나오는 하트들 또는 반짝이들을 생성 및 디스플레이함으로써 구현될 수 있다.
일부 실시예들에서, 방법(1600)은 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 것을 중지(1644)하는 단계를 포함한다. 예를 들어, 향상된 메시지 콘텐츠를 디스플레이하는 것을 중지하는 단계는 사용자 입력에 응답하여, 또는 향상된 메시지 콘텐츠가 미리 결정된 기간 동안 디스플레이된 후에 발생한다.
도 16a 내지 도 16c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1800)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 16a 내지 도 16c와 관련하여 위에 설명된 방법(1600)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1600)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 17은 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(1700)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 도 17에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 17에 도시된 바와 같이, 전자 디바이스(1700)는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1702) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(1704); 및 디스플레이 유닛(1702) 및 터치 감응형 표면 유닛(1704)과 결합된 프로세싱 유닛(1706)을 포함한다. 일부 실시예들에서, 프로세싱 유닛은 디스플레이 인에이블 유닛(1708), 수신 유닛(1710), 결정 유닛(1712), 적용 유닛(1714), 축적 유닛(1716), 애니메이션 유닛(1718), 페이딩 유닛(1720), 중지 유닛(1722), 하이라이팅 유닛(1724) 및 생성 유닛(1726)을 포함한다.
프로세싱 유닛(1706)은: 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하고(예컨대, 수신 유닛(1710)을 이용함), 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하도록(예컨대, 결정 유닛(1712)을 이용함) 구성된다. 프로세싱 유닛(1706)은: 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함한다는 결정에 따라, 디스플레이 유닛(1702) 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(1708)을 이용함), 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(1708)을 이용함) 더 구성되며, 향상된 메시지 콘텐츠는 대화 트랜스크립트 내의 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 콘텐츠를 포함한다. 프로세싱 유닛(1706)은, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하지 않는다는 결정에 따라, 디스플레이 유닛(1702) 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(1708)을 이용함) 더 구성된다.
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부의 결정은 제1 메시지의 수신에 응답하여 수행된다(예컨대, 결정 유닛(1712)을 이용함).
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 것은 제1 메시지가 미리 정의된 텍스트를 포함하는지 여부를 결정하는 것(예컨대, 결정 유닛(1712)을 이용함)을 포함한다.
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 것은 디스플레이될 향상된 메시지 콘텐츠를 표시하는 비-디스플레이된 내재 값을 제1 메시지가 포함하는지 여부를 결정하는 것(예컨대, 결정 유닛(1712)을 이용함)을 포함한다.
일부 실시예들에서, 제1 메시지가 향상된 메시지 콘텐츠 트리거를 포함하는지 여부를 결정하는 것은 제1 메시지가 수신된 시간이 미리 결정된 시간 프레임에 대응되는지 여부를 결정하는 것(예컨대, 결정 유닛(1712)을 이용함)을 포함한다.
일부 실시예들에서, 향상된 메시지 콘텐츠는 디스플레이된 대화 트랜스크립트 전체에 효과를 적용하는(예컨대, 적용 유닛(1714)을 이용함) 콘텐츠를 포함한다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 것은 제1 메시지 구역 이외의 적어도 하나의 메시지 구역 상에 애니메이션 객체들을 축적하는 것(예컨대, 축적 유닛(1716)을 이용함)을 포함한다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 것은 제1 메시지 구역 이외의 적어도 하나의 메시지 구역을 애니메이션화하는 것(예컨대, 애니메이션 유닛(1718))을 포함한다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 것은 제1 메시지 구역을 페이딩하지 않고 제1 메시지 구역 이외의 메시지 구역들을 일시적으로 페이딩하는 것(예컨대, 페이딩 유닛(1720)을 이용함)을 포함한다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 것은 제1 메시지 구역의 디스플레이를 유지하는 동안 제1 메시지 구역 이외의 메시지 구역들의 디스플레이를 일시적으로 중지하는 것(예컨대, 중지 유닛(1722)을 이용함)을 포함한다.
일부 실시예들에서, 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 것은 메시징 사용자 인터페이스 전체를 일시적으로 대체하는 이미지를 디스플레이하는 것(예컨대, 디스플레이 인에이블 유닛(1708)을 이용함)을 포함한다.
일부 실시예들에서, 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 것은 제1 메시지 구역을 제외한 메시징 사용자 인터페이스 전체를 일시적으로 대체하는 이미지를 디스플레이하는 것(예컨대, 디스플레이 인에이블 유닛(1708)을 이용함)을 포함한다.
일부 실시예들에서, 제1 메시지 구역 이외의 적어도 하나의 메시지 구역에 효과를 적용하는 것은 제1 메시지 구역 이외의 메시지 구역들을 하이라이팅하지 않고 제1 메시지 구역을 일시적으로 하이라이팅하는 것(예컨대, 하이라이팅 유닛(1724)을 이용함)을 포함한다.
일부 실시예들에서, 향상된 메시지 콘텐츠는 사운드를 포함한다.
일부 실시예들에서, 향상된 메시지 콘텐츠는 촉각 출력을 포함한다.
일부 실시예들에서, 향상된 메시지 콘텐츠를 디스플레이하는 것은 제1 메시지 구역의 애니메이션을 디스플레이하는 것(예컨대, 디스플레이 인에이블 유닛(1708)을 이용함)을 포함한다.
일부 실시예들에서, 향상된 메시지 콘텐츠를 디스플레이하는 것은 대화 트랜스크립트의 스크롤에 응답하여 이동 가상 객체들을 생성 및 디스플레이하는 것(예컨대, 생성 유닛(1726) 및 디스플레이 인에이블 유닛(1708)을 이용함)을 포함한다.
일부 실시예들에서, 프로세싱 유닛(1706)은 트리거에 대응되는 향상된 메시지 콘텐츠를 디스플레이하는 것을 중지하도록(예컨대, 중지 유닛을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 16a 내지 도 16c를 참조하여 위에 설명된 동작은, 옵션적으로, 도 1a 및 도 1b 또는 도 17에 도시된 컴포넌트에 의해 구현된다. 예를 들어, 디스플레이 동작들(1602, 1616, 1618, 1620, 1622, 1624, 1626, 1628, 1630, 1632, 1638, 1640, 1642, 및 1644), 수신 동작(1604), 결정 동작들(1606, 1608, 1610, 1612 및 1614), 오디오 출력 동작(1634) 및 촉각 출력 동작(1636)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
별개 메시지들 내 조합가능한 콘텐츠의 검출 및 응답(Detecting and responding to combinable content in separate messages)
아래에 보다 상세하게 설명되는 도 18a 내지 도 18c는 일반적으로 메시징 사용자 인터페이스 내에서 조합가능한 콘텐츠를 검출하기 위한 방법들에 관한 것이다. 보다 구체적으로, 이들 도면들은 검출된 조합가능한 콘텐츠가 미리 결정된 조합을 형성하는 경우, 미리 결정된 조합에 대응되는 콘텐츠를 디스플레이하기 위한 방법들에 관한 것이다.
이 방법을 구현하는 전자 디바이스(예컨대, 휴대용 다기능 디바이스(100) 또는 디바이스(300))의 하나 이상의 예들이 도 5cx 내지 도 5dc에 도시된다.
도 18a 내지 도 18c는 하나 이상의 프로세서들, 메모리, 터치 감응형 표면, 및 디스플레이를 가지며, 때때로 본 명세서에서 제1 전자 디바이스로 불리는 전자 디바이스에 의해 수행되는 방법(1800)을 예시하는 흐름도들이다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들(예컨대, 터치 스크린 디스플레이 또는 트랙패드 내의 센서들)을 포함한다.
일부 실시예들에 따르면, 방법(1800)은 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 메시징 애플리케이션의 도 5bh에 도시된 바와 같은 사용자 인터페이스(5002))를 디스플레이하는 단계(1802)를 포함한다. 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자(예컨대, 다른 전자 디바이스의 사용자) 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 5cx의 사용자 인터페이스(5002)의 대화 트랜스크립트(5004)) 및 메시지 입력 영역(예컨대, 도 5cx의 메시지 입력 영역(5100))을 포함한다.
방법(1800)은 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스(예컨대, 제2 전자 디바이스)로부터 제1 메시지(예컨대, 도 5cx의 메시지 구역(5008)의 메시지(5170))를 수신하는 단계(1804) - 제1 메시지는 제1 조합가능한 콘텐츠(예컨대, 이모티콘 또는 이모지 또는 스티커와 같은 이미지)를 포함함 -, 및 제1 메시지를 수신하는 것에 응답하여, 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하는 단계(1812)를 더 포함한다(예를 들어, 도 5cx에 도시된 바와 같음). 일부 실시예들에서, 조합가능한 콘텐츠는 이모티콘을 포함한다(1806). 일부 실시예들에서, 조합가능한 콘텐츠는 이모지를 포함한다(1808). 일부 실시예들에서, 조합가능한 콘텐츠는 스티커를 포함한다(1810).
방법(1800)은 메시지 입력 영역 내의 제2 메시지(예컨대, 도 5cy에 도시된 바와 같이, 메시지 입력 영역(5100) 내의 제2 메시지(5172))의 입력을 수신하는 단계(1814), 및 메시지 입력 영역 내에 제2 메시지가 디스플레이되는 동안, 제2 메시지를 메시징 세션에 전송하기 위한 입력(예컨대, 도 5cy의 5174)을 검출하는 단계(1816)(예컨대, 도 5cy의 전송 아이콘(5118) 상의 탭 제스처를 검출하는 단계)를 계속한다.
또한, 방법(1800)은, 제2 메시지를 메시징 세션에 전송하기 위한 입력을 검출하는 것에 응답하여(1818), 제2 메시지가 제2 조합가능한 콘텐츠를 포함하며 제2 조합가능한 콘텐츠 및 제1 조합가능한 콘텐츠는 미리 정의된 조합의 부분들(예컨대, 상보적인 부분들)이라는 결정에 따라, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이 상의 대화 트랜스크립트 내에 디스플레이하는 단계(1820)를 포함한다. 예를 들어, 미리 정의된 조합에 대응되는 콘텐츠는 제2 메시지 구역, 또는 디바이스의 사용자로부터의 메시지들을 갖는 메시지 구역들과 적어도 하나의 타 사용자로부터의 메시지들을 갖는 메시지 구역들 사이의 영역에 디스플레이된다. 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 제2 메시지가 메시징 세션 내에 처음 디스플레이될 때 디스플레이된 대화 트랜스크립트 전체에 잠깐 적용된다.
또한, 제2 메시지가 제1 조합가능한 콘텐츠와 미리 정의된 조합을 형성하는 제2 조합가능한 콘텐츠를 포함하지 않는다는 결정에 따라, (예컨대, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이하지 않고) 디스플레이 상의 대화 트랜스크립트 내의 제2 메시지 구역 내에 제2 메시지를 디스플레이하는 단계(1844).
일부 실시예들에서, 제2 조합가능한 콘텐츠 및 제1 조합가능한 콘텐츠가 미리 정의된 조합의 부분들이라는 결정(1820)은 (예컨대, 도 5cy의 전송 아이콘(5118) 상의 탭 제스처를 검출하는 것에 응답하여), 메시징 세션으로 제2 메시지를 전송하기 위한 입력(예컨대, 도 5cy의 5174)을 검출하는 것에 응답하여 수행된다(1822).
일부 실시예들 또는 일부 상황들에서, 미리 정의된 조합의 부분인 제1 조합가능한 콘텐츠 및 제2 조합가능한 콘텐츠는 동일한 콘텐츠이다(1824). 예를 들어, 제1 메시지 내의 맥주에 대한 제1 단어 또는 이모지(도 5cz의 5170)와 제2 메시지 내의 맥주에 대한 제2 동일한 단어 또는 이모지(도 5cz의 5172)는 서로 부딪치고 있는 두 개의 맥주 글라스의 애니메이션(도 5da에 도시된 바와 같음) 및/또는 단어 "Cheers!"의 디스플레이(도 5da에 도시된 바와 같음)와 같은 미리 정의된 조합에 대응되는 콘텐츠(예컨대, 도 5da의 콘텐츠(5176))의 디스플레이를 생성한다. 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠가 제1 메시지와 제2 메시지 사이(예컨대, 도 5da의 제1 메시지(5170) 및 제2 메시지(5172)에 대한 메시지 구역(5008)들 사이)의 메시징 사용자 인터페이스(예컨대, 메시징 사용자 인터페이스(5002))의 일부분에 디스플레이된다. 다른 예에서, 제1 메시지 내의 제1 주먹 이모지와 제2 메시지 내의 제2 주먹 이모지는 함께 부딪치는 두 주먹들의 애니메이션과 같은 미리 정의된 조합에 대응되는 콘텐츠의 디스플레이를 생성한다.
일부 실시예들 또는 일부 상황들에서, 미리 정의된 조합의 부분인 제1 조합가능한 콘텐츠 및 제2 조합가능한 콘텐츠는 상이한 콘텐츠이다(1826). 예를 들어, 번개(lightning)에 대한 단어 또는 이모지와 열쇠(key)에 대한 단어 또는 이모지는 전구와 같이 전기를 표현하는 이모지 또는 스티커와 같은 미리 정의된 조합에 대응되는 콘텐츠의 디스플레이를 생성한다. 다른 예에서, 사과(apple)에 대한 이모지와 숫자 pi에 대한 단어 또는 기호(예컨대, "π")는 사과 파이에 대한 이모지나 스티커와 같이 미리 정의된 조합에 대응되는 콘텐츠의 디스플레이를 생성한다. 또 다른 예에서, 제1 메시지 내의 단어 "Happy"와 제2 메시지 내의 단어 "Birthday"는 예를 들어, 도 5cb, 도 5cc 및 도 5cj 내지 도 5co에 도시된 바와 같이, 제1 메시지와 제2 메시지 사이의 메시징 사용자 인터페이스의 일부분 또는 전체 메시징 사용자 인터페이스 내에 풍선들의 디스플레이를 생성한다.
옵션적으로, 사용자들은 전술한 미리 정의된 조합들인 콘텐츠의 조합들을 정의할 수 있고/있거나 그러한 조합에 대응되는 콘텐츠를 정의할 수 있다. 보다 구체적으로, 일부 실시예들 또는 일부 상황들에서, 각자의 미리 정의된 조합의 부분인 각자의 제1 조합가능한 콘텐츠 및 각자의 제2 조합가능한 콘텐츠가 전자 디바이스의 사용자에 의해 정의된다(1828). 예를 들어, 일부 실시예들에서, 미리 정의된 조합들은 디바이스의 사용자 또는 메시징 세션 내의 사용자들에 의해 정의된다. 유사하게, 일부 실시예들 또는 일부 상황들에서, 미리 정의된 조합에 대응되는 콘텐츠는 디바이스의 사용자에 의해 정의된다(1830). 예를 들어, 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 디바이스의 사용자 또는 메시징 세션 내의 사용자들에 의해 정의된다.
다양한 콘텐츠가 미리 정의된 조합에 대응되는 콘텐츠에 포함되거나, 그러한 콘텐츠로서 사용될 수 있다. 보다 구체적으로, 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 애니메이션화된 콘텐츠를 포함하며(1832), 그 예들로서 메시징 사용자 인터페이 또는 메시징 사용자 인터페이스의 일부분을 통해 이동하는 풍선들 또는 색종이가 있다. 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 음악, 또는 하나 이상의 톤 또는 레코딩된 또는 합성된 스피치와 같은 오디오 콘텐츠를 포함한다(1834). 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 진동 또는 진동 패턴과 같은 햅틱 콘텐츠를 포함한다(1836). 따라서, 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 애니메이션화된 콘텐츠, 오디오 콘텐츠 및/또는 햅틱 콘텐츠를 포함한다(1838).
또한, 일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 자동으로 생성된 메시지 텍스트를 포함한다(1840). 예를 들어, 전술한 예에서, 제1 메시지(도 5cz의 5170) 내의 맥주에 대한 제1 단어 또는 이모지와 제2 메시지(도 5cz의 5172) 내의 맥주에 대한 제2 동일한 단어 또는 이모지를 이용하여, 제1 전자 디바이스는 메시지 구역 내에 "Cheers!"와 같은 메시지 텍스트를 자동으로 생성한다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 제2 메시지가 메시징 세션 내에 처음 디스플레이될 때 디스플레이된 대화 트랜스크립트 전체에 적용되는 콘텐츠를 포함한다(1842). 예를 들어, 도 5cr 내지 도 5ct에 도시된 바와 같이, 제1 메시지 "Happy"와 제2 메시지 "New Year"에 응답하여 "폭죽" 풀-스크린 효과를 디스플레이하거나, 도 5cj 내지 도 5co에 도시된 바와 같이, 제1 메시지, "Happy,"와 제2 메시지 "Birthday,"에 응답하여, "풍선" 풀-스크린 효과를 디스플레이하는 것과 같은 "풀-스크린 모멘트,"의 콘텐츠.
일부 실시예들에서, 미리 정의된 조합은 제1 조합가능한 콘텐츠, 제2 조합가능한 콘텐츠 및 제3 조합가능한 콘텐츠(예컨대, 세 개의 상보적인 부분들)를 포함한다. 예를 들어, 제3 메시지를 전송하기 위한 입력에 응답하여, 제1 조합가능한 콘텐츠(예컨대, 발) 및 제2 조합가능한 콘텐츠(예컨대, 이탈리아 국기)를 갖는 메시지들이 대화 트랜스크립트 내에 디스플레이되는 경우, 제3 메시지는 제3 조합가능한 콘텐츠(예컨대, 축구공)를 포함한다는 결정에 따라, 미리 정의된 조합에 대응되는 콘텐츠가 디스플레이 상의 대화 트랜스크립트 내에 디스플레이된다.
도 18a 내지 도 18c에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600)과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들이 도 18a 내지 도 18c와 관련하여 위에 설명된 방법(1800)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1800)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 19는 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(1900)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 도 19에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 19에 도시된 바와 같이, 전자 디바이스(1900)는 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1902) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 제1 타 사용자를 포함하는 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함함 -; 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(1904); 및 디스플레이 유닛(1902) 및 터치 감응형 표면 유닛(1904)과 결합된 프로세싱 유닛(1906)을 포함한다. 일부 실시예들에서, 프로세싱 유닛은 디스플레이 인에이블 유닛(1908), 수신 유닛(1910), 검출 유닛(1912) 및 적용 유닛(1914)을 포함한다.
프로세싱 유닛(1906)은: 메시징 세션 내에서 메시징 세션에 포함된 제1 타 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하고(예컨대, 수신 유닛(1910)을 이용함), - 제1 메시지는 제1 조합가능한 콘텐츠를 포함함 -, 및 제1 메시지를 수신하는 것에 응답하여, 디스플레이 유닛(1902) 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에 제1 메시지를 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(1908)을 이용함) 구성된다. 프로세싱 유닛(1906)은 메시지 입력 영역 내에 제2 메시지의 입력을 수신하도록(예컨대, 수신 유닛(1910)을 이용함) 더 구성된다. 프로세싱 유닛(1906)은, 제2 메시지가 메시지 입력 영역 내에 디스플레이되는 동안, 제2 메시지를 메시징 세션에 전송하기 위한 입력을 검출하고(예컨대, 검출 유닛(1912)을 이용함), 메시징 세션으로 제2 메시지를 전송하기 위한 입력을 검출하는 것에 응답하여: 제2 메시지가 제2 조합가능한 콘텐츠를 포함하며 제2 조합가능한 콘텐츠 및 제1 조합가능한 콘텐츠가 미리 정의된 조합의 부분들이라는 결정에 따라, 미리 정의된 조합에 대응되는 콘텐츠를 디스플레이 유닛(1902) 상의 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(1908)을 이용함), 제2 메시지가 제1 조합가능한 콘텐츠와 미리 정의된 조합을 형성하는 제2 조합가능한 콘텐츠를 포함하지 않는다는 결정에 따라, 디스플레이 유닛(1902) 상의 대화 트랜스크립트 내의 제2 메시지 구역 내에 제2 메시지를 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(1908)을 이용함) 더 구성된다.
일부 실시예들에서, 제2 조합가능한 콘텐츠 및 제1 조합가능한 콘텐츠가 미리 정의된 조합의 부분들이라는 결정은 제2 메시지를 메시징 세션으로 전송하기 위한 입력을 검출하는(예컨대, 검출 유닛(1912)을 이용함) 것에 응답하여 수행된다.
일부 실시예들에서, 조합가능한 콘텐츠는 이모티콘을 포함한다.
일부 실시예들에서, 조합가능한 콘텐츠는 이모지를 포함한다.
일부 실시예들에서, 조합가능한 콘텐츠는 스티커를 포함한다.
일부 실시예들에서, 미리 정의된 조합의 부분인 제1 조합가능한 콘텐츠 및 제2 조합가능한 콘텐츠는 동일한 콘텐츠이다.
일부 실시예들에서, 미리 정의된 조합의 부분인 제1 조합가능한 콘텐츠 및 제2 조합가능한 콘텐츠는 상이한 콘텐츠이다.
일부 실시예들에서, 각자의 미리 정의된 조합의 부분인 각자의 제1 조합가능한 콘텐츠 및 각자의 제2 조합가능한 콘텐츠는 전자 디바이스(1900)의 사용자에 의해 정의된다.
일부 실시예들에서, 각자의 미리 정의된 조합에 대해, 미리 정의된 조합에 대응되는 콘텐츠는 디바이스(1900)의 사용자에 의해 정의된다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 애니메이션화된 콘텐츠를 포함한다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 오디오 콘텐츠를 포함한다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 햅틱 콘텐츠를 포함한다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 애니메이션화된 콘텐츠, 오디오 콘텐츠 및/또는 햅틱 콘텐츠를 포함한다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 자동으로 생성된 메시지 텍스트를 포함한다.
일부 실시예들에서, 미리 정의된 조합에 대응되는 콘텐츠는 제2 메시지가 메시징 세션에 처음 디스플레이될 때 디스플레이된 대화 트랜스크립트 전체에 적용되는(예컨대, 적용 유닛(1914)을 이용함) 콘텐츠를 포함한다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은, 옵션적으로, (예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 18a 내지 도 18c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 19에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작들(1802, 1812, 1822, 1824, 1826, 1828, 1830, 1832, 1834, 1836, 1838, 1840, 1842, 및 1844), 수신 동작들(1804, 1806, 1808, 1810, 및 1814), 검출 동작(1816), 및 적용 동작(1842)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
동기화된 미디어 콘텐츠의 제시(Presenting synchronized media content)
도 20a 내지 도 20p는 일부 실시예들에 따른, 메시징 애플리케이션 내의 동기화된 미디어 콘텐츠를 제시하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 아래에서 설명되는 프로세스들을 예시하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이(450)와 별개인 터치 감응형 표면(451) 상의 입력들을 검출한다. 용이한 설명을 위해, 아래에서 설명되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 아래에 논의된 사용자 인터페이스들을 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여, 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 20a에 도시된 바와 같이, 제1 전자 디바이스(예컨대, 디바이스(100))의 제1 사용자는 제2 전자 디바이스의 제2 사용자로부터 미디어 아이템을 동기식으로 시청하자는 초청을 수신한다. 도 20a에 도시된 바와 같이, 제1 사용자는 메시징 사용자 인터페이스(즉, 메시징 애플리케이션 내에서 디스플레이되는 사용자 인터페이스) 내에 디스플레이되는 메시지를 수신하며, 이는 제2 사용자가 "trailer for movie 123"를 함께 시청하고 싶어한다고 제1 사용자에게 통지한다. 일부 실시예들에서, 제1 사용자는 초청을 포함하는, 또한 옵션적으로 미디어 아이템의 표현(예컨대, 썸네일 뷰)을 포함하는 메시지 구역(예컨대, 도 20a에 도시된 메시지 버블(2002)) 내에서 탭함으로써(예컨대, 탭(2001)) 초청을 수락한다. 일부 실시예들 또는 상황들에서, 메시지 구역은 메시지 버블, 플래터 또는 메시징 세션의 대화 트랜스크립트 내의 메시지에 대한 다른 컨테이너이다.
도 20b에 도시된 바와 같이, 제1 사용자가 초청을 수락한 것을 검출(예컨대, 미디어 아이템의 표현 위로 탭 제스처(2001)를 검출)하는 것에 응답하여, 전자 디바이스(100)는 사용자에게 미디어 아이템이 메시징 사용자 인터페이스 내에서 보다 더 큰 크기로 디스플레이될 것이라고 표시하는 애니메이션을 제공한다. 예를 들어, 미디어 아이템의 표현은 메시지 사용자 인터페이스 내에서 크기가 증가하고, 표현의 적어도 일부분이 메시지 구역 외부에 디스플레이되도록 확장하기 시작한다(예컨대, 도 20b의 미디어 아이템의 표현은 크기가 증가하여 메시지 버블(2002)의 외부로 확장하는 것으로 도시됨).
계속하여 애니메이션은 표현의 크기가 계속해서 증가하고, 도 20c에 도시된 바와 같이, 미디어 아이템의 표현이 결국 메시징 사용자 인터페이스의 상이한 부분(예컨대, 메시징 사용자 인터페이스의 중앙 구역)을 점유하는 것으로 도시된다. 일부 실시예들에서, 애니메이션이 완료된 후에 미디어 아이템의 표현의 초기 위치는 미디어 아이템의 시간순서적 위치로서 지칭된다(즉, 미디어 아이템은 미디어 아이템의 동기화된 뷰잉의 개시 이전이나 이후에 수신된 다른 메시지들에 상대적으로 시간순서적 순서에 따라 도시됨). 예를 들어, 도 20d에 도시된 바와 같이, 미디어 아이템의 표현은 미디어 아이템의 동기화된 뷰잉의 개시 이전에 수신된 메시지를 표현하는 위치(예컨대, 메시지 구역(2010)의 위치) 사이와 미디어 아이템의 동기화된 뷰잉의 개시 이후에 수신된 메시지에 대한 위치(예컨대, 메시지 구역(2012)에 대한 위치) 사이의 그의 시간순서적 위치에서 도시된다. 또한, 동기화된 뷰잉의 개시 이전/이후에 수신된 미디어 아이템및 메시지의 시간순서적 위치들은 새로운 메시지가 수신됨에 따라 유지된다(도 20e에 도시된 바와 같이, 새로운 메시지들을 수신/디스플레이하는 것은 각자의 메시지 구역 각각에 대한 각자의 시간순서적 위치를 유지하는 동안 실질적으로 수직 방향으로 대화 트랜스크립트 내의 콘텐츠를 이동함). 아래에서 보다 상세히 논의되는 바와 같이, 일부 상황들에서, 미디어 아이템은 또한 (도 20h에 도시된 바와 같이) 메시징 사용자 인터페이스의 상측부의 고정된 위치로 이동한다.
일부 실시예들에서, 미디어 아이템의 표현은 미디어 아이템이 타 사용자들과 동기화되어 뷰잉되고 있음을 표시하는 정보(예컨대, "Synchronized Viewing of Trailer for Movie 123")를 포함하고, 메시징 애플리케이션으로 하여금 미디어 아이템의 동기화된 뷰잉을 시작하게 하는(또한 메시징 세션 내의 타 사용자들과 연관된 원격 디바이스들로 하여금 동시에 동기화된 뷰잉을 시작하게 하는) 어포던스(예컨대, 미디어 아이템의 표현 내에 도시된 재생 버튼 어포던스), 및 재생 헤드 및 진행 표시줄을 포함한다. 일부 실시예들에서, 미디어 아이템의 표현이 중앙 구역 내에 디스플레이된 후에(그리고/또는 위에 논의된 애니메이션과 함께), 제2 사용자로부터의 초청을 포함하는 메시지 구역은 더 이상 디스플레이되지 않으며, 제1 사용자가 제2 사용자의 초청을 수락했다는 표시가 대신 디스플레이된다. 예를 들어, 제1 사용자가 수락했다는 표시는 "You accepted Alex's invitation to watch trailer for Movie 123"라는 텍스트 설명이 포함된다(도 20d에 도시된 바와 같음).
도 20d에 도시된 바와 같이, 메시징 세션 내의 사용자들(예컨대, 제1 및 제2 사용자)은 (미디어 아이템의 재생 개시 이전 및/또는 재생 중에) 미디어 아이템의 표현이 디스플레이되는 동안 메시지들을 교환하는 것을 계속할 수 있다. 예를 들어, 제2 사용자는 "Playing the trailer now!"라는 메시지를 전송하고, 그 메시지는 대화 트랜스크립트 내의 모든 콘텐츠를 실질적으로 수직(예컨대, 상향) 방향으로 이동한다. 이러한 방식으로, 사용자들은 미디어 아이템의 동기화된 재생이 시작되기 전에 대화하는 것을 유동적으로 계속할 수 있다.
메시징 세션 내의 사용자들 중 임의의 사용자로부터 미디어 아이템의 동기화된 뷰잉을 시작하라는 요청을 수신하는 것에 응답하여(예컨대, 도 20d의 사용자들 중 하나가 미디어 아이템의 표현과 함께 도시된 재생 어포던스를 히트함(hit)), 디바이스(또는 메시징 애플리케이션)는 미디어 아이템에 대응되는 콘텐츠의 재생을 개시한다. 도 20e에 도시된 바와 같이, 미디어 아이템에 대응되는 콘텐츠의 재생이 시작되고 사용자들은 미디어 아이템의 동기화된 재생 동안 메시지들을 교환하는 것을 계속할 수 있다(예컨대, 미디어 아이템에 대응되는 콘텐츠를 재생하는 것을 계속하는 동안, 제1 사용자는 "This is cool!"이라는 메시지를 전송하고 그 메시지는 대화 트랜스크립트 내에서 콘텐츠를 실질적으로 수직 방향으로 이동함).
도 20f 및 도 20g에 도시된 바와 같이, 사용자들은 미디어 아이템의 동기화된 뷰잉이 계속되는 동안 메시지들을 계속해서 교환할 수 있다. 일부 실시예들에서, 새롭게 교환된 메시지들은 (각자의 메시지 구역 각각의 시간순서적 순서를 여전히 유지하는 동안) 대화 트랜스크립트 내에서 콘텐츠를 실질적으로 수직 방향으로 이동하는 것을 계속한다.
도 20h에 도시된 바와 같이, 일단 미디어 아이템의 표현이 메시징 사용자 인터페이스의 상측부에 대해 미리 결정된 거리(예컨대, 1px, 2px, 3px, 4px, 5px, 또는 일부 다른 미리 결정된 거리) 내에 있으면, 이어서 미디어 아이템의 표현은 메시징 사용자 인터페이스 내의 고정된 위치에 디스플레이된다(즉, 미디어 아이템의 표현은 그것의 시간순서적 위치에 디스플레이되지 않음). 일부 실시예들에서, 미디어 아이템의 표현은 시간순서적 위치에 유지되며 표현은 또한 고정된 위치에 디스플레이된다(즉, 표현들이 두 개 장소들에 보여짐).
도 20i에 도시된 바와 같이, 미디어 아이템에 대응되는 콘텐츠를 재생하는 동안, 그리고 고정된 위치에 미디어 아이템의 표현을 디스플레이하는 동안, 사용자들은 메시지들을 교환하는 것을 계속할 수 있고, 이 메시지들은 이전의 메시지들이 (재생 콘텐츠의 뷰잉을 가리는 것을 피하기 위해) 미디어 아이템에 대응되는 재생 콘텐츠 아래로 이동하게 한다. 일부 실시예들에서, 사용자들은 또한 미디어 아이템에 대응되는 재생 콘텐츠를 조작(예컨대, 빨리 감기, 되감기, 일시 정지 등)할 수 있고, 이러한 조작들은 메시징 세션의 모든 사용자들에 대해 미디어 아이템의 동기화된 뷰잉을 계속하기 위해 메시징 세션 내의 타 사용자들을 위한 디바이스들로 통신된다. 예를 들어, 도 20i에 도시된 바와 같이, 제1 사용자는 재생 헤드를 드래그하여(예컨대, 제스처(2003)) 재생 콘텐츠를 빨리 감기할 수 있고, 빨리 감기 명령은 또한 메시징 세션 내의 타 사용자들을 위한 디바이스들로 통신된다(이러한 정보를 송신하기 위한 기술들은 도 21a 내지 도 21c를 참조하여 아래에서 상세히 논의됨). 일부 실시예들에서, 메시징 사용자 인터페이스는 또한 제1 사용자가 재생 콘텐츠의 각자의 조작을 수행했다고 표시하기 위해 업데이트된다(예컨대, 도 20j 및 도 20k의 "You fast-forwarded trailer for movie 123").
재생 콘텐츠의 사용자 조작들의 또 다른 예로서, 제2 사용자가 되감기 명령을 제공하여 재생 콘텐츠를 조작한 후, 제2 사용자의 되감기 명령에 따라 제1 전자 디바이스의 메시징 사용자 인터페이스에 재생 콘텐츠가 보여진다(예컨대, 도 20j와 도 20k 사이에 도시된 바와 같이, 재생 콘텐츠에 대한 재생 헤드가 제2 사용자의 되감기 명령으로 인해 후방으로 이동함). 일부 실시예들에서, 메시징 사용자 인터페이스는 또한 제2 사용자가 재생 콘텐츠의 각자의 조작을 수행했다고 표시하기 위해 업데이트된다(예컨대, 도 20k의 "Alex rewound trailer for movie 123").
도 20k에 도시된 바와 같이, 제1 사용자는 미디어 아이템의 동기화된 뷰잉이 진행되는 동안 대화 트랜스크립트를 스크롤할 수 있다. 예를 들어, 제1 사용자는 검출되었을 때, 디바이스로 하여금 실질적으로 하향 방향으로 대화 트랜스크립트를 스크롤하게 하는 제스처(2022)를 제공한다(도 20k). 대화 트랜스크립트(및 그것에 포함된 콘텐츠)를 스크롤하는 동안, 디바이스는 미디어 아이템에 대응되는 재생 콘텐츠가 그것의 시간순서적 위치로 다시 이동되어야 하는지(그리고 고정된 위치에 더 이상 디스플레이되지 않아야 하는지) 여부를 결정한다. 미디어 아이템에 대응되는 재생 콘텐츠가 그의 시간순서적 위치로 되돌아가도록 이동되어야 한다는 결정에 따라(예컨대, 도 21a 내지 도 21c를 참조하여 아래에 논의되는 바와 같이, 시간순서적 위치가 고정된 위치에 대해 미리 결정된 거리 내로 스크롤됨), 미디어 아이템에 대응되는 재생 콘텐츠는 시간순서적 위치로 이동되고 더 이상 고정된 위치에 디스플레이되지 않는다. 도 20l에 도시된 바와 같이, 제1 사용자는 또한 (예컨대, 제스처(2024)를 제공함으로써) 실질적으로 상향 방향으로 스크롤할 수 있고, 이에 응답하여, 미디어 아이템에 대응되는 재생 콘텐츠는 적절한 시간에 고정된 위치로 되돌아가도록 이동한다(예컨대, 도 20m에 도시된 바와 같이, 상향 방향으로 스크롤한 후에 미디어 아이템에 대응되는 재생 콘텐츠는 고정된 위치로 되돌아가도록 이동함). 이러한 방식으로 사용자들은 자신들의 미디어 아이템의 뷰잉을 인터럽트하지 않고 대화 트랜스크립트를 통해 직관적으로 스크롤할 수 있다.
도 20n 및 도 20o에 도시된 바와 같이, 미디어 아이템에 대응되는 재생 콘텐츠의 끝이 검출되고(예컨대, 미디어 아이템의 재생이 종료되거나, 사용자들 중 하나가 메시징 애플리케이션을 나가거나, 사용자들 중 하나가 정지 명령을 제공함), 이에 응답하여, 디바이스는 크기가 축소되고 대화 트랜스크립트 내의 그의 시간순서적 위치로 복귀하는 미디어 아이템의 표현의 애니메이션을 제공한다(애니메이션 2050에 대해서 도 20o에 도시된 바와 같이, 표현이 크기가 축소되고 도 20p에 도시된 바와 같이, 그의 시간순서적 위치를 향하여 되돌아가도록 이동하기 시작).
도 21a 내지 도 21c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 동기화된 미디어 콘텐츠를 제시하는 방법(2100)을 예시하는 흐름도들이다. 방법(2100)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 일체화된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(2100)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(2100)은 메시징 애플리케이션 내의 동기화된 미디어 콘텐츠를 제시하기 위한 직관적인 방법을 제공한다. 방법은 사용자들로 하여금 메시징 애플리케이션 내에서 미디어 콘텐츠를 직접 동기화된 방식으로 (또한 미디어 콘텐츠를 보고 있는 다른 사용자와 함께 위치할 필요 없이,그리고 동기화된 뷰잉을 인에이블하기 위해 비효율적인 기술들을 사용할 필요 없이) 용이하게 뷰잉하도록 허용함으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 디바이스들의 경우, 방법은 그의 디바이스들에 대한 사용자 만족을 높이고(예컨대, 미디어 콘텐츠의 동기화된 뷰잉을 인에이블하기 위해 입력을 거의 필요로 하지 않음으로써) 전력을 절약하며, 배터리 충전 간격을 증가시킨다. 또한, 사용자들로 하여금 직접 메시징 애플리케이션 내에서 미디어 콘텐츠를 동기화된 방식으로 용이하게 뷰잉하도록 허용함으로써, 디바이스의 조작성을 향상시키고, (예컨대, 미디어 아이템들의 효율적인 동기화된 뷰잉을 가능하게 함으로써) (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스를 더 효율적으로 만든다.
도 21a에 도시된 바와 같이, 디바이스는 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하며(2102), 메시징 사용자 인터페이스는 제1 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 대화 트랜스크립트는 대화 트랜스크립트 내에서 시간순서적 위치에 디스플레이되는 미디어 아이템의 표현을 포함한다(2104). 예를 들어, 미디어 아이템의 표현은 (메시지 컨테이너(2002) 내에서 도 20a에 도시된 표현과 같은) 미디어 아이템으로부터의 정지 이미지를 예시하는 아이콘이거나, 선택될 때, 디바이스로 하여금 미디어 아이템으로부터의 정지 이미지를 보여주는 아이콘을 디스플레이하게 하는 미디어 아이템으로의 링크(예컨대, "click here to being synchronized viewing" 또는 "click here to accept synchronized viewing invitation"을 표시하는, 메시지 컨테이너(2002) 내에 디스플레이된 링크)이다. 메시징 세션은 제1 전자 디바이스에서의 사용자 및 제1 전자 디바이스로부터 구별되는 (그리고 원격 위치된) 제2 전자 디바이스에서의 적어도 하나의 타 사용자에 의한 미디어 아이템의 동기화된 뷰잉을 허용하도록 구성된다(2104). 일부 실시예들에서, 미디어 아이템은 동기화된 뷰잉을 허용하도록 특별히 구성된다. 일부 실시예들에서, 메시징 세션 또는 메시징 세션과 연관된 메시징 애플리케이션 (및 메시징 사용자 인터페이스를 디스플레이하는 것)은 임의의 미디어 아이템을 취할 수 있고, 아래에 보다 상세하게 설명되는 다양한 동기화된 뷰잉 기술들을 사용하여 미디어 아이템의 동기화된 뷰잉을 허용할 수 있다.
일부 실시예들에서, 미디어 아이템의 표현은 사용자에 의해 대화 트랜스크립트에 추가된다(2106). 일부 실시예들에서, 미디어 아이템의 표현은 적어도 하나의 타 사용자에 의해 대화 트랜스크립트에 추가된다(2108). 이러한 방식으로, 메시징 세션의 모든 사용자는 미디어 아이템의 동기화된 뷰잉을 개시할 수 있다. 미디어 아이템의 동기식 뷰잉을 인에이블하기 위해 사용자와 적어도 하나의 타 사용자 사이에서 메시지들을 용이하게 하는 것/송신하는 것에 관한 추가적인 상세사항이 아래에 제공된다.
일부 실시예들에서, 디바이스들은 메시징 사용자 인터페이스 내의 미디어 아이템의 동기화된 뷰잉을 위한 제1 요청을 수신한다(2110)(예컨대, 제1 요청은 사용자 또는 적어도 하나의 타 사용자로부터의 것임). 일부 실시예들에서, 제1 요청을 수신하는 것은 미디어 아이템에 대한 URL을 수신하는 것을 포함하고, 각자의 사용자(예컨대, 사용자 또는 적어도 하나의 타 사용자 또는 메시징 세션과 연관된 일부의 타 사용자)가 미디어 아이템에 대한 재생 버튼을 활성화하는 경우, 디바이스는 메시징 네트워크(셀룰러, WiFi)를 통해 제2 전자 디바이스로 재생 명령 및 제1 전자 디바이스에서 현재 시간의 표시를 전송한다. 일부 실시예들에서, 적어도 하나의 타 사용자가 먼저 재생 버튼을 히트하면, 이어서 제1 전자 디바이스는 재생 명령 및 제2 전자 디바이스에서의 현재 시간의 표시를 수신한다.
제1 요청을 수신하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내에서 미디어 아이템의 표현이 시간순서적 위치에 디스플레이되는 동안, 미디어 아이템에 대응되는 콘텐츠의 재생을 개시한다(2110). 일부 실시예들에서, 제1 요청은 제2 전자 디바이스를 통해 수신된다(2112)(예컨대, 미디어 아이템을 동기식으로 뷰잉하기 위한 제2 전자 디바이스에서의 적어도 하나의 타 사용자에 의한 요청은 서버를 통해 라우팅되거나, 제1 전자 디바이스로 직접 전송됨). 일부 실시예들에서, 제1 요청은 제1 전자 디바이스에서의 사용자를 통해 수신된다(2114)(예컨대, 사용자가 도 20c에 도시된 미디어 아이템의 표현에 예시된 재생 버튼을 선택함). 일부 실시예들에서, 재생은 사용자 및 적어도 하나의 타 사용자에 의한 각자의 동기화된 뷰잉을 위해, 전자 디바이스 및 제2 전자 디바이스 모두에서 동기화된 방식으로 콘텐츠를 재생하는 것을 포함한다. 일부 실시예들에서, 미디어 아이템에 대응되는 콘텐츠의 재생 개시는 사용자가 재생을 히트할 때 지연된다(예컨대, 제2 전자 디바이스로 메시지를 전송하고 제2 전자 디바이스에서 재생을 시작하는 데 걸리는 시간을 감안하기 위해 2초만큼 지연됨). 다른 실시예들에서, URL을 전송/수신하는 것은 시간이 오기에 앞서 제2 디바이스 상에서 재생을 푸시하기 위한 정보를 전송/수신하는 것을 포함한다(예컨대, 디바이스들 상의 재생과 동기화하기 위해 1-2초만큼 점프함).
이제 도 21b를 참조하면, (미디어 아이템에 대응되는 재생 콘텐츠를 고정된 위치에 디스플레이하기 전에), 디바이스는 메시징 사용자 인터페이스 내에서 사용자와 적어도 하나의 타 사용자 사이에 교환된 메시지들을 디스플레이하며(2116), 이는 미디어 아이템에 대응되는 재생 콘텐츠 아래에 메시지들을 디스플레이하는 것을 포함한다(도 20d 내지 도 20g에 도시된 바와 같이, 교환된 메시지들이 재생 콘텐츠 아래에 디스플레이되고, 미디어 아이템에 대응되는 재생 콘텐츠의 메시징 사용자 인터페이스 내의 위치가 메시징 사용자 인터페이스의 상측부를 향하여 이동됨). 다시 말해, 메시지들을 디스플레이하는 것은 메시징 사용자 인터페이스의 상측부를 향하여 재생 콘텐츠의 시간순서적 위치를 이동하는 것을 포함하는데, 그 이유는 새로운 메시지들이 메시징 사용자 인터페이스 내에 수신되어 디스플레이되는 경우, 이전 메시지들이 계속해서 상측부을 향하여 이동하기(또는 푸시되기) 때문이다. 일부 실시예들에서, 다른 메시지들에 관한 메시지들의 상대적인 수직 위치는 더 앞선 시간순서적 위치에 대응된다.
시간순서적 위치가 메시징 사용자 인터페이스의 상측부에 대해 미리 결정된 거리 내에 있다는 결정에 따라, 디바이스는 메시징 사용자 인터페이스 내의 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이한다(2118)(예컨대, 메시징 사용자 인터페이스의 상측부와 관련하여 정의된 동기화된 콘텐츠 위치로서, 교환된 메시지들이 아래에 나타나는 동안, 콘텐츠 아이템이 메시징 사용자 인터페이스의 상측부에 핀고정됨). 도 20h 내지 도 20k에 도시된 바와 같이, 재생 콘텐츠가 고정된/핀고정된 위치에 있는 동안, 사용자들 사이에서 교환된 메시지들은 계속해서 그 아래에 디스플레이된다.
미디어 아이템에 대응되는 콘텐츠의 재생을 개시한 후(그리고 미디어 아이템에 대응되는 콘텐츠를 계속해서 재생하는 동안), 디바이스는 미디어 아이템에 대응되는 재생 콘텐츠를 시간순서적 위치와 상이한 메시징 사용자 인터페이스 내의 고정된 위치에 디스플레이한다(예컨대, 이동함)(2120). 일부 실시예들에서, 미디어 아이템(또는 미디어 아이템의 표현)에 대응되는 콘텐츠는 미디어 아이템에 대응되는 콘텐츠의 재생을 개시하고 어느정도 후에 고정된 위치로 떠오른다. 일부 실시예들에서, 콘텐츠가 재생되고 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들이 메시징 사용자 인터페이스의 상측부를 향해 시간순서적 위치를 푸시하는 동안 미디어 아이템의 표현은 시간순서적 위치에 유지된다. 일부 실시예들에서, 미디어 아이템에 대응되는 콘텐츠가 상측부에 대해 미리 결정된 거리 내로 이동했다는 결정에 따라, 전자 디바이스는 미디어 아이템에 대응되는 콘텐츠를 (위에서 또한 논의된 바와 같이) 고정된 위치에 디스플레이한다. 일부 실시예들에서, 미디어 아이템의 표현은, 미디어 아이템에 대응되는 재생 콘텐츠가 고정된 위치에 디스플레이되는 동안, 시간순서적 위치에서(폴드 위) 디스플레이된다(다시 말해, 미디어 아이템의 표현은 고정된 위치 및 시간순서적 위치에서 디스플레이됨). 미디어 아이템의 표현을 고정된 위치에 디스플레이함으로써, 사용자들은 그들의 대화를 인터럽트할 필요 없이 타 사용자들과 실질적으로 동기식으로 미디어 아이템을 계속해서 뷰잉할 수 있다. 따라서, 사용자들은 함께 미디어 아이템을 신속하고 편리하게 시청하고 정상적으로 대화하는 것을 계속할 수 있으며, 따라서 디바이스(100)의 조작성을 향상시키고 보다 효율적인 사용자 디바이스 인터페이스를 생성할 수 있다(예컨대, 사용자들은 메시징 애플리케이션과 일부 다른 미디어 공유 또는 시청 애플리케이션 사이에서 전후로 전환할 필요가 없음).
일부 실시예들에서, 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하는 동안, 사용자들은 재생 콘텐츠를 조작할 수 있고(2122)(예컨대, 빨리 감기, 되감기, 일시 정지), 사용자들은 또한 대화 트랜스크립트를 스크롤할 수 있다(2126).
동작(2122)과 관련하여, 디바이스는 적어도 하나의 타 사용자가 미디어 아이템에 대응되는 재생 콘텐츠를 조작했다는(예컨대, 빨리 감기, 되감기 또는 일시 정지 명령을 내린) 표시를 수신한다. 표시를 수신하는 것에 응답하여, 디바이스는 적어도 하나의 타 사용자로부터의 조작에 따라, 전자 디바이스에서 미디어 아이템에 대응되는 재생 콘텐츠의 표현을 수정한다(예컨대, 도 20i 및 도 20j(빨리 감기) 및 도 20j 및 도 20k(되감기)에 도시된 바와 같음). 이러한 방식으로, 사용자들은 미디어 아이템의 동기식 뷰잉을 계속할 수 있을 뿐만 아니라 미디어 아이템에 대응되는 콘텐츠의 위치를 조작할 수 있고, 또한 타 사용자들에게 이러한 조작들이 원활하게 제공될 것이다.
일부 실시예들에서, 조작은 재생 콘텐츠 빨리 감기, 재생 콘텐츠 되감기, 및/또는 재생 콘텐츠 일시 정지 중 하나 이상을 포함한다. 예를 들어, 표시는 적어도 하나의 타 사용자가 재생 콘텐츠를 빨리 감기한 것을 표시하며, 빨리 감기 표시를 수신하는 것에 응답하여, 재생 콘텐츠의 표현이 빨리 감기에 따라 수정된다(예컨대, 사용자의 디바이스 및 적어도 하나의 타 사용자와 연관된 다른 디바이스 모두는 모두 실질적으로 동기식 방식으로 빨리 감기를 디스플레이함). 다른 예로서, 표시는 적어도 하나의 타 사용자가 재생 콘텐츠를 되감았다고 표시하며, 이에 응답하여, 되감기에 따라 재생 콘텐츠의 표현이 수정된다. 하나 이상의 예로서, 표시는 적어도 하나의 타 사용자가 재생 콘텐츠를 일시 정지시켰다고 표시하며, 이에 응답하여, 재생 콘텐츠의 표현이 일시 정지된다.
동작(2126)에 관하여, 미디어 아이템에 대응되는 재생 콘텐츠를 고정된 위치에 디스플레이하는 동안, 디바이스는 입력(예컨대, 도 20k의 제스처(2022)에 대해 도시된 바와 같이, 대화 트랜스크립트를 하향 방향으로 이동하는 드래그 제스처)을 검출한다. 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트를 스크롤한다(도 20l에 도시된 바와 같이, 대화 트랜스크립트는 제스처(2022)에 응답하여 하향 방향으로 스크롤된다). 대화 트랜스크립트를 스크롤하는 동안, 미디어 아이템의 시간순서적 위치가 고정된 위치에 대해 미리 결정된 거리 내에(예컨대, 1 px, 2 px, 3 px, 4 px 또는 5 px 또는 일부 다른 미리 정의된 거리 내에) 있다는 결정에 따라, 재생 콘텐츠의 재생을 계속하는 동안 디바이스는 재생 콘텐츠를 시간순서적 위치로 이동한다(도 20l에 도시된 바와 같이, 미디어 아이템의 표현은 이제 스크롤 제스처(2022)에 응답하여 시간순서적 위치에 보여지고 더 이상 고정된 위치에 디스플레이되지 않음). 이러한 방식으로, 사용자가 대화 내에서 뒤로 충분히 멀리 스크롤하면, 재생 콘텐츠는 고정된 위치에 유지되는 대신에 시간순서적 위치로 되돌아가도록 이동하고, 따라서 미디어 아이템에 대응되는 콘텐츠의 매끄러운 뷰잉 경험을 보장한다.
이제 도 21c를 참조하면, 미디어 아이템에 대응되는 재생 콘텐츠를 고정된 위치에 디스플레이하는 동안, 디바이스는: 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들을 미디어 아이템에 대응되는(그리고 미디어 아이템의 뷰잉이 인터럽트되지 않도록, 또한 사용자가 미디어 아이템을 동기식으로 뷰잉하면서 메시지들을 계속해서 교환할 수 있도록 미디어 아이템에 대응되는 재생 콘텐츠의 뒤로 지나가는 동안) 재생 콘텐츠 아래에 디스플레이한다(2128).
미디어 아이템에 대응되는 재생 콘텐츠를 고정된 위치에 디스플레이하는 동안, 디바이스는 또한 미디어 아이템에 대응되는 콘텐츠의 끝을 검출한다(2128). 미디어 아이템에 대응되는 콘텐츠의 끝을 검출하는 것에 응답하여, 디바이스는 미디어 아이템에 대응되는 콘텐츠를 고정된 위치에 디스플레이하는 것을 중지한다. 일부 실시예들에서, 디스플레이를 중지하는 것은 대화 트랜스크립트 내의 시간순서적 위치로 복귀하는 미디어 아이템(또는 미디어 아이템의 표현)의 애니메이션(예컨대, 도 20n 내지 도 20p에 도시된 애니메이션(2050))을 제시하는 것을 포함한다. 이 애니메이션 효과는, 많은 메시지들이 교환되었을 수 있고 사용자가 더 이상 대화 트랜스크립트 내에서 미디어 아이템(또는 그 표현)을 위치찾기할 수 없기 때문에, 사용자에게 미디어 아이템에 대한 시간순서적 위치의 시각적 리마인더를 제공한다. 이러한 애니메이션 효과를 제공하는 것은 디바이스(100)의 조작성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만든다(예컨대, 사용자가 대화 트랜스크립트 내의 어디에 미디어가 위치되어 있는지를 확실히 인지하게 함으로써, 사용자들은 이후 시점에 미디어 아이템을 쉽고 효율적으로 위치찾기할 수 있음).
일부 실시예들에서, 콘텐츠의 재생의 끝을 검출하는 것은 콘텐츠의 재생을 종료하라는 요청을 수신하는 것에 대응된다(2130)(예컨대, 요청은 사용자가 정지 버튼을 히트하거나 사용자가 메시징 애플리케이션을 나갈 때와 같이, 메시징 세션과 연관된 임의의 사용자로부터 수신됨). 일부 실시예들에서, 콘텐츠의 재생의 끝을 검출하는 것은 콘텐츠의 재생의 끝에 도달하는 것에 대응된다(예컨대, 재생 콘텐츠는 종점에 도달한 후에 종료됨)(2132).
일부 실시예들에서, 전술한 미디어 아이템에 대응되는 콘텐츠의 동기식 뷰잉은 어느 하나의 사용자(또는 두 명보다 많은 사용자들을 포함하는 메시징 세션의 임의의 사용자)가 재생 콘텐츠의 위치를 조작할 때마다 메시지 채널(예컨대, 메타 메시지)을 통해 재생 헤드 정보를 전송함으로써 용이하게된다(빨리 감기, 되감기 및/또는 일시 정지에 대해 위에 논의된 바와 같음). 일부 실시예들에서, 시간 동기화 프로토콜들은 재생 헤드가 조작될 때마다 메시지들을 전후로 전송하고/하거나 콘텐츠가 동기식으로 뷰잉되고 있는지를 검증하는 데 사용된다(예컨대, 특정 사용자의 네트워크 연결이 느려지는 경우, 이는 검출되어 뷰잉이 동기 상태로 유지되도록 보장하도록 (미디어 아이템의 동기화된 뷰잉이 일어나는 메시징 세션의 일부인) 상이한 사용자를 위한 전자 디바이스에서의 뷰잉 또한 느리게 하는 데 사용될 수 있다). 일부 실시예들에서, 미디어 아이템의 재생 헤드를 조작하는 터치 이벤트가 (미디어 아이템의 동기화된 뷰잉을 포함하는 메시징 세션의 일부인 사용자와 연관된 전자 디바이스에서) 검출되면, 전자 디바이스는 동기화된 뷰잉이 인터럽트를 가지고 계속되도록 보장하기 위해, 터치 이벤트를 적극적으로 추적하고 제2 전자 디바이스(또는 제2 전자 디바이스를 포함하는 복수의 디바이스들)로 메시지(재생 헤드 정보를 포함함)를 계속해서 전송한다.
메시징 애플리케이션 내의 미디어 아이템의 동기적 뷰잉을 인에이블하기 위한 실시예들 및 기술들은 또한 메시징 애플리케이션 내에 재생되는 비동기적 게임들(체커스, 체스, 커넥트포(connect four), 진(gin), 틱-택-토(tic-tac-toe) 등을 포함), 공유 쇼핑리스트(예컨대, 두 사용자들이 메시징 애플리케이션 내의 쇼핑리스트를 동기식으로 볼 수 있으며, 동일하거나 원격 위치에 있는 사업장들에서 쇼핑하는 동안 아이템들을 각각 개별적으로 확인할 수 있음), 및 공유된 할 일 목록 및 협력 도면들에 적용될 수 있다.
도 21a 내지 도 21c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(2100)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2100)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 22는 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(2200)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은 설명된 다양한 실시예들의 원리들을 수행하도록 옵션적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 22에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 22에 도시된 바와 같이, 전자 디바이스(2200)는 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(2202), 접촉들을 수신하도록 구성된 터치 감응형 표면 유닛(2204), 터치 감응형 표면 유닛(2204) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들(2206), 및 디스플레이 유닛(2202), 터치 감응형 표면 유닛(2204) 및 하나 이상의 센서 유닛들(2206)과 결합된 프로세싱 유닛(2208)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2208)은 디스플레이 유닛(2210), 동기화된 뷰잉 요청 수신 유닛(2212), 재생 개시 유닛(2214), 표시 수신 유닛(2216), 검출 유닛(2218), 및/또는 표현 수정 유닛(2220), 및/또는 스크롤 유닛(2222)을 포함한다.
프로세싱 유닛(2208)은 디스플레이(예컨대, 디스플레이 유닛(2202)) 상에 메시징 사용자 인터페이스를 디스플레이하도록(예컨대, 디스플레이 유닛(2210)을 이용함) 구성되며, 메시징 사용자 인터페이스는 제1 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 일부 실시예들에서, 대화 트랜스크립트는 대화 트랜스크립트 내의 시간순서적 위치에 디스플레이되는 미디어 아이템의 표현을 포함하며, 메시징 세션은 제1 전자 디바이스에서의 사용자와 제1 전자 디바이스와 구별되는 제2 전자 디바이스에서의 적어도 하나의 타 사용자에 의한 미디어 아이템의 동기화된 뷰잉을 허용하도록 구성된다. 프로세싱 유닛은 또한: 메시징 사용자 인터페이스 내에서 미디어 아이템의 동기화된 뷰잉을 위한 제1 요청을 수신하고(예컨대, 동기화된 뷰잉 요청 수신 유닛(2212)을 이용함), 제1 요청을 수신하는 것에 응답하여, 미디어 아이템의 표현이 대화 트랜스크립트 내에서 시간순서적 위치에 디스플레이되는 동안, 미디어 아이템에 대응되는 콘텐츠의 재생을 개시하도록(예컨대, 재생 개시 유닛(2214)을 이용함) 구성된다. 미디어 아이템에 대응되는 콘텐츠의 재생을 개시한 후, 시간순서적 위치와 상이한 메시징 사용자 인터페이스 내의 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이(예컨대, 디스플레이 유닛(2202)과 함께 디스플레이 유닛(2210)을 이용함). 미디어 아이템에 대응되는 재생 콘텐츠를 고정된 위치에 디스플레이하는 동안: (i) 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들을 미디어 아이템에 대응되는 재생 콘텐츠 아래에 디스플레이하고(예컨대, 디스플레이 유닛(2202)과 함께 디스플레이 유닛(2210)을 이용함), (ii) 미디어 아이템에 대응되는 콘텐츠의 끝을 검출(예컨대, 검출 유닛(2218)을 이용함). 미디어 아이템에 대응되는 콘텐츠의 끝을 검출하는 것에 응답하여, 미디어 아이템에 대응되는 콘텐츠를 고정된 위치에 디스플레이하는(예컨대, 디스플레이 유닛(2202)과 함께 디스플레이 유닛(2210)을 이용함) 것을 중지.
전자 디바이스(2200)의 일부 실시예들에 따르면, 프로세싱 유닛은 적어도 하나의 타 사용자가 미디어 아이템에 대응되는 재생 콘텐츠를 조작했다는 표시를 수신하고(예컨대, 표시 수신 유닛(2216)을 이용함); 표시를 수신하는 것에 응답하여, 적어도 하나의 타 사용자로부터의 조작에 따라 전자 디바이스에서 미디어 아이템에 대응되는 재생 콘텐츠의 표현을 수정하도록(예컨대, 표현 수정 유닛(2220)을 이용함) 더 구성된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 조작은 재생 콘텐츠 빨리 감기, 재생 콘텐츠 되감기, 및/또는 재생 콘텐츠 일시 중지하기를 포함한다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 미디어 아이템의 표현은 사용자에 의해 대화 트랜스크립트에 추가된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 미디어 아이템의 표현은 적어도 하나의 타 사용자에 의해 대화 트랜스크립트에 추가된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 제1 요청은 제2 전자 디바이스를 통해 수신된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 제1 요청은 제1 전자 디바이스에서 사용자를 통해 수신된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 프로세싱 유닛은: 미디어 아이템에 대응되는 재생 콘텐츠를 고정된 위치에 디스플레이하기 전에: (i) 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들을 메시징 사용자 인터페이스 내에 디스플레이하고(예컨대, 디스플레이 유닛(2210)과 함께 디스플레이 유닛 디스플레이 유닛(2202)을 이용함) - 메시지들을 디스플레이하는 것은 미디어 아이템에 대응되는 재생 콘텐츠 아래에 메시지들을 디스플레이하는 것을 포함하여, 미디어 아이템에 대응되는 재생 콘텐츠의 메시징 사용자 인터페이스 내의 위치가 메시징 사용자 인터페이스의 상측부를 향하여 이동함 -; (ii) 시간순서적 위치가 메시징 사용자 인터페이스의 상측부에 대해 미리 결정된 거리 내에 있다는 결정에 따라, 메시징 사용자 인터페이스 내의 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하도록 더 구성된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 프로세싱 유닛은: 고정된 위치에 미디어 아이템에 대응되는 재생 콘텐츠를 디스플레이하는 동안, 입력을 검출하고; 입력을 검출하는 것에 응답하여, 대화 트랜스크립트를 스크롤하고(예컨대, 스크롤 유닛(2222)을 이용함); 대화 트랜스크립트를 스크롤하는 동안, 미디어 아이템의 시간순서적 위치가 고정된 위치에 대해 미리 결정된 거리 내에 있다는 결정에 따라, 재생 콘텐츠를 재생하는 것을 계속하는 동안 재생 콘텐츠를 시간순서적 위치로 이동하도록(예컨대, 디스플레이 유닛(2202)과 함께 디스플레이 유닛을 이용함) 더 구성된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 콘텐츠의 재생의 끝을 검출하는 것은 콘텐츠의 재생을 종료하라는 요청을 수신하는 것에 대응된다.
전자 디바이스(2200)의 일부 실시예들에 따르면, 콘텐츠의 재생의 끝을 검출하는 것은 콘텐츠의 재생의 끝에 도달하는 것에 대응된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 21a 내지 도 21c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 22에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 동작들 중 하나 이상은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
메시지 내 수기 입력의 통합(Incorporate handwritten inputs in messages)
도 23a 내지 도 23ae는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 아래에서 설명되는 프로세스들을 예시하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이(450)와 별개인 터치 감응형 표면(451) 상의 입력들을 검출한다. 용이한 설명을 위해, 아래에서 설명되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 아래에 논의된 사용자 인터페이스들을 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 23a에 도시된 바와 같이, 디바이스는 메시징 애플리케이션(또한 본 명에서에서는 "메시징 사용자 인터페이스"라고 지칭함)에 대한 사용자 인터페이스를 디스플레이하고, 디바이스의 사용자는 제스처(2302A 및 2302B) 중 하나 또는 모두를 제공함으로써 수기 특징들을 활성화할 수 있다. 일부 실시예들에서, 제스처들(2302A 및/또는 2302B)에 응답하여, 또한 디바이스가 세로 배향에 있는 동안, 디바이스는 수기 입력들의 선택가능한 표현들을 디스플레이한다(사용자 인터페이스 구역(2351)에 대해 도 23b에 도시된 바와 같음).
일부 실시예들에서, 사용자 인터페이스 구역(2351) 내에 보여진 선택가능한 표현들 중 하나의 선택을 수신하는 것에 응답하여(예컨대, 제1 선택가능한 표현 위의 입력(2304)에 응답하여), 디바이스는 제1 선택가능한 표현과 관련된 수기 텍스트를 포함하도록 메시지 입력 구역(2303)을 업데이트한다(예컨대, 도 23b에 도시된 바와 같이, 메시지 입력 영역은 "Thank you"의 수기 텍스트를 포함하도록 업데이트됨).
일부 실시예들에서, 사용자들은 또한 메시지 입력 영역(2303) 내에 디스플레이되는 수기 텍스트를 선택할 수 있다. 예를 들어, 메시지 입력 영역(2303)(도 23b) 내에 디스플레이된 수기 텍스트 위의 탭에 응답하여, 디바이스는 (예컨대, 도 23j에 도시된 바와 같은, 수기 텍스트 편집을 허용하는 사용자 인터페이스를 디스플레이함으로써) 사용자가 이어서, 그 수기 텍스트를 편집하도록 허용할 수 있다.
도 23c에 도시된 바와 같이, 일부 실시예들에서, 디바이스는 또한 타이핑된 텍스트를 수기 텍스트로 자동 대체하기 위한 제안들을 제공한다.
사용자 인터페이스 구역(2351) 내에 보여진 선택가능한 표현들 중 임의의 것을 선택함으로써 수기 텍스트를 선택하는 것에 추가하여, 일부 실시예들은 사용자들이 새로운 수기 입력들을 제공하기 위해 단순히 디바이스를 회전하는 것도 허용한다. 예를 들어, 사용자는 디바이스를 세로 배향(도 23d)에서 가로 배향(도 23e)으로 단순히 회전하며, 이러한 배향 변경을 검출하는 것에 응답하여, 디바이스는 사용자로부터 수기 입력들을 수용하도록 구성된 사용자 인터페이스(예컨대, 도 23e의 사용자 인터페이스(2309))를 디스플레이한다.
일부 실시예들에서, 사용자들은 수기 입력들에 대한 배경 색상들 및/또는 패턴들을 선택할 수 있다(예컨대, 도 23e의 사용자 입력(2308)에 응답하여, 디바이스가 도 23f의 배경 선택 사용자 인터페이스를 디스플레이함). 선택(예컨대, 도 23f의 탭(2310))에 응답하여, 디바이스는 이에 따라 사용자 인터페이스(2309)에 대한 배경을 수정한다(도 23g에 도시된 바와 같음).
도 23h 내지 도 23j는 사용자가 사용자 인터페이스(2309)에서 수기 입력을 제공할 수 있음을 예시하며, 사용자가 수기 입력들을 제공함에 따라, 디바이스는 수기 입력들의 실시간 미리보기(2312)를 제시한다. 디바이스는 또한 사용자가 새롭게 제공한 수기 입력에 대한 라벨을 제공하는 것을 허용할 수 있다. 예를 들어, 도 23j의 좌측 상부 코너에 보여진 "라벨"의 선택에 응답하여, 디바이스는 사용자가 라벨을 제공하는 것을 허용할 수 있는 사용자 인터페이스를 디스플레이한다.
일부 실시예들에서, 사용자는 입력 구역(2314) 내에 라벨을 타이핑할 수 있다(도 23k 및 도 23l에 도시된 바와 같음). 일부 실시예들에서, 입력 구역(2314)은 (예컨대, 디바이스가 적절한 라벨을 제안할 수 있는 새롭게 제공된 수기 입력들에 대해 광학 문자 인식 알고리즘을 적용함으로써) 제안된 라벨로 자동으로 채워진다(auto-populated). "저장" 어포던스의 사용자 선택(예컨대, 도 23l의 탭(2316))에 응답하여, 디바이스는 라벨을 저장하고 새롭게 제공된 수기 입력(예컨대, 새롭게 제공된 "Thank you" 텍스트에 대한 수기 스트로크들)을 그에 대해 연관시킨다. 도 23m에 도시된 바와 같이, 디바이스는 또한 새롭게 제공된 수기 입력이 라벨과 연관된다는 표시(예컨대, 표시(2318))를 제공한다.
일부 실시예들에서, "완료" 링크의 선택(예컨대, 탭(2320))에 응답하여, 디바이스는 새롭게 제공된 수기 입력을 메시지 입력 영역(2303)에 추가하고, 사용자는 새롭게 제공된 수기 입력을 타 사용자들로 전송할 수 있다. 예를 들어, 도 23n 내지 도 23v에 도시된 바와 같이, 사용자가 새롭게 제공된 수기 입력을 전송한 후, 타 사용자들과 연관된 디바이스들은 미리 결정된 페이스(pace)로 수기 입력을 렌더링하도록 명령받는다(예컨대, 제2 전자 디바이스(2360)는 사용자에게 수기 입력이 제공된다는 표시(예컨대, 표시(2322))를 제시하고, 이어서, 제2 디바이스(2360)는 미리 결정된 페이스로 그려지는 수기 입력의 애니메이션을 제시한다(애니메이션(2324)에 대해서 도 23q 내지 도 23v에 도시된 바와 같음)).
일부 실시예들에서, 특정 수기 스트로크(예컨대, 특정 수기 입력과 함께 제공된 스트로크들)에 대한 라인 두께는 특정 수기 스트로크 동안 사용자의 손가락(또는 스타일러스)에 의해 적용된 속도 및 힘에 기초하여 결정된다. 일부 실시예들에서, (이하에서보다 상세히 설명되는 바와 같이) 잉크가 표면 상에서 자연스럽게 팽창하는 방식을 정확하게 모방하기 위해, 다수의 잉크 렌더링 기술들이 활용된다.
일부 실시예들에서, 사용자들은 또한 도 23w 내지 도 23ab에 도시된 사용자 인터페이스들을 통해 맞춤화 사용자 특정 수기 키보드를 트레이닝할 수 있다. 일부 실시예들에서, 수기 키보드를 성공적으로 트레이닝한 후, 디바이스는 (도 23ac에 도시된 바와 같이) 맞춤화 사용자 특정 수기 키보드를 제시할 수 있다.
도 23ae에 도시된 바와 같이, 일부 실시예들에서, 수기 텍스트를 제공하는 것에 추가하여, 사용자들은 또한 수기 도면들(또는 수기 텍스트 및 수기 그림들의 조합)을 제공할 수 있다. 수기 텍스트와 관련하여 본 명세서에서 논의된 기술들 중 임의의 것은 (도 23ae에 도시된 금붕어 스케치와 같은) 수기 그림들에도 또한 적용가능하다.
도 23ad 및 도 23ae에 도시된 바와 같이, 일부 실시예들에서, 수기 입력을 제공 및 제시하기 위한 사용자 인터페이스들은 (또한 위에 설명된) 전자 디바이스와 통신하는 디스플레이의 특정 물리적 특성에 따라 상이하다. 일부 실시예들에서, 도 23ad 및 도 23ae는, 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 iPad Air(또는 iPad Pro와 같은 더 큰 디스플레이를 갖는 디바이스)와 같은, 대략적으로 9.4인치(약 240 ㎜)의 디스플레이와 통신하는 디바이스 상에 보여진 사용자 인터페이스들을 표현한다. 이러한 더 큰 디스플레이 크기들을 활용하기 위해, 수기 입력 영역은 대화 트랜스크립트(우측 상부 코너) 및 사용자가 참여한 현재 대화의 목록(좌측 상부 코너)이 동시에 디스플레이된다. 일부 실시예들에서, 수기 입력 영역(2309)을 참조하여 본 명세서에 제공된 상세사항들 중 임의의 것이 도 23ad 및 도 23ae에 도시된 수기 입력 영역에 적용가능하다.
도 24a 내지 도 24c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하는 방법(2400)을 예시하는 흐름도들이다. 방법(2400)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(2400)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(2400)은 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하기 위한 직관적인 방법을 제공한다. 방법은 예컨대, 사용자로 하여금 수기 입력을 입력하는 것을 시작하기 위해 그의 디바이스를 간단하게 회전시키는 것을 허용함으로써, 그의 디바이스들에 대해 사용자 만족을 개선하고, 보다 효율적인 인간-기계 인터페이스를 생성하는 것을 돕는다. 그러한 방법들 및 인터페이스들은 또한 메시징 애플리케이션의 대화 트랜스크립트에 포함하기 위한 수기 입력을 쉽고 효율적이고 신속하게 선택하도록 허용함으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전 간격을 증가시킨다. 또한 사용자들이 수기 입력들을 입력하는 것을 시작하기 위해 그의 디바이스들을 단순히 회전할 수 있게 하고, 사용자들이 수기 입력들을 쉽고 효율적이고 신속하게 선택하도록 허용함으로써, 디바이스의 조작성을 향상시키고, (예컨대, 사용자들이 그의 메시지 콘텐츠를 수기 입력들을 이용하여 용이하게 맞춤화하도록 허용함으로써) (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스들을 보다 효율적으로 만들며, 이는 추가적으로, 사용자로 하여금 디바이스를 보다 신속하게 효율적으로 사용할 수 있게 하여 전력 사용을 줄이고 디바이스의 배터리 수명을 개선한다 (예컨대, 사용자는 메시징 애플리케이션을 나가 수기 입력을 입력하거나 위치찾기하기 위해 상이한 애플리케이션을 열고 사용하고, 이어서 복귀하여 메시징 애플리케이션 내에서 그 입력들을 사용할 필요가 없고, 대신, 사용자는 단순히 메시징 애플리케이션 내에서 직접 맞춤 수기 입력들을 제공하고/하거나 선택함).
도 24a에 도시된 바와 같이, 전자 디바이스가 세로 배향에 있는 동안, 디바이스는 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함하는 메시징 사용자 인터페이스)를 디스플레이하며(2402), 메시징 사용자 인터페이스는 가상 키보드를 포함한다. 예시적인 메시징 사용자 인터페이스가 도 23a에 도시된다. 일부 실시예들에서, 가상 키보드는 수기 입력을 수용하도록 구성되지 않는다. 일부 실시예들에서, 키보드는 QWERTY, 이모지 또는 수기 입력을 수용하지 않는 다른 유형의 가상 키보드이다(예컨대, 도 23a에 도시된 QWERTY 키보드).
디바이스는 세로 배향으로부터 가로 배향으로의 전자 디바이스의 배향의 변경을 검출한다(2404)(예컨대, 디바이스의 사용자는 디바이스를 축을 따라 대략적으로 90도 디바이스를 물리적으로 회전함). 예로서, 도 23d에서, 디바이스(100)는 세로 배향으로 배향되고, 도 23e에서, 디바이스는 가로 배향으로 배향된다.
(예컨대, 도 23a와 도 23e 사이 및 또한 도 23d와 도 23e 사이에서) 전자 디바이스의 배향의 변경을 검출하는 것에 응답하여, 디바이스는 가상 키보드를 디스플레이하는 것을 중지하고(2406) 디스플레이 상에, 전자 디바이스의 사용자로부터의 수기 입력을 수용하도록 구성된 수기 입력 영역(예컨대, 도 23e의 영역(2309))을 디스플레이한다. 도 23d 및 도 23e에 도시된 바와 같이, 세로 배향으로부터 가로 배향으로의 변경의 검출 시, 디바이스는 수기 입력 영역(2309)을 디스플레이하고 메시징 사용자 인터페이스를 더 이상 디스플레이하지 않는다. 일부 실시예들에서, 수기 입력 영역은 사용자가 이전에 수기 입력 어포던스를 선택했다는 결정에 따라 디스플레이된다(예컨대, 사용자는 그 어포던스를 선택함으로써, 디바이스가 가로로 배향되는 경우, 수기 입력 영역을 디스플레이하는 것을 사용자가 수동으로 선택할 것을 요구하지 않고 수기 입력 영역이 즉시 디스플레이될 것을 보장함). 이러한 방식으로, 디바이스(100)를 단순히 회전시킴으로써, 사용자는 수기 입력 모드로 진입하여 수기 입력의 제공을 시작할 수 있고, 따라서 메시징 애플리케이션 내의 수기 입력을 제공하기 위한 효율적인 인간-기계 인터페이스를 생성할 수 있다.
일부 실시예들에서, 가상 키보드를 디스플레이하는 것을 중지하는 것은 전자 디바이스의 배향이 세로 배향에 있는 동안, 메시징 사용자 인터페이스에 포함된 대화 트랜스크립트를 디스플레이하는 것을 중지하는 단계(2408)를 포함한다(도 23a와 도 23e 사이 및 도 23d와 도 23e 사이에 도시된 바와 같이, 디바이스가 가로 배향으로 회전된 후에 대화 트랜스크립트가 더 이상 디스플레이되지 않음). 이러한 방식으로, 수기 입력 영역(2309)만 디스플레이하고(즉, 수기 입력 영역(2309)이 실질적으로 디스플레이(112)의 전부를 점유함), 대화 트랜스크립트를 디스플레이하는 것을 중지함으로써, 사용자에게 수기 입력들을 제공하는 큰 캔버스가 제시된다. 수기 입력을 제공하는 큰 캔버스를 제시하면 (예컨대, 사용자에게 수기 입력을 정확하게 제공하기에 충분한 공간을 제공함으로써) 디바이스(100)의 조작성이 향상되고 사용자-디바이스 인터페이스를 더욱 효율적으로 만든다.
수기 입력 영역(2309)을 디스플레이한 후, (도 24b의 2410 내지 2416 동작들을 참조하여 논의된 바와 같이) 사용자들은 수기 입력들을 제공할 수 있고, (2418 내지 2426 동작들을 참조하여 논의된 바와 같이) 사용자들은 미리 레코딩된(pre-recorded) 수기 입력들 표현들을 선택할 수 있다. 사용자들은 임의의 순서로 이러한 동작들을 수행할 수 있다(예컨대, 수기 입력들을 제공한 다음 나중에 표현들을 선택하거나, 그 반대이고, 원하는 수기 텍스트를 생성하기 위해 필요에 따라 이러한 동작들을 반복할 수 있음). 이러한 방식으로, 사용자들은 메시징 애플리케이션 내의 대화 트랜스크립트에 추가할 다양한 메시지들을 생성하기 위해 쉽고 효율적으로 새로운 수기 입력들을 제공하고, 타이핑된 입력들을 제공하고/하거나 미리 레코딩된 수기 입력들을 선택할 수 있다.
이제 도 24b를 참조하면, 일부 실시예들에서, 디바이스는 수기 입력 영역 내에 수기 입력들을 수신한다(2410)(예컨대, 사용자는 도 23h에 도시된 바와 같이, "Thank y"를 수기하기 시작함). 일부 실시예들에서, 수기 입력들을 수신하는 것에 응답하여, 디바이스는 수기 입력들의 (실시간/지속적으로 업데이트되는) 미리보기(예컨대, 도 23h의 미리보기(2312))를 디스플레이하며, 미리보기는 메시징 사용자 인터페이스 내에서 수기 입력들이 디스플레이될 사용자 인터페이스 객체(메시지 구역/버블)를 포함한다. 도 23h 내지 도 23j에 도시된 바와 같이, 수기 입력들의 미리보기는 수기 입력들을 메시징 사용자 인터페이스 내에 디스플레이하는데 사용될 메시지 버블의 우측 상부 코너에 도시된다(예컨대, 수기 입력들을 선택하여 다른 사용자로 전송한 후, 수기 입력들이 메시징 사용자 인터페이스의 메시징 버블 내에 도시됨). 일부 실시예들에서, 수기 입력들은 메시지 버블들 내에 디스플레이되지 않고 대신 프리-스탠딩(free-standing) 텍스트로서 메시징 사용자 인터페이스 내에 디스플레이된다. 메시징 버블 내의 수기 입력의 일례가 도 23b에 도시되고(예컨대, 메시지 버블(2305)), 메시징 버블 외부의 수기 입력의 예가 도 23b에 도시된다(예컨대, 메시지 버블(2307)). 수기 입력들의 라이브 실시간 미리보기를 제공함으로써, 디바이스(100)의 조작성이 향상되고 (예컨대, 수기 입력들을 제공하는 경우에 사용자가 적절한 입력들을 제공하고 사용자 실수를 줄이도록 도움으로써) 보다 효율적인 사용자-디바이스 인터페이스가 생성된다.
일부 실시예들에서, 수기 입력 영역 내에 수기 입력들을 수신하는 동안, 디바이스는 (예컨대, 전자 디바이스의 사용자와 메시징 세션에 있는 제2 사용자의 제2 디바이스로 라우팅하기 위한 서버로, 또는 직접 제2 디바이스로) 현재 사용자가 메시지를 수기하고 있다는 표시를 디스플레이하기 위한 명령어들을 전송한다(2412)(예컨대, 시뮬레이션된 수기 스트로크를 갖는 메시지 버블로서, 메시지 버블은 도 23n 내지 도 23p의 표시(2322)와 같이, 제2 디바이스에서의 메시징 사용자 인터페이스의 대화 트랜스크립트 내에 디스플레이됨). 일부 실시예들에서, 현재 그 사용자가 메시지를 수기하고 있다는 표시(예컨대, 도 23n 내지 도 23p의 2322)는 사용자가 수기 입력 영역 이외의 입력 메커니즘(예컨대, 가상 QWERTY 키보드)을 사용하여 메시지를 타이핑하는 경우에 제공되는 표시와 상이하다.
일부 실시예들에서, 수기 입력 영역 내에 수기 입력들을 수신하는 동안, 디바이스는 수기 입력들이 수기 입력 영역의 에지으로부터 미리 결정된 거리(예컨대, 1px, 2px, 3px, 4px, 5px, 또는 일부 다른 미리 정의된 거리) 내에 있음을 결정하고(2414), 결정하는 것에 따라, 수기 입력들의 적어도 일부분을 디스플레이하는 것을 계속하는 동안, 디바이스는 수기 입력 영역 내의 추가적인 공간을 노출하기 위해 수기 입력 영역의 디스플레이된 부분을 시프트(shift)한다. 예를 들어, 도 23h 내지 도 23j에 도시된 바와 같이, 수기 입력들이 에지에 대해 미리 결정된 거리 내로 접근하면, 수기 입력 영역이 시프트되어 추가적인 공간을 노출하고 사용자가 수기 입력들을 유동적으로 제공하는 것을 계속하도록 허용한다. 일부 실시예들에서, 수기 입력들의 적어도 일부분을 디스플레이하는 것을 계속함으로써, 사용자는 사용자가 추가적인 수기 입력들을 제공하는 것을 계속하면서도 컨텍스트를 제공하기 위해 이전에 입력된 수기 스트로크들 중 일부를 여전히 뷰잉할 수 있다. 수기 입력 영역의 디스플레이된 구역을 동적으로 시프트함으로써, 디바이스(100)의 조작성이 향상되고, 보다 효율적인 사용자-디바이스 인터페이스들이 제공된다(예컨대, 디스플레이된 구역을 시프트함으로써, 사용자들은 인터럽트 없는 방식으로 수기 입력들을 제공하는 것을 계속할 수 있고, 그러면서도 이전에 제공한 수기 스트로크들의 일부분을 여전히 볼 수 있음).
일부 실시예들에서, 사용자는 수동으로 디바이스로 하여금 (예컨대, 도 23h 내지 도 23j에 도시된 ">" 어포던스를 선택함으로써) 수기 입력 영역의 디스플레이된 부분을 시프트할 수 있다. 일부 실시예들에서, 사용자는 디바이스가 수기 입력 영역의 디스플레이된 부분 또한 시프트하게 하기 위해 실질적으로 수평 방향으로 두 손가락 스와이프 제스처를 제공할 수 있다(사용자로 하여금 사용자 인터페이스(2309) 상에 현재 디스플레이된 특정 수기 입력의 좌측 또는 우측으로 용이하게 내비게이션하는 것을 허용하기 위함).
일부 실시예들에서, 디바이스는 수기 입력들의 적어도 일부분에 대한 수정(예컨대, 일부 이전에 완성된 수기 스트로크들에 대한 주석 또는 꾸밈, 또는 수기 입력들의 일부분을 실행취소하라는 요청)을 수신하고(2416), 수정을 수신하는 것에 응답하여, 디바이스는 수정에 따라 수기 입력들의 일부분 및 미리보기(예컨대, 2312)를 수정한다. 예를 들어, 실행취소 요청(예컨대, 사용자가 수기 입력 영역(2309)에 근접하거나 그 내에 디스플레이된 실행취소 버튼(도시되지 않음)을 클릭함)에 응답하여, 디바이스는 사용자에 의해 제공된 최종 수기 스트로크를 삭제하고 동시에 이를 미리보기(2312)로부터 삭제한다. 일부 실시예들에서, 사용자가 실행취소 버튼을 탭하고 미리 결정된 기간(예컨대, 2초 이상) 동안 실행취소 버튼과의 접촉을 유지하면, 디바이스는 전체 수기 캔버스(예컨대, 사용자 인터페이스/캔바스(2309))를 클리어한다.
이제 도 24c를 참조하면, 디바이스는 전자 디바이스의 사용자로부터의 미리 레코딩된 수기 입력들의 표현들을 수기 입력 영역 내에(또는 근처에/옆에) 디스플레이한다(2418). 일부 실시예들에서, 미리 레코딩된 수기 입력들은 수기 입력 영역 아래에 디스플레이되고(예컨대, 도 23j에 도시된 바와 같이, "my bad,", "Happy Birthday" 및 "CONGRATS!!!"에 대한 표현들이 보여짐) 각각은 사용자에 의한 선택을 위해 이용가능하다. 일부 실시예들에서, 미리 레코딩된 수기 입력들 중 제1 수기 입력 선택 후, 수기 입력 영역은 제1 미리 레코딩된 수기 입력을 포함하도록 업데이트되고, 사용자는 이어서 입력을 수정하거나 타 사용자들로 전송하기 위해 대화 트랜스크립트에 그것을 포함시킬 수 있다. 일부 실시예들에서, 미리 레코딩된 수기 입력들의 표현에 추가하여, 디바이스는 또한 디폴트로 미리 저장된 수기 입력들의 표현들을 디스플레이한다.
일부 실시예들에서, 미리 레코딩된 수기 입력들을 수정할 수 있는 것에 추가하여, 사용자들은 또한 타 사용자들로 전송하기 위해 이들을 선택할 수 있다(예컨대, 도 23b에 도시된 바와 같이, 입력(2304)은 수기 입력 "Thank you"의 표현을 선택하기 위해 제공됨). 일부 실시예들에서, 디바이스는 제1 미리 레코딩된 수기 입력(예컨대, 도 23b의 입력(2304))의 선택을 수신하고(2420), 제1 미리 레코딩된 수기 입력(또는 그 표현, 또는 제1 미리 레코딩된 수기 입력을 재생성하기 위한 명령어들)을 메시징 세션 내의 다른 사용자와 연관된 제2 디바이스로 전송하며(2422), 제1 미리 레코딩된 수기 입력을 제2 디바이스로 전송하는 것은 제2 디바이스로 하여금 제1 미리 레코딩된 수기 입력을 제2 디바이스에서 미리 결정된 페이스로 그리도록 명령하는 것을 포함한다.
예를 들어, 제2 전자 디바이스(2360) 상의 메시징 애플리케이션의 구역(2324)에 대해, 도 23q 내지 도 23v에 도시된 바와 같이, "Thank you"의 제1 미리 레코딩된 수기 입력의 표현의 사용자 선택에 응답하여, 제2 디바이스(2360)는 미리 결정된 페이스로 제1 미리 레코딩된 수기 입력을 그리기 위한 명령어들을 수신한다. 미리 레코딩된 수기 입력의 그리기를 정확하게 시뮬레이션하기 위해 활용되는 잉크 관련 기술들에 관한 추가적인 상세사항들이 아래에 제공된다.
일부 실시예들에서, 제1 미리 레코딩된 수기 입력을 그리는 대신에, 제2 전자 디바이스(2360)는 제1 미리 레코딩된 수기 입력을(즉, 위에 논의된 그리기 없이) 디스플레이한다(2426). 예를 들어, 제2 디바이스(2360)는 그리기 효과를 렌더링하는 대신에 도 23s에 도시된 바와 같이 메시지 구역(2324)을 디스플레이한다. 달리 말하면, 일부 실시예들에서, 제1 미리 레코딩된 수기 입력은 제2 디바이스(2360)에서 메시징 사용자 인터페이스에 추가되고, (예컨대, 미리 결정된 페이스로 수기 입력을 그리지 않고) 애니메이션 효과없이 디스플레이된다.
일부 실시예들에서, 미리 결정된 페이스는 제1 미리 레코딩된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 기입 페이스(writing pace)에 대응된다(2424). 일부 실시예들에서, 미리 결정된 페이스는 제1 미리 레코딩된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 페이스(예컨대, 수기 입력들을 제시하기 위한 디폴트 페이스)와 상이한 기입 페이스에 대응된다.
일부 실시예들에서, 수기 입력 영역은 디바이스가 세로 배향에 있는 동안 (예컨대, 더 큰 디스플레이를 갖는 디바이스들에 대해) 이용가능하다. 일부 실시예들에서, 디바이스가 세로 배향에 있는 동안 수기 입력 영역에 액세스하기 위해, 수기 입력 선택 어포던스(예컨대, 도 23a의 입력(2302A)에 의해 선택된 것으로 도시된 어포던스, 또는 도 23a의 입력(2302B)에 의해 선택된 것으로 도시된 어포던스)는 메시징 사용자 인터페이스에 포함된다. 수기 입력 선택 어포던스의 선택을 검출하는 것에 응답하여, 디바이스는 가상 키보드를 디스플레이하는 것을 중지하고 전자 디바이스의 사용자로부터 수기 입력 영역 및 미리 레코딩된 수기 입력들의 표현들을 디스플레이한다. 일부 실시예들에서, 수기 입력 선택 어포던스는 디바이스가 미리 정의된 크기를 초과하는 터치 감응형 디스플레이(예컨대, 캘리포니아 주 쿠퍼티노 소재의 애플로부터의 iPad 및 iPad 미니 디바이스들 상에서 이용가능한 것들과 같은 적어도 7.9 인치 터치 감응형 디스플레이), 또는 미리 정의된 임계치를 초과하는 해상도(예컨대, 애플로부터의 위에 언급된 디바이스들 상에서 이용가능한 것들과 같은, 346ppi에서 2048x1536 픽셀, 또는 그 이상)를 갖는 터치 감응형 디스플레이를 갖는 경우, 디바이스가 단지 세로 배향에 있는 동안만 이용가능하다. 달리 말하면, 일부 실시예들에서, 더 소형인 디바이스의 배향이 세로 배향인 동안, 더 소형인 스마트 폰들은 디스플레이된 수기 입력 선택 어포던스를 전혀 가지지 않으며, 따라서, 수기 입력 영역은 이러한 더 소형인 디바이스들이 가로 배향으로 배향되는 동안만 이용가능하다.
도 24a 내지 도 24c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(2400)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2400)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에서, 도 24a 내지 도 24c를 참조하여 전술한 방법(2400)은 잉크가 표면에 적용되는 방식을 정확하게 시뮬레이션하기 위해 디스플레이 상에 잉크를 렌더링하기 위한 아래에서 설명되는 하나 이상의 기술들을 활용한다.
일부 실시예들에 따르면, 도 25는 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(2500)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은 설명된 다양한 실시예들의 원리들을 수행하도록 옵션적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 25에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 25에 도시된 바와 같이, 전자 디바이스(2500)는 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(2502), 접촉들을 수신하도록 구성된 터치 감응형 표면 유닛(2504), 터치 감응형 표면 유닛(2504) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들(2506), 및 디스플레이 유닛(2502), 터치 감응형 표면 유닛(2504) 및 하나 이상의 센서 유닛들(2506)과 결합된 프로세싱 유닛(2508)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2508)은 디스플레이 유닛(2510), 디바이스 배향 검출 유닛(2512), 수기 수정 유닛(2514), 전송 유닛(2516), 수기 입력 선택 유닛(2518), 결정 유닛(2520) 및/또는 수기 입력 영역 시프트 유닛(2524)을 포함한다.
프로세싱 유닛(2508)은 전자 디바이스가 세로 배향에 있는 동안, 디스플레이(예컨대, 디스플레이 유닛(2502)) 상에, 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하고(예컨대, 디스플레이 유닛(2510)을 이용함); 전자 디바이스의 세로 배향으로부터 가로 배향으로의 배향의 변경을 검출하고(예컨대, 디바이스 배향 검출 유닛(2512)을 이용함), 전자 디바이스의 배향의 변경을 검출하는 것에 응답하여, 가상 키보드를 디스플레이하는 것을 중지하고(예컨대, 디스플레이 유닛(2510)을 이용함); 디스플레이 상에, 전자 디바이스의 사용자로부터 수기 입력을 수용하도록 구성된 수기 입력 영역을 디스플레이하도록(예컨대, 디스플레이 유닛(2510)을 이용함) 구성된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 수기 입력 영역 내에 수기 입력들을 수신하고(예컨대, 수기 수정 유닛(2514)을 이용함); 수기 입력들을 수신하는 것에 응답하여, 수기 입력들의 미리보기를 디스플레이하도록 구성되며, 미리보기는 메시징 사용자 인터페이스 내에서 수기 입력들이 디스플레이될(예컨대, 디스플레이 유닛(2510)을 이용함) 사용자 인터페이스 객체를 포함한다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 수기 입력들의 적어도 일부분에 대한 수정을 수신하고(예컨대, 수기 수정 유닛(2514)을 이용함), 수정을 수신하는 것에 응답하여, 수정에 따라 수기 입력들의 일부분 및 미리보기를 수정하도록(예컨대, 수기 수정 유닛(2514)을 이용함) 더 구성된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 수기 입력 영역 내에 수기 입력들을 수신하는 동안, 현재 사용자가 메시지를 수기하고 있다는 표시를 디스플레이하기 위한 명령어들을 전송하도록(예컨대, 전송 유닛(2516)을 이용함) 더 구성된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 전자 디바이스의 사용자로부터의 미리 레코딩된 수기 입력들의 표현들을 수기 입력 영역 내에 디스플레이하도록(예컨대, 디스플레이 유닛(2510)을 이용함) 더 구성된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제1 미리 레코딩된 수기 입력의 선택을 수신하고(예컨대, 수기 입력 선택 유닛(2518)을 이용함); 제1 미리 레코딩된 수기 입력을 메시징 세션 내의 다른 사용자와 연관된 제2 디바이스로 전송하도록(예컨대, 전송 유닛(2516)을 이용함) 더 구성되며, 제1 미리 레코딩된 수기 입력을 제2 디바이스로 전송하는 것은 제2 디바이스로 하여금 제1 미리 레코딩된 수기 입력을 제2 디바이스에서 미리 결정된 페이스로 그리도록 명령하는 것을 포함한다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 미리 결정된 페이스는 제1 미리 레코딩된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 기입 페이스에 대응된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 미리 결정된 페이스는 제1 미리 레코딩된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 페이스와 상이한 기입 페이스에 대응된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제1 미리 레코딩된 수기 입력의 선택을 수신하고(예컨대, 수기 입력 선택 유닛(2518)을 이용함); 제1 미리 레코딩된 수기 입력을 메시징 세션 내의 다른 사용자와 연관된 제2 디바이스로 전송하도록(예컨대, 전송 유닛(2516)을 이용함) 더 구성되며, 제1 미리 레코딩된 수기 입력을 제2 디바이스로 전송하는 것은 제2 디바이스로 하여금 제1 미리 레코딩된 수기 입력을 제2 디바이스에서 디스플레이하도록 명령하는 것을 포함한다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 프로세싱 유닛은: 수기 입력 영역 내에 수기 입력들을 수신하는 동안, 수기 입력들이 수기 입력 영역의 에지에 대해 미리 결정된 거리 내에 있다고 결정하고(예컨대, 결정 유닛(2522)을 이용함), 결정하는 것에 따라, 수기 입력들의 적어도 일부분을 디스플레이하는 것을 계속하는 동안, 수기 입력 영역 내의 추가적인 공간을 노출하기 위해 수기 입력 영역의 디스플레이된 부분을 시프트하도록(예컨대, 수기 입력 영역 시프트 유닛(2524)을 이용함) 더 구성된다.
전자 디바이스(2500)의 일부 실시예들에 따르면, 가상 키보드를 디스플레이하는 것을 중지하는 것은 전자 디바이스의 배향이 세로 배향에 있는 동안 메시징 사용자 인터페이스에 포함된 대화 트랜스크립트를 디스플레이하는 것을 중지하는 것을 포함한다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 24a 내지 도 24c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 25에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 일부 동작은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 26a 및 도 26b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하는 방법(2600)을 예시하는 흐름도들이다. 방법(2600)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(2600)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(2600)은 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하기 위한 직관적인 방법을 제공한다. 방법은 사용자들이 예컨대, 타이핑된 입력들을 수기 입력들로 효율적으로 자동 대체하는 것을 허용함으로써, 그들의 디바이스에 대한 사용자 만족을 개선하고, 효율적인 인간-기계 인터페이스를 생성하는 것을 돕는다. 배터리-작동형 디바이스의 경우, 그러한 방법들 및 인터페이스들은 (예컨대, 타이핑된 입력들의 특정 시퀀스를 연관된 수기 입력들로 자동 대체하기 위해 단일 입력만 요구함으로써) 전력을 절약하고 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에, 메시징 사용자 인터페이스 - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함함(대화 트랜스크립트는 예컨대, 도 23a에 도시된 바와 같이, 사용자와 적어도 하나의 타 사용자 사이에서 교환된 메시지들을 디스플레이하는 메시지 구역을 포함함) -, 가상 키보드(예컨대, 도 23a에 도시된 가상 QWERTY 키보드), 및 메시지 입력 영역(예컨대, 도 23b의 메시지 입력 영역(2303))을 디스플레이한다(2602).
디바이스는 또한 가상 키보드에서, 복수의 타이핑 입력들을 수신한다(2604)(사용자가 디스플레이 가상 QWERTY 키보드 상의 복수의 키들을 타이핑 함). 예를 들어, 도 23c에 도시된 바와 같이(메시지 입력 영역(2303)의 클로즈업을 도시함), 사용자는 다음을 타이핑한다(다시 말해, 복수의 타이핑 입력들은 다음의 입력들을 포함함) "Thank you for helping to play all of this! I think he is going to be really surprised!" 복수의 타이핑 입력들을 수신하는 동안, 디바이스는 복수의 타이핑 입력들 중 하나 이상의 타이핑 입력들이 사용자로부터의 저장된 수기 입력과 연관된 문자들의 저장된 시퀀스와 일치하는지 여부를 결정한다. 일부 실시예들에서, 문자들의 저장된 시퀀스는 사용자가 저장된 수기 입력에 대해 제공했던 라벨에 대응된다(2608). 예를 들어, 사용자는 다양한 수기 입력들을 입력하고, 각자의 수기 입력 각각과 라벨을 연관시킨다(예컨대, 도 23k 내지 도 23m에 도시된 바와 같이, 사용자는 "Thank you"에 대한 최근 타이핑된 수기 텍스트 thank you의 라벨을 연관시킴).
하나 이상의 타이핑 입력들이 문자들의 저장된 시퀀스와 일치한다는(예컨대, 타이핑된 입력들 "Thank you"가 저장된 "Thank you"의 라벨과 일치한다는) 결정에 따라, 디바이스는 메시지 입력 영역 내에서 디스플레이되는 문자들의 제1 세트에 근접한 제1 위치에 저장된 수기 입력의 선택가능한 표현(예컨대, 도 23c에 도시된 선택가능한 표현(2392A 및 2392B))을 디스플레이하며(2610), 문자들의 제1 세트는 메시지 입력 영역 내에 디스플레이되고, 문자들의 저장된 시퀀스와 일치하는 하나 이상의 타이핑 입력들에 대응되는 문자들을 포함한다.
디바이스는 또한 터치 감응형 표면을 통해, 저장된 수기 입력의 선택가능한 표현의 선택을 검출한다(2612)(예컨대, 도 23c에 도시된 입력들(2306) 중 하나를 검출함). 저장된 수기 입력들의 선택가능한 표현의 선택을 검출하는 것에 응답하여, 디바이스는 저장된 수기 입력의 선택가능한 표시를 제1 위치에 디스플레이하는 것을 중지하고, 메시지 입력 영역 내에서, 하나 이상의 타이핑 입력들에 대응되는 문자들의 제1 세트의 디스플레이를 저장된 수기 입력의 표현의 디스플레이로 대체한다. 예를 들어, 도 23c에 도시된 바와 같이, 입력(2306)에 응답하여, 디바이스는 선택가능한 표현들(2392A/2392B)을 디스플레이하는 것을 중지하고, 대신에 "Thank you"라는 타이핑된 문자들을 선택가능한 표현 내에 디스플레이된 저장된 수기 입력의 표현으로 대체한다. 이러한 방식으로, 사용자는 타이핑된 텍스트를 수기 텍스트로 자동 대체하기 위해 단일 입력(선택가능한 표현의 단순한 선택)을 제공함으로써, 디바이스(100)의 조작성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만들 수 있다.
이제 도 26b를 참조하면, 일부 실시예들에서, 문자들의 제1 세트를 저장된 수기 입력의 표현으로 대체한 후, 메시지 입력 영역(예컨대, 영역(2303))은 저장된 수기 입력의 표현 및 복수의 타이핑된 입력들 중 적어도 제1 타이핑된 입력 모두를 포함한다(2614). (다시 말해, 사용자의 메시지는 수기 텍스트 및 타이핑된 텍스트 모두를 포함함(도 23c에 도시된 바와 같음)). 이러한 방식으로, 사용자가 그 단일 메시지의 전체 콘텐츠에 대한 수기 텍스트를 전송할 필요 없이 단일 메시지 내의 특정 구문들을 개인화할 수 있게 됨으로써, 디바이스(100)의 조작성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만들 수 있다.
일부 실시예들에서, 디바이스는 메시지를 적어도 하나의 타 사용자로 전송하라는 요청을 수신하고(2616), 요청을 수신하는 것에 응답하여, 디바이스는 저장된 수기 입력을 미리 결정된 페이스로 그리는 애니메이션을 포함하는 사용자 인터페이스 객체를 대화 트랜스크립트 내에 디스플레이한다(제2 전자 디바이스(2360)에 대해 도 23q 내지 도 23v에 도시된 바와 같으며, 일부 실시예들에서, 동일한 애니메이션이 디바이스(100)에서 미리 결정된 페이스로 그려짐). 일부 실시예들에서, 메시지를 적어도 하나의 타 사용자로 전송하라는 요청을 수신하는 것에 응답하여, 디바이스는 미리 결정된 페이스로 저장된 수기 입력을 그리는 애니메이션을 포함하는 사용자 인터페이스 객체를 렌더링하기 위한 명령어들을 (적어도 하나의 타 사용자와 연관된 제2 디바이스(2360)에 서버를 통하거나 직접) 전송한다(도 23q 내지 도 23v에 도시된 바와 같음).
일부 실시예들에서, 미리 결정된 페이스는 저장된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 기입 페이스에 대응된다(따라서, 사용자들로 하여금 사용자의 수기 텍스트 및 사용자의 수기 텍스트가 이전에 기입되었던 미리 결정된 페이스 모두를 포함하는 고도로 맞춤화된 수기 메시지들을 제공하는 것을 허용함). 일부 실시예들에서, 미리 결정된 페이스는 저장된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 페이스와 상이한 기입 페이스에 대응된다.
도 26a 및 도 26b의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(2600)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2600)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에서, 도 26a 및 도 26b를 참조하여 전술한 방법(2600)은 잉크가 표면에 적용되는 방식을 정확하게 시뮬레이션하기 위해 디스플레이 상에 잉크를 렌더링하기 위한 아래에서 설명되는 하나 이상의 기술들을 이용한다.
일부 실시예들에 따르면, 도 27은 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(2700)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은 설명된 다양한 실시예들의 원리들을 수행하도록 옵션적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 27에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 27에 도시된 바와 같이, 전자 디바이스(2700)는 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(2702), 접촉들을 수신하도록 구성된 터치 감응형 표면 유닛(2704), 터치 감응형 표면 유닛(2704) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들(2706), 및 디스플레이 유닛(2702), 터치 감응형 표면 유닛(2704) 및 하나 이상의 센서 유닛들(2706)과 결합된 프로세싱 유닛(2708)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2708)은 디스플레이 유닛(2710), 타이핑 입력 수신 유닛(2712), 결정 유닛(2714), 검출 유닛(2716), 대체 유닛(2718), 제2 유닛(2720) 및 요청 수신 유닛(2722)을 포함한다.
프로세싱 유닛(2708)은 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하고(예컨대, 디스플레이 유닛(2702)과 함께 디스플레이 유닛(2710)을 이용함) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 가상 키보드 및 메시지 입력 영역을 포함함 -; 가상 키보드에서, 복수의 타이핑 입력들을 수신하고(예컨대, 타이핑 입력 수신 유닛(2712)을 이용함); 복수의 타이핑 입력들을 수신하는 동안, 복수의 타이핑 입력들 중 하나 이상의 타이핑 입력들이 사용자로부터의 저장된 수기 입력과 연관된 문자들의 저장된 시퀀스와 일치하는지 여부를 결정하고(예컨대, 결정 유닛(2714)을 이용함); 하나 이상의 타이핑 입력들이 문자들의 저장된 시퀀스와 일치한다는 결정에 따라, 메시지 입력 영역 내에서 디스플레이되는 문자들의 제1 세트에 근접한 제1 위치에서 저장된 수기 입력의 선택가능한 표현을 디스플레이하고(예컨대, 디스플레이 유닛(2710)을 이용함) - 문자들의 제1 세트는 메시지 입력 영역 내에서 디스플레이되며, 문자들의 저장된 시퀀스와 일치하는 하나 이상의 타이핑 입력들에 대응되는 문자들을 포함함 -; 터치 감응형 표면을 통해, 저장된 수기 입력의 선택가능한 표현의 선택을 검출하고(예컨대, 검출 유닛(2716)을 이용함); 저장된 수기 입력의 선택가능한 표시의 선택을 검출하는 것에 응답하여, 저장된 수기 입력의 선택가능한 표현을 제1 위치에 디스플레이하는 것을 중지하고 (예컨대, 디스플레이 유닛(2710)을 이용함); 저장된 수기 입력의 표현을 디스플레이하여 하나 이상의 타이핑 입력들에 대응되는 문자들의 제1 세트의 메시지 입력 영역 내의 디스플레이를 대체하도록(예컨대, 대체 유닛(2718)을 이용함) 구성된다.
전자 디바이스(2700)의 일부 실시예들에 따르면, 프로세싱 유닛은: 메시지를 적어도 하나의 타 사용자로 전송하라는 요청을 수신하고(예컨대, 요청 수신 유닛(2722)을 이용함); 요청을 수신하는 것에 응답하여, 대화 트랜스크립트 내에 미리 결정된 페이스로 저장된 수기 입력을 그리는 애니메이션을 포함하는 사용자 인터페이스 객체를 디스플레이하도록(예컨대, 디스플레이 유닛(2710)을 이용함) 구성된다.
전자 디바이스(2700)의 일부 실시예들에 따르면, 프로세싱 유닛은: 메시지를 적어도 하나의 타 사용자로 전송하라는 요청을 수신하는 것에 응답하여, 미리 결정된 페이스로 저장된 수기 입력을 그리는 애니메이션을 포함하는 사용자 인터페이스 객체를 렌더링하기 위한 명령어를 전송하도록(예컨대, 전송 유닛(2720)을 이용함) 더 구성된다.
전자 디바이스(2700)의 일부 실시예들에 따르면, 미리 결정된 페이스는 저장된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 기입 페이스에 대응된다.
전자 디바이스(2700)의 일부 실시예들에 따르면, 미리 결정된 페이스는 저장된 수기 입력을 제공하는 동안 사용자에 의해 사용되었던 페이스와 상이한 기입 페이스에 대응된다.
전자 디바이스(2700)의 일부 실시예들에 따르면, 문자들의 제1 세트를 저장된 수기 입력의 표현으로 대체한 후, 메시지 입력 영역은 저장된 수기 입력의 표현 및 복수의 타이핑된 입력들 중 적어도 제1 타이핑된 입력 모두를 포함한다.
전자 디바이스(2700)의 일부 실시예들에 따르면, 문자들의 저장된 시퀀스는 사용자가 저장된 수기 입력에 대해 제공했던 라벨에 대응된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 26a 및 도 26b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 27에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 일부 동작은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 28a 및 도 28b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하는 방법(2800)을 예시하는 흐름도들이다. 방법(2800)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(2800)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(2800)은 메시징 애플리케이션 내의 사용자 특정 수기 입력들을 제공 및 제시하기 위한 직관적인 방법을 제공한다. 방법은 예컨대, 사용자들이 사용자 특정 수기 문자들을 맞춤화 키보드 상의 키들로서 갖는 맞춤화 키보드를 생성하기 위해 다음의 미리 정의된 트레이닝 시퀀스를 간단하게 하는 것을 허용함으로써, 그의 디바이스들에 대한 사용자 만족을 개선하고, 보다 효율적인 인간-기계 인터페이스를 생성하는 것을 돕는다. 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전 간격을 증가시킨다. 또한, 사용자들이 사용자 특정 수기 문자들을 키로 사용하여 맞춤화 키보드를 용이하고 효율적이며 신속하게 생성하도록 허용함으로써, (예컨대, 사용자들이 그들의 메시지 콘텐츠를 맞춤화 키보드로부터 선택된 수기 입력들로 용이하게 맞춤화하도록 허용함으로써), 디바이스의 조작성을 향상시키고 (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스들을 보다 효율적으로 만든다. 이는 추가적으로, 사용자로 하여금 디바이스를 보다 신속하게 효율적으로 사용할 수 있게 하여 전력 사용을 줄이고 디바이스의 배터리 수명을 개선한다 (예컨대, 사용자는 메시징 애플리케이션을 나가 수기 입력을 입력하거나 위치찾기하기 위해 상이한 애플리케이션을 열고 사용하고, 이어서 복귀하여 메시징 애플리케이션 내에서 그 입력들을 사용할 필요가 없고, 대신, 사용자는 단순히 메시징 애플리케이션 내에서 직접 맞춤 수기 입력들을 제공하고/하거나 선택함).
디바이스는, 터치 감응형 표면을 통해, (도 23w 및 도 23x에서, 키보드 준비 모드를 활성화하기 위한 입력(2326) 및 이어서 트레이닝 문자들의 각자의 세트에 대한 키보드 준비 사용자 인터페이스를 디스플레이하기 위한 입력(2328)과 같이, 수기 문자들을 갖는 맞춤화 키보드를 준비하라는 요청에 대응되는) 제1 입력을 검출한다(2802). 제1 입력(또는 입력들(2326 및 2328)과 같은 다수의 입력들)을 검출하는 것에 응답하여, 디바이스는 디스플레이 상에, 키보드 준비 사용자 인터페이스(예컨대, 도 23y에 도시된 사용자 인터페이스)를 제시한다. 일부 실시예들에서, 키보드 준비 사용자 인터페이스는 제1 강조된 문자(예컨대, "THE QUICK BROWN FOX JUMPS OVER THE LAZY DOG."를 디스플레이하는 도 23y에 도시된 사용자 인터페이스의 일부분)를 포함하는 트레이닝 문자들의 미리 정의된 세트를 디스플레이하는 제1 부분을 포함한다(2804). 일부 실시예들에서, 제1 부분은 맞춤화 키보드를 준비하는 동안 사용자에 의해 타이핑될 문자들의 미리보기를 제공하는 상측부이며, 강조된 문자는 맞춤화 키보드를 준비하는 동안 사용자에 의해 수기될 다음 문자를 표현한다(예컨대, 도 23y 및 도 23z에 도시된 바와 같이, "T" 문자(2330)가 제1 부분에서 강조되어 사용자에게 그들이 그 문자에 대한 수기 입력을 제공해야 함을 표시함). 일부 실시예들에서, 키보드 준비 사용자 인터페이스는 또한: 트레이닝 문자들의 미리 정의된 세트 중 하나 이상의 문자들을 디스플레이하는 제2 부분을 포함하며, 하나 이상의 문자들은 제2 강조된 문자(예컨대, 도 23y 및 도 23z의 강조된 문자(2332))를 포함한다. 예를 들어, 제2 부분은 제1/상측부 아래에 디스플레이되는 하측부이고, 제2 부분은 사용자에 의해 수기될 다음 문자들을 표현하는 문자들의 제한된 수(예컨대, 1, 2 또는 3)를 포함한다. 일부 실시예들에서, 제1 및 제2 강조된 문자들은 동일한 문자에 대응되지만, 도 23y 및 도 23z에 도시된 바와 같이, 제2 강조된 문자는 제1 강조된 문자보다 큰 글꼴 크기로 디스플레이된다.
일부 실시예들에서, 제1 및 제2 부분들의 강조된 문자들은 수기 입력들이 수신됨에 따라 변경된다(2806). 일부 실시예들에서, 각자의 수기 입력이 수락 기준들을 만족한다는 결정에 따라, 디바이스는 트레이닝 문자들의 세트 중 그 다음 문자를 강조한다(도 23z 및 도 23aa에 도시된 바와 같이, 강조된 문자들은, 사용자가 수락 기준들을 만족하는 수기 입력들을 제공하는 것을 계속함에 따라 변경됨. 이러한 방식으로, 사용자들에게 수기해야 하는 문자들에 대해 명확한 시각적 단서들이 제공된다.
일부 실시예들에서, 각자의 수기 입력이 수락 기준들을 만족하지 않는다는 결정에 따라, 디바이스는 수락 기준들을 만족하기 위해 수기 입력이 어떻게 개정되어야 하는지에 대한 표시를 사용자에게 제공한다. 예를 들어, 도 23y에 도시된 바와 같이, 사용자는 문자 "T"에 대한 수기 입력을 제공하지만, 그 수기 입력은 수락 기준들을 만족하지 않으며, 따라서, 디바이스는 더 큰 수기 입력을 제공하도록 사용자에게 명령하는 표시(2330)를 디스플레이한다.
키보드 준비 사용자 인터페이스를 제시하는 동안, 디바이스는 터치 감응형 표면을 통해, 트레이닝 문자들의 미리 정의된 세트에 대응되는 수기 입력들을 수신한다(2808)(도 23y 내지 도 23aa를 참조하여 위에 논의된 바와 같음). 예를 들어, 트레이닝 문자들의 미리 정의된 세트는 QWERTY 키보드 상에 디스플레이된 그들 문자들에 대응된다(2810).
수기 입력들을 수신한 후, 디바이스는 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하라는 요청에 대응되는 제2 입력을 검출한다(2812)(예컨대, 가상 키보드는 (도 23a에 도시된 바와 같은) QWERTY 키보드이거나, (도 23ac에 도시된 바와 같은) 수기 입력들에 대응되는 수기 문자들이 있는 맞춤화 키보드임). 복수의 키들 중 제1 키는 수신된 수기 입력들 중 제1 수기 입력과 연관된다. 일부 실시예들에서, 가상 키보드는 QWERTY 키보드이다(2814). 예를 들어, 도 23a에 도시된 QWERTY 키보드 상의 키들은 각각 사용자로부터의 각자의 수기 입력과 연관된다. 다른 예로서, 가상 키보드는 키들을 갖는 사용자 특정 키보드이고, 각각의 키는 (도 23ac에 도시된 것과 같은) 수신된 수기 입력들 중 하나 수기 입력의 표현을 포함한다.
제2 입력을 검출하는 것에 응답하여, 디바이스는 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이한다(2818). 예를 들어, 제2 입력은 (예컨대, 홈 스크린 페이지상의 아이콘을 클릭함으로써) 메시징 애플리케이션을 열라는 요청에 대응된다. 디바이스는 터치 감응형 표면을 통해, 제1 키의 선택을 수신한다(2818)(예컨대, 사용자가 도 23a의 QWERTY 키보드 또는 도 23ac의 사용자 특정 수기 키보드 상에 도시된 "p"키의 표현 위로 탭함. 제1 키의 선택을 수신하는 것에 응답하여, 디바이스는 메시지 입력 영역 내에서 제1 수기 입력의 표현을 출력한다(예컨대, 이전의 예에서 연장하여 설명하면, 사용자가 디스플레이된 키보드 상의 "p"키를 탭한 후, 디바이스는 도 23w 내지 도 23ab를 참조하여 전술한 수기 트레이닝 연습 중에 제공되는 것과 같은 "p"키에 대한 사용자 특정 수기 입력들을 디스플레이함).
일부 실시예들에서, 제1 수기 입력의 표현을 출력하는 것은 제1 수기 입력을 수신하는 동안 레코딩되었던 페이스로 제1 수기 입력을 렌더링하는 것을 포함한다(2820).
도 28a 및 도 28b의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(2800)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2800)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에서, 도 24a 내지 도 24c, 도 26a 및 도 26b, 그리고 도 28a 및 도 28b를 참조하여 전술한 방법들은 잉크가 표면에 적용되는 방식을 정확하게 시뮬레이션하기 위해 디스플레이 상에 잉크를 렌더링하기 위한 아래에서 설명되는 하나 이상의 기술들을 활용한다.
수기 GL 렌더러(Handwriting GL Renderer)
수기 렌더러는 웨트(wet) 및 드라이(dry)인 두 가지 기본 시스템들로 정의될 수 있다(아래 표 1에 도시된 바와 같음). 이 두 가지 독립적인 렌더링 파이프라인들은 스크린 상의 잉크의 발현의 수명주기를 제시한다. 일부 실시예들에서, 렌더링 파이프라인들은 모든 지원된 하드웨어(예컨대, 스마트 폰, 랩탑, 스마트 워치 등의 많은 상이한 구성들) 상에서 작동한다.
[표 1]
Figure 112023028445147-pat00043
일부 실시예들에서, 전술한 각각의 상태(예컨대, 표 1을 참조)는 프레임 버퍼를 표현하고 자신만의 셰이더(shader) 파이프라인을 포함한다. 웨트 인터미디어트(Wet Intermediate): 오프-스크린, glBlendFunc(GL_ONE, GL_ONE_MINUS_SRC_ALPHA)를 사용한 여러 중첩 도트(dot)들로 구성된 GL_POINTS를 사용하여 어레이들을 그림으로써, 다이내믹 서큘러라이제이션(Dynamic Circularization), 블리드 거동에 대한 시간 기반 입자 시뮬레이션(time-based particle simulation for Bleed Behavior)과 함께 연속적인 라인 색상의 발현을 생성함. 웨트 컴포지트(Wet Composite): 셀프(Self), 웨트 인터미디어트 및 페이퍼 텍스처를 수용함, 스페큘러 웨트니스에 대한 프래그먼트 기반 법선 결정(fragment based normals determination for Specular Wetness)이 누적적으로 0%로 페이딩하여 Dry Composite를 노출함. 드라이 인터미디어트(Dry Intermediate): 오프-스크린, 셀프 및 웨트 인터미디어트 수용, 세그먼트 레벨 멀티플라이 블렌딩(Segment Level Multiply Blending)에 대한 전처리. 드라이 컴포지트(Dry Composite): 드라이 인터미디어트 및 페이퍼 텍스처를 수용, 드라이 인터미디어트 결과들로부터 색을 적용함.
일부 실시예들에서, 스크린(예컨대, 디바이스(100)의 디스플레이(112))에 제시될 때, 웨트 컴포지트는 드라이 컴포지트 상부에서 알파 블렌딩(alpha blend)된다.
블리드 거동(Bleed Behavior)
잉크가 표면에 적용되는 방식을 정확하게 모방하는 블리드 거동을 렌더링하는 방정식의 예가 아래 표 2에 예시된다:
[표 2]
Figure 112023028445147-pat00044
일부 실시예들에서, 블리드 거동은 정규화된 수명 시간에 걸쳐 각각의 꼭지점의 포인트 크기를 변경하는 시간 기반 효과이다. 일부 실시예들에서, 크기는 사용자 압력(힘) 및 속도(속력으로 베이크 다운(bake down)됨)의 필터링(평활화) 및 정규화 값들에 의해 결정된다.
일부 실시예들에서, 주어진 점에 대해 시뮬레이션이 그것의 페이즈(phase)를 완료하면, 수용할 드라이 파이프라인(Dry Pipeline)을 위해 독점적으로 지정된 채널이 기입된다(예컨대, 드라이 파이프라인 내의 알파 오버 커버리지(alpha over-coverage)를 피하기 위해 이 채널은 점 당 한번만 기입되어야 함).
다이내믹 서큘러라이제이션 기법을 구현하는 데 사용된 방정식들의 예가 아래 표 3에 예시된다.
[표 3]
Figure 112023028445147-pat00045
일부 실시예들에서, 웨트 인터미디어트 패스(Wet Intermediate Pass)의 프래그먼트 페이즈 동안, 각각의 GL_POINT가 프로세싱된다. 포인트의 포인트 크기 및 프래그먼트 좌표에 기초하여, 우리는 포인트의 서큘러라이제이션이 일관된 에지 알파 폴오프(edge alpha falloff)를 유지하도록 보장할 수 있다. 이 일관성은 멀티-샘플 안티-에일리어싱(multi-sampled anti-aliasing, MSAA)을 거칠 필요 없이, 또한 라인 폭(line-weight)/포인트 크기에 상관없이 일관된 라인 에지 발현을 제공한다.
스페큘러 웨트니스 기술들을 도시하는 예시적인 행렬이 아래의 표 4에 도시된다.
[표 4]
Figure 112023028445147-pat00046
일부 실시예들에서, 웨트 인터미디어트 및 페이퍼 텍스쳐 색상에 대한 라플라스 컨볼루션 행렬(Laplacian Convolution Matrix for Wet Intermediate and Paper texture color)을 사용하여, 인접한 픽셀 휘도에 기초하여 2차원 벡터가 생성된다(표 4에 그 예가 도시됨). 이 벡터의 방향과 크기는 3차원 벡터(법선)를 계산하는 데 사용된다. 이 벡터는 범프 맵(bump map)처럼 사용되어 광의 3차원 위치에 기초하여 Phong 셰이딩된 웨트니스(Phong shaded wetness)의 발현을 생성한다.
세그먼트 분리를 사용한 멀티플라이 블랜드(Multiply Blend Using Segment Separation)
인터미디어트(Intermediate)
일부 실시예들에서, 중첩하는 라인 세그먼트들은 특정 수기 입력들과 함께 제공된다. 아래 표 5에 예가 도시된다:
[표 5]
Figure 112023028445147-pat00047
표 5에 도시된 예에서, 그림 5B를 NEW_SEGMENT, 그림 5C를 PREVIOUS_SEGMENT, 그리고 그림 5D를 DIFF로 지칭한다. 일부 실시예들에서, 드라이 인터미디어트가 웨트 인터미디어트로부터 수용하게끔 설계된 특정 채널에 새로운 데이터가 기입될 때, 그 데이터는 NEW_SEGMENT로 표시된다. 일부 실시예들에서, 위의 표 5에 도시된 방정식은 DIFF가 컬러 어테치먼트(color attachment)의 이전 상태에 매끄럽게 추가될 수 있도록 보장하기 위해 활용되며, 에지들을 따라 동일한 일관된 알파 커버리지를 제공한다(아래의 표 6에 예가 도시됨).
[표 6]
Figure 112023028445147-pat00048
일부 실시예들에서, DIFF는 인터미디어트 프레임 버퍼의 컬러 어테치먼트의 단일 채널에 추가 및 클램핑되어 ALPHA(5E)를 표현한다.
[표 7]
Figure 112023028445147-pat00049
일부 실시예들에서, 다음 방정식이 블리딩 기술들을 돕기 위해 사용된다: BLEND = DIFF * TARGET_MULTIPLIER + (1.0 - DIFF * TARGET_MULTIPLIER) * PREVIOUS_BLEND. 일부 실시예들에서, 표 7의 그림 5F의 녹색 성분이 DIFF이고 적색 성분이 PREVIOUS_BLEND이다. 일부 실시예들에서, DIFF는 스칼라(TARGET_MULTIPLIER)와 곱해지고 이전 상태의 이러한 곱의 역수에 가산된다. 결과는 멀티플라이 블렌드 상태를 표현하는 단일 채널에 기입된다. 이 과정에 내재하는 알파 오버 커버리지로 인해, 알파는 별개 채널에 보존된다.
컴포지트(Composite)
일부 실시예들에서, 스크린에 제시될 컴포지트 프레임 버퍼로의 패스를 렌더링하라는 요청이 이루어질 때, 인터미디어트 패스에서 그 작업이 수행되었으며, 특히 알파를 정확하게 보존하기 때문에 이 태스크는 종래의 블렌드 모드 동작들보다 훨씬 더 소소하다. 다른 방법들은 미리 곱해진 알파를 취하고 언-프리멀티플라이(un-premultiply)와 같은 방법들을 사용하여 알파를 추출하는 고가의 부정확한 작업을 수행한다.
RGB = mix(BASE_COLOR, BLACK, linearstep(TARGET_MULTIPLIER, 1.0, BLEND)).
A = ALPHA * PAPER_TEXTURE.
일부 실시예들에서, 그림 5F로부터의 결과는 BLEND이고, 그림 5E의 결과는 ALPHA이다. 일부 실시예들에서, 멀티플라이 블렌딩을 생성하는 이들 기술들은 잉크가 페이퍼에 어떻게 반응하는지를 보다 근접하게 시뮬레이션한다. 그것은 단일 스트로크 내의 (세그먼트 별로) 연속적으로, 그리고 컬러 어테치먼트 내의 다른 모든 픽셀들과 동시에 작용된다.
세그먼트 콜레이션을 사용한 멀티플라이 블렌드(Multiply Blend Using Segment Collation)
일부 실시예들에서, 세그먼트 분리 블렌딩의 방대함 및 복잡성으로 인해 라이브 그리기 설정의 경우 세그먼트 별로 패스를 하나씩 요구할 수 있는 반면, 라이브가 아닌 모든 그리기 데이터(예컨대, 실행취소, 썸네일, 최근실행(Recents))는 가능한 한 몇 회 정도 이내의 패스들로 렌더링하는 보다 최적화된 방법을 요구하는 경우가 몇몇 있다. 이러한 경우들에서, 세그먼트들 중 그들의 이전 세그먼트들과 중복되는 것으로만 알려진 것들을 가능한 많이 콜레이팅(collate)하는 것이 이상적이다.
패스 엔드포인트 결정을 위한 충돌 검출(Collision Detection to Determine Pass Endpoint)
[표 8]
Figure 112023028445147-pat00050
위의 표 8의 그림 6A는 최종 컴포지트의 예를 도시한다. 표 8의 그림 6B는 6A를 렌더링하는 데 필요한 일련의 패스들을 도시한다.
일부 실시예들에서, 모든 세그먼트를 알게 되면, 현재 패스 내의 모든 세그먼트들과의 2차원 벡터 교차점을 결정하기 위해 각각의 세그먼트에 걸쳐 고속 계산(fast-enumeration)이 사용된다(이것은 이전 라인들에서 탈착된 세그먼트들을 포함함. 이 시스템은 완전한 스트로크의 시작과 끝에 불가지론적(agnostic)임). 교차점이 결정되면 최근 세그먼트를 엔드포인트로서 플래깅함으로써 이 꼭지점들의 그룹이 단일 패스로서 표시된다. 일부 실시예들에서, 그림 6B의 제2 형상에서, 제2 형상이 제1 형상과 교차하는 것처럼 보이더라도, 이들 기술은 최근 교차점 이후 계산된 벡터들 내에서 교차점이 도달될 때까지 교차를 결정하지 않는다.
도 24a 내지 도 24c, 도 26a 및 도 26b, 그리고 도 28a 및 도 28b를 참조하여 전술한 방법들과 함께 사용된 기술들에 관한 추가적인 상세사항들 또한 2016년 6월 12일 출원된 미국 가출원 번호 제62/349,116호에 제공되고, 본 명세서에 참조로 통합된다. 따라서, 미국 가출원 번호 제62/349,116호에 제공된 상세사항들은 본 명세서에 제공된 상세사항들에 대한 보완물로서 작용하며, 도 24a 내지 도 24c, 도 26a 및 도 26b, 그리고 도 28a 및 도 28b를 참조하여 위에서 제공되는 상세사항들 중 임의의 것과 조합 및 상호교환될 수 있다.
일부 실시예들에 따르면, 도 29는 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(2900)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은 설명된 다양한 실시예들의 원리들을 수행하도록 옵션적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 29에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 29에 도시된 바와 같이, 전자 디바이스(2900)는 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(2902), 접촉들을 수신하도록 구성된 터치 감응형 표면 유닛(2904), 터치 감응형 표면 유닛(2904) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들(2906), 및 디스플레이 유닛(2902), 터치 감응형 표면 유닛(2904) 및 하나 이상의 센서 유닛들(2906)과 결합된 프로세싱 유닛(2908)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2908)은 입력 검출 유닛(2910), 디스플레이 유닛(2912), 선택 수신 유닛(2914), 수기 입력 표현 출력 유닛(2916) 및 수기 입력 수신 유닛(2918)을 포함한다.
프로세싱 유닛(2908)은 터치 감응형 표면을 통해, 제1 입력을 검출하고(예컨대, 입력 검출 유닛(2910)을 이용함); 제1 입력을 검출하는 것에 응답하여, 디스플레이 상에, 키보드 준비 사용자 인터페이스를 제시하고(예컨대, 디스플레이 유닛(2902)과 함께 디스플레이 유닛(2912)을 이용함); 키보드 준비 사용자 인터페이스를 제시하는 동안, 터치 감응형 표면을 통해, 미리 정의된 일련의 트레이닝 문자들에 대응되는 수기 입력들을 수신하고(예컨대, 수기 입력 수신 유닛(2918)을 이용함); 수기 입력을 수신한 후, 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하라는 요청에 대응되는 제2 입력을 검출하고(예컨대, 입력 검출 유닛(2910)을 이용함) - 복수의 키들 중 제1 키는 수신된 수기 입력들의 제1 수기 입력에 연관됨 -; 제2 입력을 검출하는 것에 응답하여, 메시지 입력 영역 및 복수의 키들을 갖는 가상 키보드를 포함하는 메시징 사용자 인터페이스를 디스플레이하고(예컨대, 디스플레이 유닛(2912)을 이용함); 터치 감응형 표면을 통해, 제1 키의 선택을 수신하고(예컨대, 선택 수신 유닛(2914)을 이용함); 제1 키의 선택을 수신하는 것에 응답하여, 메시지 입력 영역 내에서 제1 수기 입력의 표현을 출력하도록(예컨대, 수기 입력 표현 출력 유닛(2916)을 이용함) 구성된다.
일부 실시예들에서, 미리 정의된 트레이닝 문자들 세트는 쿼티(QWERTY) 키보드 상에 디스플레이된 문자들에 대응된다.
일부 실시예들에서, 가상 키보드는 QWERTY 키보드이다.
일부 실시예들에서, 가상 키보드는 키들을 갖는 사용자 특정 키보드이고, 각각의 키는 수신된 수기 입력들 중 하나의 표현을 포함한다.
일부 실시예들에서, 제1 수기 입력의 표현을 출력하는 것은 제1 수기 입력을 수신하는 동안 레코딩되었던 페이스로 제1 수기 입력을 렌더링하는 것을 포함한다.
일부 실시예들에서, 키보드 준비 사용자 인터페이스는: 제1 강조된 문자를 포함하는 트레이닝 문자들의 미리 정의된 세트를 디스플레이하는 제1 부분, 및 트레이닝 문자들의 미리 정의된 세트 중 하나 이상의 문자들을 디스플레이하는 제2 부분을 포함하고, 하나 이상의 문자들은 제2 강조된 문자를 포함한다.
일부 실시예들에서, 강조된 문자들은 수기 입력들이 수신될 때 변경된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 28a 및 도 28b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 29에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 일부 동작은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
메시지 트랜스크립트 내 콘텐츠의 선택적 스크런치(Selectively scrunch content in a message transcript)
도 30a 내지 도 30g는 일부 실시예들에 따른, 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 아래에서 설명되는 프로세스들을 예시하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이(450)와 별개인 터치 감응형 표면(451) 상의 입력들을 검출한다. 용이한 설명을 위해, 아래에서 설명되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 아래에 논의된 사용자 인터페이스들을 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 30a에 도시된 바와 같이, 일부 실시예들에서, 사용자들은 원하는 콘텐츠를 용이하게 위치찾기할 수 있도록 콘텐츠를 스크런치 다운함으로써 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기할 수 있다. 사용자는 도 30a에서 제스처(3002)를 제공하고, 이에 응답하여, 디바이스는 제1 콘텐츠 유형을 갖는 콘텐츠를 포함하는 메시지 구역들의 디스플레이 크기를 축소(즉, 스크런치/스퀴시 다운)한다(예컨대, 도 30b의 텍스트 전용 콘텐츠를 갖는 메시지 구역들의 크기가 메시지 구역(3003)에 대한 콘텐츠와 같이 축소됨). 일부 실시예들에서, 사용자가 제스처를 제공하는 것을 계속함에 따라(예컨대, 제스처(3004)는 제스처(3002)의 연속으로, 다만 일부 실시예들에서는 제스처(3004)가 제스처(3002)와 구별되는 제스처임), 메시지 구역들은 크기가 더 축소된다(예컨대, 도 30c의 메시지 구역(3003)은 크기가 더 축소됨).
사용자들은 제1 콘텐츠 유형 이외의 콘텐츠 유형들에 대한 디스플레이 크기를 축소하는 추가적인 제스처들을 직관적으로 제공(또는 단일 제스처를 제공하는 것을 계속)할 수 있다. 도 30d에 도시된 바와 같이, 제스처(3006)(도 30c)에 응답하여, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템(예컨대, 이모지들을 갖는 텍스트)들은 (메시지 구역(3001)과 같이) 축소된 디스플레이 크기로 디스플레이된다. 도 30e에 도시된 바와 같이, 제스처(3008)(도 30d)에 응답하여, 제3 콘텐츠 유형을 갖는 콘텐츠 아이템(예컨대, 텍스트 렌더링 효과들을 포함하는 텍스트)들은 (도 30e의 메시지 구역(3009)과 같이) 축소된 디스플레이 크기로 디스플레이된다. 도 30f에 도시된 바와 같이, 제스처(3010)에 응답하여, 제4 콘텐츠 유형을 갖는 콘텐츠 아이템(예컨대, 이미지들 및 맵 객체들과 같은 그래픽 콘텐츠)들은 (도 30f의 메시지 구역들(3005 및 3011)과 같이) 축소된 디스플레이 크기로 디스플레이된다.
일부 실시예들에서, 사용자들은 또한 디핀치 제스처(예컨대, 제스처(3012))에 응답하여 메시징 사용자 인터페이스의 부분들을 신속하게 확장할 수 있다. 제스처(3012)를 검출하는 것에 응답하여, 디바이스는 메시지 구역들이 각자의 디폴트 크기들로 복귀할 때까지 모든 콘텐츠 유형들에 대한 디스플레이 크기들을 증가시킨다(도 30f 및 도 30g). 이런 방식으로, 사용자들은 길고 혼란스러운 대화 트랜스크립트를 통해 목적없이 스크롤하지 않고도 원하는 콘텐츠를 용이하게 검색할 수 있다(대신 사용자들은 단순히 콘텐츠를 스크런치 다운하여 대화 트랜스크립트 내의 콘텐츠 아이템에 대한 상위-레벨 개요를 신속하게 볼 수 있고, 일단 원하는 정보가 위치찾기되면, 사용자들은 원하는 정보를 뷰잉하기 위한 콘텐츠 아이템 및 원하는 정보를 둘러싸는 메시지 구역들을 확장할 수 있음).
도 31a 및 도 31b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기하는 방법(3100)을 예시하는 흐름도들이다. 방법(3100)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(3100)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(3100)은 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 위치찾기하기 위한 직관적인 방법을 제공한다. 방법은 사용자들로 하여금 간단한 제스처를 사용하여 메시징 애플리케이션의 콘텐츠에 대한 디스플레이 크기를 신속하게 축소하는 것을 허용하도록 하여 사용자들이 원하는 콘텐츠를 신속하게 찾을 수 있도록 함으로써 보다 효율적인 인간-기계 인터페이스를 생성한다(예컨대, 사용자들은 오래 전에 수신되었을 수 있는 이모지들, 사진들, 비디오들 또는 콘텐츠의 다른 유형들을 신속하게 위치찾기하기 위해 모든 텍스트 전용 콘텐츠를 스케일 다운할 수 있음). 배터리-작동형 디바이스의 경우, 방법은 (예컨대, 사용자들이 비효율적이고 배터리를 방전시키는 기술들을 채용하도록 강제하는 대신 원하는 콘텐츠를 신속하게 찾는 것을 허용함으로써) 전력을 절약하고 배터리 충전 간격을 증가시키는 데 도움이 된다. 또한, 사용자로 하여금 원하는 콘텐츠를 신속하게 위치찾기하는 것을 허용하는 것은 사용자들로 하여금 잠재적으로 크고 검색하기 어려운 대화 트랜스크립트 내에서 원하는 콘텐츠를 용이하게 위치찾기하는 것을 허용함으로써 디바이스들의 조작성을 향상시키고 (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스들을 보다 효율적으로 만든다. 사용자는 대화 트랜스크립트 내의 콘텐츠의 수많은 페이지들에 걸쳐 스크롤 할 필요가 없으며 간단하게 직관적인 제스처들을 제공하여 원하는 콘텐츠를 용이하게 위치찾기할 수 있도록 용이하게 스케일 다운할 수 있다.
디바이스는 디스플레이 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이한다(3102). 일부 실시예들에서, 메시징 사용자 인터페이스는 도 30a에 도시된 바와 같이, 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함한다. 예를 들어, 제1 콘텐츠 유형의 각각의 콘텐츠 아이템은 텍스트 기반이며, 임의의 이모지들이나 다른 텍스트 렌더링 효과들을 포함하지 않는다(예컨대, 콘텐츠 아이템에 대한 제스처에 응답하여 텍스트가 나타나거나 사라지게 만드는 것과 같음. 본 명세서에서 투명 잉크 효과 또는 비공개 메시지로 또한 지칭됨). 일부 실시예들에서, 제1 콘텐츠 유형은 메시징 사용자 인터페이스를 통해 전송 및 수신되는 텍스트 전용 메시지들을 포함한다. 일부 실시예들에서, 콘텐츠 아이템은 메시징 사용자 인터페이스 내에 디스플레이된 단일 사용자 인터페이스 요소(예컨대, 단일 메시지 구역 또는 버블)에 포함된 콘텐츠에 대응된다. 메시지 구역(3003)은 제1 콘텐츠 유형의 콘텐츠를 포함하는 콘텐츠 아이템의 도 30a에 도시된 일례이다.
일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함한다. 예를 들어, 제2 콘텐츠 유형은 카메라 이미지들, 스크린 샷들, 맵 객체들, 텍스트 렌더링 효과를 갖는 객체들 등과 같이 메시지 사용자 인터페이스를 통해 전송 및 수신되는 이모지들 또는 그래픽 콘텐츠와 같은 텍스트 전용 콘텐츠 이외의 콘텐츠를 포함하는 메시지들에 대응된다. 일부 실시예들에서, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들은 텍스트 및 이모지들을 포함하는 메시지 구역(예컨대, 도 30a의 메시지 구역(3001))을 포함한다. 이하에서 보다 상세히 설명되는 바와 같이, 메시징 사용자 인터페이스는 제3 콘텐츠 유형(예컨대, 도 30c의 메시지 구역(3009)에 포함된 콘텐츠) 및 제4 콘텐츠 유형(예컨대, 도 30a 및 도 30d의 메시지 구역(3005)에 포함된 콘텐츠 및 이미지(3011))을 갖는 콘텐츠 아이템들을 포함할 수 있다.
일부 실시예들에서, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 일부 실시예들에서, 각각의 콘텐츠 아이템은 각자의 디폴트 디스플레이 크기로 디스플레이된다. 일부 실시예들에서, 상이한 디폴트 크기가 콘텐츠 유형들과 연관된다(예컨대, 사진들 및 기타 그래픽 콘텐츠는 텍스트 전용 콘텐츠 아이템들과 상이한 디폴트 디스플레이 크기를 가짐).
메시징 사용자 인터페이스를 디스플레이하는 동안(또한, 일부 실시예들에서, 포커스 선택자가 메시징 사용자 인터페이스 위에 있는 동안), 디바이스는 터치 감응형 표면을 통해 제1 입력을 검출한다(3104). 일부 실시예들에서, 제1 입력(예컨대, 도 30a에 도시된 제스처(3002)와 같은 핀치 제스처의 제1 부분)은 복수의 콘텐츠 아이템들의 콘텐츠 아이템들 중 적어도 일부분에 대한 디스플레이 크기(또는 확대 레벨)를 축소하라는 제1 요청에 대응된다. 일부 실시예들에서, 일부 텍스트 전용 콘텐츠가 메시징 사용자 인터페이스(예컨대, 도 30a에 도시된 바와 같이, 메시지 구역(3003)을 포함하는 텍스트 전용 콘텐츠를 포함하는 메시지 구역들) 내에 디스플레이되는 동안 제1 요청이 수신된다.
제1 입력을 검출하는 것에 응답하여, 디바이스는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템을 각자의 제1 크기로 디스플레이하는 것을 계속하는 동안 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한다(3106). 일부 실시예들에서, 디스플레이 크기를 축소하는 것은 제1 콘텐츠 유형을 갖는 모든 콘텐츠 아이템들에 대한 디스플레이 크기를 축소하는 것을 포함한다. 일부 실시예들에서, 디스플레이 크기를 축소하는 것은 디스플레이 상에서 현재 가시적인, 제1 콘텐츠 유형을 갖는 이러한 콘텐츠 아이템들에 대해서만 디스플레이 크기를 축소하는 것을 포함한다(예컨대, 제1 콘텐츠 유형의 아이템들이 디스플레이 상의 메시징 사용자 인터페이스 내의 가시적인 메시징 세션의 일부분 내에서 현재 가시적이지 않은 동안, 그들은 축소된 디스플레이 크기를 가질 수도 그렇지 않을 수도 있음). 도 30b에 도시된 바와 같이, 제스처(3002)에 응답하여, 디바이스는 메시지 구역(3003)(및 텍스트 전용 콘텐츠를 포함하는 다른 메시지 구역들에 대해서) 디스플레이의 크기를 축소한다.
이러한 방식으로, 사용자들은 제1 유형 이외의 유형을 갖는 다른 콘텐츠를 신속하게 검색하기 위해 메시징 사용자 인터페이스 내에서 제1 유형의 콘텐츠(예컨대, 텍스트 전용 콘텐츠)를 용이하게 스크런치 또는 스퀴시 다운할 수 있다. 예를 들어, 사용자는 텍스트 전용 콘텐츠의 수많은 페이지들을 걸쳐 스크롤하지 않아도 원하는 사진 또는 비디오를 신속하게 검색할 수 있으므로 원하는 (비-텍스트) 콘텐츠를 신속하고 효율적이며 직관적으로 찾을 수 있다. 추가적으로, 일부 실시예들에서, 콘텐츠가 스퀴시 다운된 후에, 대화 트랜스크립트 내에 디스플레이된 타임 스탬프들이 용이하게 가시적이므로, 사용자들은 긴 대화 트랜스크립트를 걸쳐 신속하게 검색하여 관련된 시간 기간을 찾을 수 있다. 다른 실시예들에서, 임의의 다른 사용자 인터페이스가 전술한 특징들을 채용할 수 있다. 예를 들어, 임의의 사용자 인터페이스는 웹 브라우저 사용자 인터페이스(이미지, 텍스트, 비디오 등을 포함함), 전자 북 사용자 인터페이스(텍스트, 텍스트와 연관된 이미지, 등) 및 기타와 같은, 다양한 콘텐츠 유형들의 콘텐츠를 포함한다.
일부 실시예들에서, 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하는 것과 함께, 디바이스는 햅틱 피드백을 제공한다(3108). 일부 실시예들에서, 햅틱 피드백은 콘텐츠 아이템들 중 어느 하나에 대한 디스플레이 크기가 축소될 때마다 (제스처가 수신되었거나 제스처/입력이 "정당(legal)"했다는 것 중 어느 하나를 표시하기 위해) 제공된다 (예를 들어, 임의의 유형 메시징 버블이 스크런치 다운되면, 디바이스는 햅틱 피드백을 제공함).
일부 실시예들에서, 디스플레이 크기를 축소하는 것은 제1 입력의 특성(주행 거리, 핀치 제스처의 손가락 사이의 공간, 접촉의 특성 세기)이 제1 콘텐츠 유형과 연관된 제1 디스플레이-크기-축소 기준들을 만족한다는 결정에 따라, 디스플레이 크기를 축소하는 것을 포함한다(3110).
일부 실시예들에서, 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 디바이스는 터치 감응형 표면을 통해, 메시징 사용자인터페이스를 스크롤하라는 요청에 대응되는 제2 입력을 검출한다(3112). 제2 입력을 검출하는 것에 응답하여, 디바이스는: 축소된 디스플레이 크기를 갖는 제1 콘텐츠 유형을 갖는 콘텐츠 아이템, 및 그들 각자의 제1 크기를 갖는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부를 디스플레이하는 것을 계속하는 동안, 메시징 사용자 인터페이스를 스크롤한다. 이러한 방식으로, 사용자들은 (원하는 콘텐츠 아이템을 보다 용이하게 위치찾기하는 것을 보조할 수 있도록) 일부 콘텐츠 아이템들을 축소된 디스플레이 크기로 유지하는 동안 원하는 콘텐츠를 스크롤하고 검색할 수 있다.
일부 실시예들에서, 사용자는 메시징 사용자 인터페이스 내에서 콘텐츠에 대한 디스플레이 크기를 스크런치 다운하기 위해 일련의 제스처들 또는 하나의 연속 제스처를 제공할 수 있다. 예를 들어, 제스처(3004)에 응답하여, 디바이스는 제1 콘텐츠 유형을 갖는 콘텐츠에 대해 디스플레이 크기를 축소하는 것을 계속한다(예컨대, 메시지 구역(3003)이 도 30b의 크기와 비교하여 크기가 더 축소됨).
일부 실시예들에서, 디바이스는 제3 입력(예컨대, 도 30c에 도시된 제스처(3006)와 같은 핀치 제스처 또는 그 일부분)을 검출한다(3114). 제3 입력을 검출하는 것에 응답하여, 디바이스는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들의 디스플레이 크기를 축소한다. 예를 들어, 도 30d에 도시된 바와 같이, 도 30c에 도시된 제스처(3006)에 응답하여, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들에 대한 디스플레이 크기가 축소된다(예컨대, 메시지 구역(3001)은 제스처(3008)에 따라 이제 축소된 디스플레이 크기로 디스플레이됨).
일부 실시예들에서, 메시징 사용자 인터페이스는 제3 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함한다(예컨대, 메시지 구역(3009)에 포함된 콘텐츠는 텍스트 렌더링 효과와 연관되는 텍스트를 포함함). 디바이스는 제1 및 제2 콘텐츠 유형들을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 제4 입력(예컨대, 도 30d에 도시된 제스처(3008)와 같은 핀치 제스처 또는 그 일부분)을 검출한다(3116). 제4 입력을 검출하는 것에 응답하여, 디바이스는 제3 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한다. (예컨대, 도 30e에 도시된 바와 같이, 메시지 구역(3009)에 대한 디스플레이 크기가 축소됨).
일부 실시예들에서, 메시징 사용자 인터페이스는 제4 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함한다(예컨대, 이미지들, 맵들 객체들 및 다른 유형들의 그래픽 콘텐츠와 같은 그래픽 콘텐츠를 포함하는 메시지 구역들). 제1, 제2, 및 제3 콘텐츠 유형들을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 디바이스는 제5 입력(예컨대, 도 30e에 도시된 제스처(3010)와 같은 핀치 제스처 또는 그 일부분)을 검출한다. 제5 입력을 검출하는 것에 응답하여, 디바이스는 제4 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한다(예컨대, 도 30f에 도시된 바와 같이, 디바이스는 메시지 구역(3011)(이미지) 및 메시지 구역(3005)(맵 객체)에 포함된 콘텐츠에 대한 디스플레이 사이즈를 축소함).
일부 실시예들에서, 제1, 제2, 제3, 및 제4 콘텐츠 유형들 각각을 갖는 적어도 일부 콘텐츠 아이템들에 대한 디스플레이 크기들을 축소하는 것은 콘텐츠 유형들 각각에 할당된 계층적 순서(예컨대, 미리 정의된 중요도의 순서)에 기초하여 수행된다. 다시 말해, 일부 실시예들은 입력들(예컨대, 핀치 제스처들 또는 단일 핀치 제스처의 부분들)에 응답하여 순차적으로 스크런치 다운되는 적어도 네 개의 상이한 콘텐츠 유형들을 포함한다. 예를 들어, 단지 텍스트만 갖는 메시징 버블들이 처음 스크런치 다운되고, 이어서 이모지가 포함된 메시징 버블들이 스크런치 다운되고, 텍스트 렌더링 효과와 연관된 메시징 버블들(예컨대, 비공개 메시지들)이 이어지고, 이어서, 대화 트랜스크립트에 포함된 사진들이 스크런치 다운된다(일부 실시예들에서, 사진들은 메시징 버블들에 포함되지 않음).
일부 실시예들에서, 디바이스는 새로운 입력(예컨대, 도 30f의 제스처(3012)와 같은 하나 이상의 디핀치 제스처들)을 수신한다. 새로운 입력을 수신하는 것에 응답하여, 디바이스는 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 각자의 제1 크기로 복귀시키고(도 30g에 도시된 바와 같이, 제1(3003), 제2(3001) 및 제4(3005) 콘텐츠 유형들을 갖는 콘텐츠 아이템들을 포함하는 메시지 구역들에 대한 디스플레이 크기들은 모두 각자의 제1/디폴트 크기들로 복귀함). 일부 실시예들에서, 새로운 입력은 그들의 각자의 제1 크기들로 다시 스크런치 다운된 임의의 콘텐츠 아이템들에 대한 디스플레이 크기들을 복귀시키기 위해 활용될 수 있다(예컨대, 도 30-f 및 도 30g에 도시된 바와 같이, 다수의 콘텐츠 유형들을 갖는 콘텐츠 아이템들에 대한 디스플레이 크기들을 신속하게 증가시키기 위해 디핀치 제스처(3012)가 사용됨). 일부 실시예들에서, 사용자는 디핀치 제스처(3012)를 점차적으로 수행할 수 있고, 각각 각자의 콘텐츠 유형을 갖는 각각의 콘텐츠 아이템은 적절한 시간에 그들 각자의 제1 크기로 다시 복귀할 것이다.
일부 실시예들에서, 방법(3100)(또는 아래의 방법(3300)) 동안의 임의의 시점에서, 새로운 메시지가 수신되면 (그리고 이어서 메시징 사용자 인터페이스 내의 새로운 메시지 구역 내에 디스플레이되면), 디바이스는 메시지 버블을 (스크런치 다운되고 있는 것으로 그것을 디스플레이하는 대신) 그 각자의 제1 크기로 디스플레이한다. 이러한 방식으로, 사용자들은 여전히 새 메시지들을 뷰잉할 수 있다.
도 31a 및 도 31b에서의 동작들이 설명된 특정 순서는 단지 일례이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법(3100)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(3100)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 32는 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(3200)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은 설명된 다양한 실시예들의 원리들을 수행하도록 옵션적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 32에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 32에 도시된 바와 같이, 전자 디바이스(3200)는 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(3202), 접촉들을 수신하도록 구성된 터치 감응형 표면 유닛(3204), 터치 감응형 표면 유닛(3204) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들(3206), 및 디스플레이 유닛(3202), 터치 감응형 표면 유닛(3204) 및 하나 이상의 센서 유닛들(3206)과 결합된 프로세싱 유닛(3208)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(3208)은 디스플레이 유닛(3210), 입력 검출 유닛(3212), 디스플레이 크기 축소 유닛(3214), 햅틱 피드백 제공 유닛(3216) 및 디스플레이 크기 복귀 유닛(3218)을 포함한다.
프로세싱 유닛(3208)은 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이(예컨대, 디스플레이 유닛(3202)) 상에 디스플레이하도록(예컨대, 디스플레이 유닛(3210)을 이용함) 구성된다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하며, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛은: 터치 감응형 표면을 통해, 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 그들 각자의 제1 크기로 디스플레이하는 것을 계속하는 동안 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 터치 감응형 표면을 통해, 메시징 사용자 인터페이스를 스크롤하라는 요청에 대응되는 제2 입력을 검출하고(예컨대, 입력 검출 유닛(3212)을 이용함); 제2 입력을 검출하는 것에 응답하여, 축소된 디스플레이 크기를 갖는 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 및 그들의 각자의 제1 크기를 갖는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부를 디스플레이하는 것을 계속하는 동안(예컨대, 디스플레이 유닛(3210)을 이용함), 메시징 사용자 인터페이스를 스크롤하도록 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하는 것과 함께, 햅틱 피드백을 제공하도록(예컨대, 햅틱 피드백 제공 유닛(3216)을 이용함) 더 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 프로세싱 유닛은: 새로운 입력을 수신하고; 새로운 입력을 수신하는 것에 응답하여, 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 다시 각자의 제1 크기로 복귀시키도록(예컨대, 디스플레이 크기 복귀 유닛(3218)을 이용함) 더 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 디스플레이 크기를 축소하는 것은 제1 입력의 특성이 제1 콘텐츠 유형과 연관된 제1 디스플레이-크기-축소 기준들을 만족한다는 결정에 따라, 디스플레이 크기를 축소하는 것(예컨대, 디스플레이 크기 축소 유닛(3214)을 이용함)을 포함한다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제3 입력을 검출하고(예컨대, 입력 검출 유닛(3212)을 이용함), 제3 입력을 검출하는 것에 응답하여, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들의 디스플레이 크기를 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3214)을 이용함) 더 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 메시징 사용자 인터페이스는 제3 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 프로세싱 유닛은: 제1 및 제2 콘텐츠 유형들을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 제4 입력을 검출하고(예컨대, 입력 검출 유닛(3212)을 이용함), 제4 입력을 검출하는 것에 응답하여, 제3 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3214)을 이용함) 더 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따르면, 메시징 사용자 인터페이스는 제4 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 프로세싱 유닛은: 제1, 제2, 및 제3 콘텐츠 유형들을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 제5 입력을 검출하고(예컨대, 입력 검출 유닛(3212)을 이용함); 제5 입력을 검출하는 것에 응답하여, 제4 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3214)을 이용함) 더 구성된다.
전자 디바이스(3200)의 일부 실시예들에 따라, 제1, 제2, 제3, 및 제4 콘텐츠 유형들 각각을 갖는 적어도 일부 콘텐츠 아이템들에 대한 디스플레이 크기를 축소하는 것은 콘텐츠 유형들 각각에 할당된 계층적 순서에 기초하여 수행된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 31a 및 도 31b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 32에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 일부 동작은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 33a 및 도 33b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 신속하게 위치찾기하는 방법(3300)을 예시하는 흐름도들이다. 방법(3300)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(3300)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(3300)은 메시징 애플리케이션 내의 상이한 유형들의 콘텐츠를 위치찾기하기 위한 직관적인 방법을 제공한다. 방법은 사용자들로 하여금 간단한 제스처를 사용하여 메시징 애플리케이션의 콘텐츠에 대한 디스플레이 크기를 신속하게 축소하는 것을 허용하도록 하여 사용자들이 원하는 콘텐츠를 신속하게 찾을 수 있도록 함으로써 보다 효율적인 인간-기계 인터페이스를 생성한다(예컨대, 사용자들은 오래 전에 수신되었을 수 있는 이모지들, 사진들, 비디오들 또는 콘텐츠의 다른 유형들을 신속하게 위치찾기하기 위해 모든 텍스트 전용 콘텐츠를 스케일 다운할 수 있음). 배터리-작동형 디바이스의 경우, 방법은 (예컨대, 사용자들이 비효율적이고 배터리를 방전시키는 기술들을 채용하도록 강제하는 대신 원하는 콘텐츠를 신속하게 찾는 것을 허용함으로써) 전력을 절약하고 배터리 충전 간격을 증가시키는 데 도움이 된다. 또한, 사용자로 하여금 원하는 콘텐츠를 신속하게 위치찾기하는 것을 허용하는 것은 사용자들로 하여금 잠재적으로 크고 검색하기 어려운 대화 트랜스크립트 내에서 원하는 콘텐츠를 용이하게 위치찾기하는 것을 허용함으로써 디바이스들의 조작성을 향상시키고 (예컨대, 메시징 애플리케이션 내의) 사용자 디바이스 인터페이스들을 보다 효율적으로 만든다. 사용자는 대화 트랜스크립트 내의 수많은 페이지들에 걸쳐 스크롤할 필요가 없으며 간단하게 직관적인 제스처들을 제공하여 원하는 콘텐츠를 용이하게 위치찾기할 수 있도록 콘텐츠를 용이하게 스케일 다운할 수 있다.
디바이스는 디스플레이 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이한다(3302). 일부 실시예들에서, 메시징 사용자 인터페이스는 도 30a에 도시된 바와 같이, 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트를 포함한다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함한다. 예를 들어, 제1 콘텐츠 유형의 각각의 콘텐츠 아이템은 텍스트 기반이며, 임의의 이모지들이나 다른 텍스트 렌더링 효과들을 포함하지 않는다(예컨대, 콘텐츠 아이템에 대한 제스처에 응답하여 텍스트가 나타나거나 사라지게 만드는 것과 같음. 본 명세서에서 투명 잉크 효과 또는 비공개 메시지로 또한 지칭됨). 일부 실시예들에서, 제1 콘텐츠 유형은 메시징 사용자 인터페이스를 통해 전송 및 수신되는 텍스트 전용 메시지들을 포함한다. 일부 실시예들에서, 콘텐츠 아이템은 메시징 사용자 인터페이스 내에 디스플레이된 단일 UI 요소(예컨대, 단일 메시지 구역 또는 버블)에 포함된 콘텐츠에 대응된다. 메시지 구역(3003)은 제1 콘텐츠 유형의 콘텐츠를 포함하는 콘텐츠 아이템의 도 30a에 도시된 일례이다.
일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함한다. 예를 들어, 제2 콘텐츠 유형은 카메라 이미지들, 스크린 샷들, 맵 객체들, 텍스트 렌더링 효과를 갖는 객체들 등과 같이 메시지 사용자 인터페이스를 통해 전송 및 수신되는 이모지들 또는 그래픽 콘텐츠와 같은 텍스트 전용 콘텐츠 이외의 콘텐츠를 포함하는 메시지들에 대응된다. 일부 실시예들에서, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들은 텍스트 및 이모지들을 포함하는 메시지 구역(예컨대, 도 30a의 메시지 구역(3001))을 포함한다. 이하에서 보다 상세히 설명되는 바와 같이, 메시징 사용자 인터페이스는 제3 콘텐츠 유형(예컨대, 도 30c의 메시지 구역(3009)에 포함된 콘텐츠) 및 제4 콘텐츠 유형(예컨대, 도 30a 및 도 30d의 메시지 구역(3005)에 포함된 콘텐츠 및 이미지(3011))을 갖는 콘텐츠 아이템들을 포함할 수 있다.
일부 실시예들에서, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 일부 실시예들에서, 각각의 콘텐츠 아이템은 각자의 디폴트 디스플레이 크기로 디스플레이된다. 일부 실시예들에서, 상이한 디폴트 크기가 콘텐츠 유형들과 연관된다(예컨대, 사진들 및 기타 그래픽 콘텐츠는 텍스트 전용 콘텐츠 아이템들과 상이한 디폴트 디스플레이 크기를 가짐).
메시징 사용자 인터페이스를 디스플레이하는 동안(또한, 일부 실시예들에서, 포커스 선택자가 메시징 사용자 인터페이스 상에 있는 동안), 디바이스는 터치 감응형 표면을 통해 제1 입력을 검출한다(3304). 일부 실시예들에서, 제1 입력(예컨대, 도 30a에 도시된 제스처(3002)와 같은 핀치 제스처의 제1 부분)은 복수의 콘텐츠 아이템들의 콘텐츠 아이템들 중 적어도 일부분에 대한 디스플레이 크기(또는 확대 레벨)를 축소하라는 제1 요청에 대응된다. 일부 실시예들에서, 일부 텍스트 전용 콘텐츠가 메시징 사용자 인터페이스(예컨대, 도 30a에 도시된 바와 같이, 메시지 구역(3003)을 포함하는 텍스트 전용 콘텐츠를 포함하는 메시지 구역들) 내에 디스플레이되는 동안 제1 요청이 수신된다.
제1 입력을 검출하는 것에 응답하여, 디바이스는 제1 콘텐츠 유형을 갖는 제1 콘텐츠 아이템이 미리 정의된 제1 디스플레이-크기-축소 비율만큼 각자의 제1 크기보다 작은 각자의 제2 크기로 축소되도록 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한다(3306) (예컨대, 메시지 구역(3003)에 포함된 콘텐츠는 도 30a의 제1 크기로부터 이어서 도 b의 제2 크기로 축소됨). 제1 입력을 검출하는 것에 응답하여, 디바이스는 또한 제2 콘텐츠 유형을 갖는 제2 콘텐츠 아이템이 미리 정의된 제2 디스플레이-크기-축소 비율만큼 각자의 제1 크기보다 작은 각자의 제3 크기로 축소되도록 제2 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한다(3306) (예컨대, 메시지 구역(3001)에 포함된 콘텐츠는 도 30c의 제1 크기로부터 도 30d의 제2 크기로 축소됨) 일부 실시예들에서, 메시지 구역(3001)에 대한 크기 축소는 제스처(3002 및/또는 3004)에 응답하여 수행된다. 일부 실시예들에서, 미리 정의된 제2 디스플레이-크기-축소 비율은 미리 정의된 제1 디스플레이-크기-축소 비율보다 작다. 달리 말하면, 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들은 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들에 비해 더 작은 디스플레이 크기로 축소된다 (제1 콘텐츠 유형을 갖는 콘텐츠 아이템들은 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들보다 더 스크러치 다운됨). 일부 실시예들에서, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들은, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들이 추가적인 입력들(예컨대, 추가적인 핀치 제스처들)을 제공함으로써 더 축소될 수 있다는 시각적 큐를 사용자에게 제공하기 위해 크기가 단지 약간 축소된다. 예를 들어, 도 30d에 도시된 바와 같이, 텍스트에 추가하여 콘텐츠를 포함하는 메시지 구역들(예컨대, 도 30d의 메시지 구역(3001))보다 텍스트 전용 콘텐츠를 포함하는 메시지 구역들(예컨대, 도 30d의 메시지 구역(3003))이 더 스크런치 다운된다.
동작들(3308 및 3310)은 도 31a를 참조하여 전술한 동작들(3108 및 3110)에 각각 대응된다. 이와 같이, 동작들(3108 및 3110)을 참조한 위의 설명들은 또한 동작들(3308 및 3310)에도 적용 가능하다.
일부 실시예들에서, 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부의 콘텐츠 아이템들 및 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 디바이스는 터치 감응형 표면을 통해, 메시징 사용자 인터페이스를 스크롤하라는 요청에 대응되는 제2 입력을 검출한다(3312). 제2 입력을 검출하는 것에 응답하여, 디바이스는 각자의 제2 크기의 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 및 각자의 제3 크기의 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들의 디스플레이된 크기들을 유지하는 동안, 메시징 사용자 인터페이스를 스크롤한다.
일부 실시예들에서, 디바이스는 제3 입력을 검출하고(3314), 이에 응답하여, 디바이스는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들의 디스플레이 크기를 더 축소한다(예컨대, 도 30e에 도시된 바와 같이, 디바이스는 제스처(3008)와 같이, 핀치 제스처의 연속 또는 새로운 핀치 제스처에 응답하여 메시지 구역(3001) 및 그 내부에 포함된 내용을 더 축소함).
동작들(3316, 3318, 3320, 및 3322)은 각각 도 31a를 참조하여 전술한 동작들(3116, 3118, 3120 및 3122)에 대응된다. 이와 같이, 동작들(3116, 3118, 3120 및 3122)을 참조한 위의 설명들은 또한 동작들(3316, 3318, 3320 및 3322)에 적용 가능하다.
도 33a 및 도 33b에서의 동작들이 설명된 특정 순서는 단지 일례이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(3300)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(3300)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 34는 설명된 다양한 실시예들의 원리에 따라 구성된 전자 디바이스(3400)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은 설명된 다양한 실시예들의 원리들을 수행하도록 옵션적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 34에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 34에 도시된 바와 같이, 전자 디바이스(3400)는 사용자 인터페이스를 표시하도록 구성된 디스플레이 유닛(3402), 접촉들을 수신하도록 구성된 터치 감응형 표면 유닛(3404), 터치 감응형 표면 유닛(3404) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서 유닛들(3406), 및 디스플레이 유닛(3402), 터치 감응형 표면 유닛(3404) 및 하나 이상의 센서 유닛들(3406)과 결합된 프로세싱 유닛(3408)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(3408)은 디스플레이 유닛(3410), 입력 검출 유닛(3412), 디스플레이 크기 축소 유닛(3414), 햅틱 피드백 제공 유닛(3416) 및 디스플레이 크기 복귀 유닛(3418)을 포함한다.
프로세싱 유닛(3408)은 디스플레이(예컨대, 디스플레이 유닛(3402)) 상에, 복수의 콘텐츠 아이템들을 포함하는 메시징 사용자 인터페이스를 디스플레이하도록(예컨대, 디스플레이 유닛(3410)을 이용함) 구성된다. 일부 실시예들에서, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하며, 복수의 콘텐츠 아이템들은 제1 콘텐츠 유형과 구별되는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 복수의 콘텐츠 아이템들 중 각자의 콘텐츠 아이템은 각자의 제1 크기로 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 터치 감응형 표면을 통해, 제1 입력을 검출하고(예컨대, 입력 검출 유닛(3412)을 이용함), 제1 입력을 검출하는 것에 응답하여, 제1 콘텐츠 유형을 갖는 제1 콘텐츠 아이템이 미리 정의된 제1 디스플레이-크기-축소 비율만큼 각자의 제1 크기보다 작은 각자의 제2 크기로 축소되도록 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하고(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함), 제2 콘텐츠 유형을 갖는 제2 콘텐츠 아이템이 미리 정의된 제2 디스플레이-크기-축소 비율만큼 각자의 제1 크기보다 작은 각자의 제3 크기로 축소되도록 제2 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함). 일부 실시예들에서, 미리 정의된 제2 디스플레이-크기-축소 비율은 미리 정의된 제1 디스플레이-크기-축소 비율보다 작다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 터치 감응형 표면을 통해 메시징 사용자 인터페이스를 스크롤하라는 요청에 대응되는 제2 입력을 검출하고(예컨대, 입력 검출 유닛(3412)을 이용함); 제2 입력을 검출하는 것에 응답하여, 축소된 디스플레이 크기를 갖는 제1 콘텐츠 유형을 갖는 콘텐츠 아이템들 및 그들의 각자의 제1 크기를 갖는 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부를 디스플레이하는 것을 계속하는동안(예컨대, 디스플레이 유닛(3410)을 이용함), 메시징 사용자 인터페이스를 스크롤하도록 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제3 입력을 검출하고(예컨대, 입력 검출 유닛(3412)을 이용함), 제3 입력을 검출하는 것에 응답하여, 제2 콘텐츠 유형을 갖는 각각의 콘텐츠 아이템의 디스플레이 크기를 더 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함) 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하는 것과 함께, 햅틱 피드백을 제공하도록(예컨대, 햅틱 피드백 제공 유닛(3416)을 이용함) 더 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 프로세싱 유닛은: 새로운 입력을 수신하고; 새로운 입력을 수신하는 것에 응답하여, 제1 콘텐츠 유형을 갖는 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 다시 각자의 제1 크기로 복귀시키도록(예컨대, 디스플레이 크기 복귀 유닛(3418)을 이용함) 더 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 디스플레이 크기를 축소하는 것은 제1 입력의 특성이 제1 콘텐츠 유형과 연관된 제1 디스플레이-크기-축소 기준들을 만족한다는 결정에 따라, 디스플레이 크기를 축소하는 것(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함)을 포함한다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 프로세싱 유닛은: 제3 입력을 검출하고(예컨대, 입력 검출 유닛(3412)을 이용함), 제3 입력을 검출하는 것에 응답하여, 제2 콘텐츠 유형을 갖는 콘텐츠 아이템들의 디스플레이 크기를 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함) 더 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 메시징 사용자 인터페이스는 제3 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 프로세싱 유닛은: 제1 및 제2 콘텐츠 유형들을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 제4 입력을 검출하고(예컨대, 입력 검출 유닛(3412)을 이용함), 제4 입력을 검출하는 것에 응답하여, 제3 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함) 더 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따르면, 메시징 사용자 인터페이스는 제4 콘텐츠 유형을 갖는 콘텐츠 아이템들을 포함하고, 프로세싱 유닛은: 제1, 제2, 및 제3 콘텐츠 유형들을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소한 후, 제5 입력을 검출하고(예컨대, 입력 검출 유닛(3412)을 이용함); 제5 입력을 검출하는 것에 응답하여, 제4 콘텐츠 유형을 갖는 콘텐츠 아이템들 중 적어도 일부 콘텐츠 아이템들의 디스플레이 크기를 축소하도록(예컨대, 디스플레이 크기 축소 유닛(3414)을 이용함) 더 구성된다.
전자 디바이스(3400)의 일부 실시예들에 따라, 제1, 제2, 제3, 및 제4 콘텐츠 유형들 각각을 갖는 적어도 일부 콘텐츠 아이템들에 대한 디스플레이 크기를 축소하는 것은 콘텐츠 유형들 각각에 할당된 계층적 순서에 기초하여 수행된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 33a 및 도 33b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 34에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 일부 동작은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
통합 메시징(Integrated messaging)
도 35a 내지 도 35ap는 일부 실시예들에 따른, 디지털 카메라를 메시징 애플리케이션 내로 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 42a 내지 도 42d에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 35a 내지 도 35w 및 도 35al 내지 도 35ap는 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 애플리케이션 확장 어포던스(3702) 또는 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 중 어느 하나, 디지털 키보드(3501), 또는 디지털 이미지 트레이(3806) 중 어느 하나를 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시하며, 이는, 이미지 캡처 어포던스(3516) 및 두 개 이상의 연관된 디지털 카메라들과 이전에 캡처된 디지털 이미지들(3518) 사이에서 라이브 미리보기 이미지를 전환하기 위한 카메라 전환 어포던스(3505)를 포함하는, 연관된 디지털 카메라로부터의 라이브 미리보기 이미지(3514)를 포함한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션 내의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Abe"에 대한 아바타(3510))에 의해 표현된다.
도 35x 내지 도 35ak는 옵션적으로 메시징 애플리케이션 내에서 동작되는 디지털 이미지들을 편집하기 위한 예시적인 사용자 인터페이스(3509)를 도시하며, 이는 디지털 이미지(3518-4)의 디스플레이, 상이한 편집 모드들을 인에이블하는 편집 어포던스들 - 연필 어포던스(3552), 확대 루페 어포던스(3554), 텍스트 어포던스(3556), 및 수기 어포던스(3558) -, 편집 어포던스 도구에 대한 색상을 설정하기 위한 색상 선택 어포던스들(3548), 디지털 이미지 상에 작성된 선, 텍스트 또는 수기의 크기를 설정하기 위한 크기 선택 어포던스(3550), 디지털 이미지의 편집을 취소하기 위한 취소 어포던스(3549), 및 디지털 이미지에 편집을 저장하기 위한 저장 어포던스(3551)를 포함한다.
도 35a 내지 도 35i는 디지털 이미지를 캡처링하고 캡처된 이미지를 메시징 애플리케이션을 나가지 않고 메시징 트랜스크립트(예컨대, 메시징 세션) 내에 게시하기 위한 두 개의 예시적인 실시예들을 예시한다. 두 실시예들에서, 디지털 카메라는 도 35b에 도시된 접촉(3512)에 의한 디지털 이미지 어포던스(3504)의 활성화를 검출함으로써, 도 35a에 예시된 바와 같이, 메시지 트랜스크립트(3503) 및 키보드(3501)를 디스플레이하는 메시징 사용자 인터페이스 내에서 액세스된다. 이에 응답하여, 디지털 이미지 트레이(3806)는 도 35c 및 도 35h의 디지털 키보드(3501)를 대체한다.
제1 실시예에서, 디바이스(100)는 도 35d의 이미지 캡처 어포던스(3516) 상의 접촉(3512)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 라이브 미리보기 이미지(3514)를 캡처하여 디지털 이미지(3518-5)를 생성하고, 메시지 입력 영역(3502) 내에 이미지(예컨대, 이미지의 표현)를 배치하며, 도 35e에서 메시지 입력 영역(3502)은 이미지를 수용하기 위해 확장된다. 이어서, 디바이스는 도 35f의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3522)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 캡처된 디지털 이미지(3518-5)를 메시징 세션에 게시하여, 도 35g의 대화 트랜스크립트(3503) 내에 이미지를 디스플레이한다.
제2 실시예에서, 디바이스(100)는 도 35h의 이미지 캡처 어포던스(3516) 상의 접촉(3524)을 포함하는 누르기 제스처를 검출한다. 이어서, 디바이스(100)는 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 초과하는 접촉(3524)의 세기의 증가를 검출하고, 이에 응답하여, 라이브 미리보기 이미지(3514)를 캡처하여 도 35i의 디지털 이미지(3518-5)를 생성한다. 제1 실시예와 대조적으로 - 제1 실시예에서는 접촉(3512)의 세기가 미리 정의된 세기 임계치를 초과하여 증가하지 않음 -, 접촉(3516)의 세기가 미리 정의된 세기 임계치에 도달했으므로, 디바이스(100)는 캡처된 디지털 이미지(3518-5)를 메시징 세션에 직접 게시하여, 도 35i의 대화 트랜스크립트(3503) 내에 이미지를 디스플레이한다.
도 35j 내지 도 35o는 메시지와 게시된 디지털 이미지와 연관되는 예시적인 실시예를 예시한다. 디바이스(100)는 도 35j의 이미지 캡처 어포던스(3516) 상의 접촉(3526)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 라이브 미리보기 이미지(3514)를 캡처하여 디지털 이미지(3518-5)를 생성하고, 메시지 입력 영역(3502) 내에 이미지(예컨대, 이미지의 표현)를 배치하며, 도 35k에서 메시지 입력 영역(3502)이 이미지를 수용하기 위해 확장된다. 이어서, 디바이스는 도 35l의 메시지 입력 영역(3502) 내의 접촉(3528)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 디지털 이미지 트레이(3806)의 디스플레이를 디지털 키보드(3501)로 대체하고, 메시지를 수용하기 위해 메시지 입력 영역(3502)을 더 확장하고, 도 35m에서 텍스트 커서(3842)를 디스플레이한다. 디바이스(100)는 또한 메시지(3530)의 입력을 검출하고, 도 35m의 캡처된 디지털 이미지(3518-5)와 함께 메시지를 메시지 입력 영역(3502) 내에 디스플레이한다. 이어서, 디바이스는 도 35n의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3532)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 캡처된 디지털 이미지(3518-5) 및 메시지(3530)를 메시징 세션에 게시하여, 도 35o의 대화 트랜스크립트(3503) 내의 메시지 구역(3534) 내의 이미지 및 메시지를 디스플레이한다. 메시지(3530)는 이미지(3518-5)와 동시에 메시지 입력 영역(3502)으로부터 게시되었기 때문에, 메시지 구역(3534)은 도 35o의 이미지(3518-5)와 중첩하여 디스플레이된다.
도 35p 및 도 35q는 스와이프 제스처가 추가적인 디지털 이미지를 노출하는 예시적인 실시예를 예시한다. 디바이스(100)는 도 35p의 위치(3536-a)로부터 도 35q의 위치(3536-b)로의 접촉(3536)의 좌측으로의 이동(3538)을 포함하는 스와이프 제스처를 검출한다. 이에 응답하여, 디바이스는 도 35q에서 디지털 이미지 트레이(3806)를 좌측으로 이동하고, 이동(3538)에 따라, 라이브 미리보기 이미지(3514)가 터치 스크린(112)의 좌측부로부터 슬라이드 오프(slide off)하고, 추가적인 디지털 이미지들(3518-6 및 3518-7)이 터치 스크린(112)의 우측부로부터 디스플레이 상으로 슬라이드 온(slide on)하는 외관을 생성한다.
도 35r 내지 도 35v는 이전에 캡처된 디지털 이미지가 미리보기되어 메시징 세션에 게시된 두 개의 예시적인 실시예들을 예시한다.
제1 실시예에서, 디바이스(100)는 도 35r의 이전에 캡처된 디지털 이미지(3518-4) 상의 접촉(3540)을 포함하는 누르기 제스처를 검출한다. 이어서, 디바이스(100)는 제1 미리 정의된 세기 임계치(예컨대, ITL)를 초과하는 접촉(3540)의 세기의 증가를 검출하고, 이에 응답하여, 이미지(3518-4)의 확대된 미리보기(3507)를 도 35s의 디지털 이미지 트레이(3806) 및 대화 트랜스크립트(3503)의 일부분들 위로 디스플레이한다. 이어서, 디바이스는 접촉(3540)의 세기의 감소를 검출하고, 이에 응답하여, 도 35t에서 확대된 미리보기(3507)의 디스플레이를 중지한다.
제2 실시예에서, 디바이스(100)는 이전에 캡처된 디지털 이미지(3518-4) 상의 접촉(3544)을 포함하는 누르기 제스처, 및 이어서 도 35u에서 제1 미리 정의된 세기 임계치(예컨대, ITL)를 초과하는 접촉(3540)의 세기의 증가를 검출한다. 이에 응답하여, 디바이스는 도 35u의 디지털 이미지 트레이(3806) 및 대화 트랜스크립트(3503)의 일부분들 위에 이미지(3518-4)의 확대된 미리보기(3507)를 디스플레이한다. 이어서, 디바이스는 제2 미리 정의된 세기 임계치(예컨대, ITD)를 초과하는 접촉(3540)의 세기의 추가 증가를 검출하고, 이에 응답하여, 이미지를 도 35v의 메시지 입력 영역(3502) 내에 배치한다. 이전에 캡처된 디지털 이미지(3518-4)는 이제 메시지 콘텐츠 게시 어포던스(3520)를 활성화하는 입력(예컨대, 탭 제스처)의 검출 시 메시징 세션에 게시될 수 있다.
도 35w 내지 도 35an은 이미지를 메시징 세션에 게시하기 전에 디지털 이미지가 편집되는 예시적인 실시예를 예시한다. 디바이스(100)는, 이미지가 도 35w의 메시지 입력 영역(3502) 내에 디스플레이되는 동안, 디지털 이미지(3518-4) 상의 접촉(3546)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 이미지 편집 사용자 인터페이스(3509)를 열어, 도 35x에서 디지털 이미지(3518-4)의 편집 가능한 표현(3518-4a)을 디스플레이한다.
디바이스는 도 35y에서 연필 어포던스(3552)의 활성화 및 도 35z에서 콧수염(3562)의 그림을 검출한다. 이어서, 디바이스는 도 35aa에서 확대 루페 어포던스(3554)의 활성화 및 도 35ab에서 확대 루페(3566)의 배치를 검출한다. 루페(3566)의 배율은 도 35ac의 위치(3568-a)로부터 도 35ad의 위치(3568-b)로의 탭(3568)의 이동(3572)에 의해 증가된다. 루페(3566)의 크기는 도 35ae의 위치(3570-a)로부터 도 35af의 위치(3570-b)로의 탭(3570)의 이동(3574)에 의해 증가된다. 이어서, 디바이스는 도 35ag의 텍스트 어포던스(3556)의 활성화 및 도 35ah의 텍스트(3578)의 입력을 검출한다. 이어서, 디바이스는 도 35ai에서 수기 어포던스(3558)의 활성화 및 도 35aj에서 수기(3582)의 입력을 검출한다.
이어서, 디바이스는 도 35ak에서 저장 어포던스(3551) 상의 접촉(3586)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 메시징 사용자 인터페이스(3500)로 복귀하고 편집된 디지털 이미지(3518-4a)를 도 35al의 메시지 입력 영역(3502) 내에 디스플레이한다. 이어서, 디바이스는 도 35am의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3588)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 편집된 디지털 이미지(3518-4a)를 메시징 세션에 게시하여, 도 35an의 대화 트랜스크립트(3503) 내에 이미지를 디스플레이한다.
도 35ao 및 도 35ap는 이전에 캡처된 디지털 이미지가 미리보기되어 메시징 세션에 게시되는 제3 실시예를 예시한다. 디바이스(100)는 이전에 캡처된 디지털 이미지(3518-4) 상의 접촉(3590)을 포함하는 누르기 제스처, 및 이어서 도 35ao에서 제1 미리 정의된 세기 임계치(예컨대, ITL)를 초과하는 접촉(3590)의 세기의 증가를 검출한다. 이에 응답하여, 디바이스는 도 35au에서 디지털 이미지 트레이(3806) 및 대화 트랜스크립트(3503)의 일부분들 위에 이미지(3518-4)의 확대된 미리보기(3507)를 디스플레이한다. 이어서, 디바이스는 제2 미리 정의된 세기 임계치(예컨대, ITD)를 초과하는 접촉 세기(3590)의 추가 증가를 검출하고, 이에 응답하여, 이전에 캡처된 디지털 이미지(3518-4)를 메시징 세션에 직접 게시하여, 도 35ap에서 대화 트랜스크립트(3503) 내에 메시지를 디스플레이한다.
도 36a 내지 도 36al은 일부 실시예들에 따른, 메시징 애플리케이션 내에서 검색 기능을 통합하고 리치 콘텐츠를 게시하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 44a 내지 도 44d에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 36a 내지 도 36v는 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 애플리케이션 확장 어포던스(3702) 또는 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 검색 어포던스(3602) 및 애플리케이션 어포던스(3508) - 중 어느 하나, 옵션적으로 디지털 키보드(3501) 또는 대화 트랜스크립트(3503)에 대응되는 메시징 세션에 게시될 수 있는 콘텐츠(예컨대, 3606, 3608 및 3610)를 포함하는 검색 트레이(3629) 중 어느 하나를 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들 및 콘텐츠를 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Abe"에 대한 아바타(3510))에 의해 표현된다.
도 36a 내지 도 36s는 메시징 애플리케이션을 나가지 않고, 전자 디바이스 및/또는 디바이스 상에 최근에 액세스된 멀티미디어 콘텐츠에 저장된 멀티미디어 콘텐츠를 게시하기 위한 두 개의 예시적인 실시예들을 예시한다. 멀티미디어 콘텐츠는 도 36b의 접촉(3604)에 의한 검색 어포던스(3602)의 활성화를 검출함으로써, 도 36a에 예시된 바와 같이, 메시지 트랜스크립트(3503) 및 키보드(3501)를 디스플레이하는 메시징 사용자 인터페이스 내에서 액세스된다. 이에 응답하여, 디바이스 상에서 최근 액세스된 멀티미디어 콘텐츠 - 디지털 레코딩(3606), 소셜 미디어 엔트리(3608) 및 디지털 이미지(3610) - 를 포함하는 검색 트레이(3629)는 도 36c의 디지털 키보드(3501)를 대체한다.
제1 실시예에서, 디바이스(100-1)는 도 36d의 디지털 레코딩 상의 접촉(3614)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 도 36e에서 메시지 입력 영역(3520) 내에 디지털 레코딩(3606)을 배치한다. 도 36f의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3618)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 메시징 세션에 디지털 레코딩을 게시하여, 도 36g의 대화 트랜스크립트(3603) 내에 레코딩을 디스플레이한다.
도 36h에 예시된 바와 같이, 대화 트랜스크립트(3503)에 대응되는 메시징 세션에 포함된 제2 사용자에 대응되는 디바이스(100-2)는 도 36i의 디지털 레코딩(3616)을 수신한다. 도 36j의 접촉(3622)을 포함하는 디지털 레코딩(3616) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-2)는 음파(3624)에 의해 도시된 바와 같이, 도 36k에서 디지털 레코딩을 재생한다.
제2 실시예는 또한 스와이프 제스처가 최근에 디바이스에 의해 액세스된 추가적인 멀티미디어 콘텐츠를 노출하는 예시적인 실시예를 예시한다. 디바이스(100-1)는 도 36l의 위치(3626-a)로부터 도 36m의 위치(3626-b)로의 접촉(3626)의 좌측으로의 이동(3628)을 포함하는 스와이프 제스처를 검출한다. 이에 응답하여, 디바이스는 이동 (3628)에 따라, 검색 트레이 (3629)를 좌측으로 이동하여, 디지털 이미지 (3608)가 터치 스크린 (112)의 좌측부로부터 슬라이드 오프하고 추가적인 멀티미디어 콘텐츠 - 뉴스 기사 (3628) 및 영화 미리보기(3630) - 가 도 36m의 터치 스크린(112)의 우측부로부터 디스플레이 상으로 슬라이드하는 외관을 생성한다.
디바이스(100-1)는 도 36n에서 디바이스(100-1)에 의해 이전에 액세스된 웹 페이지와 연관된 뉴스 기사(3628) 상의 접촉(3632)을 포함하는 누르기 제스처를 검출한다. 디바이스(100)는 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 초과하는 접촉(3632)의 세기의 증가를 검출하고, 이에 응답하여, 기사와 연관된 이미지를 포함하는 뉴스 기사의 표현(3634), 웹사이트("Washington Gazette")와 연관된 단체 및 뉴스 기사 제목("Fireball in Wisconsin")을 메시징 세션에 직접 게시하여, 도 36o의 대화 트랜스크립트(3503) 내에 표현(3634)을 디스플레이한다.
도 36p 내지 도 36s는 인터넷으로부터의 콘텐츠가 메시징 사용자 인터페이스 내부로부터 액세스되는 예시적인 실시예를 예시한다. 디바이스(100-1)는 도 36p의 대화 트랜스크립트(3503) 내에 디스플레이된 뉴스 기사(3634) 상의 접촉(3636)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100-1)는 도 36q에서 검색 트레이(3629) 및 대화 트랜스크립트(3503)의 일부분들 위로 디스플레이된 영역(3638) 내의 뉴스 기사와 연관된 웹 페이지에 액세스한다. 이어서, 디바이스(100-1)는 도 36r의 위치(3640-a)로부터 도 36s의 위치(3640-b)로의 접촉(3640)의 이동(3642)을 포함하는 스와이프 제스처를 검출하는 것에 응답하여, 영역(3638) 내에, 웹사이트로부터의 더 많은 뉴스 기사를 디스플레이한다.
도 36t 내지 도 36v는 인터넷 상의 멀티미디어 콘텐츠가 메시징 사용자 인터페이스 내부로부터 검색되는 예시적인 실시예를 예시한다. 디바이스(100-1)는 도 36t의 검색 입력 영역(3612) 상의 접촉(3612)을 포함하는 탭 제스처를 검출하는 것에 응답하여 검색을 개시한다. 이에 응답하여, 디바이스는 검색 트레이(3629)를 도 36u의 디지털 키보드(3501)로 대체한다. 이어서, 디바이스(100-1)는 도 36u의 검색 용어(3646)("Meteorite")의 입력을 검출한다. 이에 응답하여, 디지털 키보드(3501)는 도 36v의 인터넷으로부터의 콘텐츠 - 뉴스 기사(3628), 사진(3648) 및 위키(wiki) 페이지(3650) - 를 포함하는 검색 트레이(3629)로 대체된다.
도 36w 내지 도 36al은 멀티미디어 콘텐츠가, 메시징 애플리케이션 내에서 실행되는 검색 사용자 인터페이스로부터 검색되고 메시징 세션에 게시되는 두 개의 예시적인 실시예들을 예시한다. 도 36w는 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) -, 및 디지털 키보드(3501)를 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시한다.
디바이스(100-1)는 도 36x의 애플리케이션 어포던스(3508) 상의 접촉(3652)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디지털 키보드(3501)는 도 36y의 메시징 애플리케이션 내의 동작가능한 애플리케이션들에 대한 론칭 아이콘들(3601, 3603, 3605, 3607, 3609, 3611, 3613 및 3615)을 포함하는 애플리케이션 선택 트레이(3654)로 대체된다. 도 36z의 접촉(3656)을 포함하는 탭 제스처에 의한 검색 애플리케이션에 대한 론칭 아이콘(3607)의 활성화에 응답하여, 디바이스는 도 36aa 및 도 36ad에서 메시징 사용자 인터페이스(3500)의 디스플레이를 디폴트 검색 사용자 인터페이스(3658)로 대체한다.
제1 실시예에서, 디폴트 검색 사용자 인터페이스(3658)는 도 36aa에서 디바이스(100-1)와 연관된 추천 콘텐츠 - 위치(3662), 개방 웹 페이지로부터의 뉴스 기사(3664), 디지털 레코딩(3666), 최근에 공유된 뉴스 기사(3668), 최근에 인터넷으로부터 공유된 영화 예고편(3670), 및 최근에 공유된 디지털 이미지(3672) - 를 디스플레이한다. 도 36ab의 접촉(3674)을 포함하는 탭 제스처에 의한 영화 예고편(3670)의 선택에 응답하여, 디바이스는 메시징 사용자 인터페이스(3500)로 다시 전환하고, 도 36ac의 대화 트랜스크립트(3503)에 예고편을 디스플레이하는 메시징 세션에 영화 예고편(3670)을 게시한다.
제2 실시예에서, 메시징 검색 사용자 인터페이스 내에서 검색을 통해 액세스된 인터넷으로부터의 콘텐츠는 메시징 애플리케이션을 나가는 것 없이 메시징 세션에 게시된다. 디바이스(100-1)는 도 36ad의 디폴트 검색 사용자 인터페이스(3658)의 검색 입력 영역(3660) 상의 접촉(3676)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 도 36ae의 인터넷 상의 추천 콘텐츠 트렌딩(trending)- 디지털 레코딩(3678 및 3680) 및 뉴스 기사들(3668 및 3669) - 을 포함하는 트렌딩 검색 사용자 인터페이스(3659) 및 디지털 키보드(3501)를 디스플레이한다. 검색 용어 "Meteorites"의 입력을 수신하는 것에 응답하여, 도 36af에서, 디바이스는 운석과 관련된 인터넷으로부터의 멀티미디어 콘텐츠 - 뉴스 기사들(3664, 3678 및 3680) 및 영화 예고편들(3670, 3682 및 3684) - 및 검색 결과의 특정 카테고리에 대한 검색 결과를 필터링하기 위한 카테고리 필터 어포던스들(3617, 3619, 3621, 3623 및 3625)을 포함하는 검색 결과 사용자 인터페이스들(3661)을 디스플레이한다.
추가적인 검색 결과들은 도 36ag의 위치(3686-a)로부터 도 36ah의 위치(3686-b)로의 접촉(3686)의 좌측으로의 이동(3688)을 포함하는 스와이프 제스처를 검출하는 디바이스(100-1)에 응답하여 디스플레이된다. 이에 응답하여, 디바이스는 도 36ah에서, 영화 예고편 검색 결과들(3670, 3682, 및 3684)을 좌측으로 이동하고, 이동 (3688)에 따라, 영화 예고편(3670)이 터치 스크린 (112)의 좌측부로부터 슬라이드 오프하고, 추가적인 영화 예고편(3688)이 터치 스크린(112)의 우측부로부터 디스플레이 상으로 슬라이드 온하는 외관을 생성한다.
도 36ai의 접촉(3690)을 포함하는 탭 제스처의 검출에 의한 영화 예고편(3690)의 선택에 응답하여, 디바이스(100-1)는 메시징 사용자 인터페이스(3500)로 다시 전환하고, 도 36aj에서, 영화 예고편(3684)을 영화 예고편(3684)의 선택을 취소하기 위한 취소 아이콘(3694)을 포함하는 확장된 메시지 입력 영역(3502)의 영역(3692) 내에 배치한다. 이어서, 영화 예고편(3684)은 도 36ak의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3696)을 포함하는 탭 제스처를 검출하는 것에 응답하여 메시징 세션에 게시된다. 이어서, 영화 예고편(3684)은 도 36al의 대화 트랜스크립트(3503) 내에 디스플레이된다.
도 37a 내지 도 37dj는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면의 사용자 인터페이스들은 도 46a 내지 도 46c, 도 48a 내지 도 48d, 도 50a 내지 도 50c, 도 52a 내지 도 52c, 도 54a 내지 도 54c, 도 56a 및 도 56b 및 도 58의 프로세스를 포함하여 아래에서 설명되는 프로세스를 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 37a 내지 도 37dj는 "Andrew"에 의해 동작되는 예시적인 전자 디바이스(100-1) 및 "Abe"에 의해 동작되는 예시적인 전자 디바이스(100-2)를 예시한다. 디바이스들(100-1 및 100-2) 상의 사용자 인터페이스들은 타임 스탬프(404)를 포함하여, 하나의 디바이스 상의 특정 시간에 이루어진 입력들이 타 디바이스 상의 이들 입력들의 효과와 일치되도록 허용한다. 예를 들어, 도 37ax 및 도 37ay에서, 9:34 AM에 디바이스(100-1) 상의 틱-택-토 사용자 인터페이스(3782) 내에 'O'(3792)를 배치하는 것은 도 37bf의 9:34 AM에 디바이스(100-2) 상의 대화 트랜스크립트(3700) 내에 틱-택-토 통지(3703) 및 틱-택-토 애플리케이션 객체(3705)를 디스플레이하는 것에 대응된다.
도 37a 내지 도 37am은 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션의 예시적인 실시예를 예시한다. 대화형 애플리케이션의 동작은 메신저 사용자 인터페이스의 디스플레이를 대체하는 풀-스크린 애플리케이션 사용자 인터페이스의 디스플레이를 포함하며, 이는 대화 트랜스크립트 내에 디스플레이된 애플리케이션 객체를 통해 메시징 세션에 포함된 사용자들이 액세스할 수 있다.
도 37a 및 도 37j는 각각 디바이스들(100-1 및 100-2) 상의 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 예시한다. 사용자 인터페이스(3500)는 대화 트랜스크립트(3700), 메시지 입력 영역(3502), 애플리케이션 확장 어포던스(3702), 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 중에 어느 하나, 옵션적으로, 메시지 입력 영역(3502) 내로 메시지들을 입력하기 위한 디지털 키보드(3501), 애플리케이션 선택 트레이(3654), 및 애플리케이션 스와이프 트레이(3892) 중에 하나를 포함한다. 대화 트랜스크립트(3700)는 특정 휴대용 다기능 디바이스의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타에 의해 표현된다(예컨대, "Abe"에 대한 아바타(3510) 및 "Andrew"에 대한 아바타(3511)).
도 37a 내지 도 37g는 예약을 하기 위한 대화형 애플리케이션의 활성화를 예시한다. 애플리케이션 확장 어포던스(3702)는 도 37b의 애플리케이션 확장 어포던스(3702) 상의 접촉(3702)을 포함하는 탭 제스처를 검출하는 디바이스(100-1)에 응답하여, 도 37c에서 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508) - 을 디스플레이하기 위해 확장된다. 이어서, 디바이스는 도 37d에서 애플리케이션 어포던스(3508) 상의 접촉(3706)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 도 37e의 애플리케이션 스와이프 트레이(3892)를 디스플레이한다. 애플리케이션 스와이프 트레이(3892)는 대화형 예약 애플리케이션에 대한 론칭 아이콘(3708) 및 애플리케이션 스와이프 트레이(3892)와 애플리케이션 선택 트레이(3654) 사이에서 전환하기 위한 애플리케이션 메뉴 토글 어포던스(3627)를 포함한다.
도 37f에서 대화형 예약 애플리케이션은, 디바이스가 예약 론칭 아이콘(3708) 상의 접촉(3710)을 포함하는 탭 제스처를 검출하는 경우, 도 38g의 메시징 애플리케이션 내에 론칭된다. 론칭 시, 디바이스는 검색하기 위한 위치를 선택하기 위한 입력 어포던스들(3720), 검색의 파라미터들을 설정하기 위한 3722-1 및 3722-2, 검색을 실행하기 위한 3718, 예약을 선택하기 위한 3724를 포함하는 예약 애플리케이션에 대한 사용자 인터페이스(3712)를 디스플레이한다. 사용자 인터페이스는 또한 예약을 선택하지 않고 사용자 인터페이스를 닫기 위한 취소 어포던스(3714)를 포함한다.
도 37h 내지 도 37ac는 대화형 예약 애플리케이션을 사용하는 예약의 선택 및 수정을 예시한다. 디바이스(100-1)는 9:27 AM에, 도 37h의 예약 어포던스(3724-1) 상의 접촉(3726)을 포함하는 탭 제스처에 의한 "Joe's Bistro at 6:45 PM"에서의 예약의 선택을 검출한다. 이에 응답하여, 디바이스는 예약 애플리케이션 사용자 인터페이스(3712)의 디스플레이를 메시징 사용자 인터페이스(3500)로 대체한다. 디바이스(100-1)는 또한 대화 트랜스크립트(3700)의 우측부 상에, (예컨대, Joe's Bistro에서 6:45 PM에 2인에 대한 예약이 있다는) 예약에 관한 정보를 디스플레이하는 예약 애플리케이션 객체(3728)를 디스플레이하여, 예약이 처음에 디바이스(100-1)에 의해 이루어졌음을 표시한다.
디바이스(100-1)는 또한 예약이 예약 애플리케이션 내에서 이루어졌다는 정보를 디바이스(100-2)로 송신한다. 디바이스(100-1)로부터 송신된 정보를 수신하는 것에 응답하여, 디바이스(100-2)는 대응되는 대화 트랜스크립트(3700)의 좌측부 상에 대응되는 예약 애플리케이션 객체(3728)를 디스플레이하여, 다른 디바이스가 처음에 예약을 했다고 표시한다. 예약 애플리케이션 객체는 객체가 예약 애플리케이션과 연관되어 있다는 표시(3730)를 포함한다. 디바이스(100-2)는 도 37l의 메시지 입력 영역(3502) 상의 접촉(3732)을 포함하는 탭 제스처에 응답하여, 도 37m의 디지털 키보드(3501)를 디스플레이한다. 이어서, 디바이스는 디지털 키보드(3501)로부터의 입력을 수신하고 도 37n에서 메시지 게시 어포던스(3502) 상의 접촉(3734)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 도 37o의 대화 트랜스크립트(3700) 내에 디스플레이된 바와 같이, 예약 시간이 Abe에게 곤란하다는 것을 표시하는 메시지(3736)를 메시징 세션에 게시한다.
이어서, 디바이스(100-2)는 도 37p의 대화 트랜스크립트(3700) 내의 위치(3728-a)에 디스플레이된 예약 애플리케이션 객체(3728) 상의 접촉(3738)을 포함하는 탭 제스처에 의한 예약 애플리케이션 세션의 활성화를 검출한다. 활성화에 응답하여, 디바이스는 도 37q의 예약 사용자 인터페이스(3712)를 디스플레이한다. 사용자 인터페이스는 예약 시간, 고객들의 수, 또는 위치를 변경하기 위한 입력 어포던스들(3740-1, 3740-2, 및 3742)을 포함한다. 예약 사용자 인터페이스(3712)는 또한 메시지 사용자 인터페이스(3500) 내에 디스플레이된 메시지 입력 영역(3501)과 별개인 메시지 입력 영역(3716)을 포함한다. 예약 사용자 인터페이스(3712)는 또한 메시징 세션에 포함된 타 사용자에 대응되는 Andrew의 아바타(3511)를 포함한다. 예약 사용자 인터페이스(3712)는 또한 메시징 사용자 인터페이스로 복귀하기 위한 나가기 어포던스(3714)를 포함한다.
디바이스(100-2)는 도 37r의 접촉(3744)을 포함하는 메시지 입력 영역(3716) 내의 탭 제스처를 검출하며, 이는 도 37s의 디지털 키보드(3501)를 활성화한다. 디바이스는 도 37u의 접촉(3748)을 포함하는 탭 제스처를 통해, 8:00시 예약이 괜찮은지 여부를 묻는 도 37t의 메시지(3746) 입력 및 메시지를 메시징 세션에 게시하라는 요청을 수신한다. 이에 응답하여, 디바이스는 메시지를 9:29 AM에 메시징 세션에 게시하고, 도 37v에서 디지털 키보드(3501)를 디스플레이하는 것을 중지한다. 대응되는 디바이스(100-1)는 도 37ae에서 메시지(3746)를 수신하여 대화 트랜스크립트 내에 그것을 디스플레이한다.
디바이스(100-1)는 메시지 입력 영역(3502) 상의 도 37af의 접촉(3758)을 포함하는 탭 제스처에 응답하여 도 37ag의 디지털 키보드(3501)를 디스플레이한다. 이어서, 디바이스는 도 37ah의 메시지 입력 영역(3502) 내에서 8:00시가 예약하기에 좋다고 표시하는 응답 메시지(3750)의 입력을 수신한다. 메시지는 도 37aj의 대화 트랜스크립트(3700) 내에 디스플레이된 바와 같이, 도 37ai에서 메시지 게시 어포던스(3520) 상의 접촉(3760)을 포함하는 탭 제스처를 통해 9:30 AM에 메시징 세션에 게시된다.
디바이스(100-2)는 9:30 AM에 응답 메시지(3750)를 수신하고, 도 37w의 예약 사용자 인터페이스(3712) 내에 그것을 일시적으로 디스플레이한다. 이어서, 디바이스는 예약 시간을 8:00 PM으로 변경하는 탭 입력들을 수신한다. 제1 탭 입력은, 디바이스로 하여금 도 37y의 입력 어포던스(3740-1)로부터 드롭 다운 메뉴 - 드롭 다운 메뉴는 대안적인 예약 시간들을 디스플레이함 - 를 디스플레이하게 하는, 도 37x의 입력 어포던스(3740-1) 상의 접촉(3752)을 포함한다. 제2 탭 입력은 도 37z의 '8:00 PM' 상의 접촉(3754)에 의해 8:00 예약 시간을 선택한다. 도 37aa에서 업데이트된 예약 상세사항들은 디스플레이된다. 디바이스(100-2)는 도 37ab의 접촉(3756)을 포함하는 나가기 어포던스(3714) 상의 탭 제스처에 응답하여, 도 37ac의 메시징 사용자 인터페이스(3500)로 복귀한다. 예약 애플리케이션 객체(3728)는 예약 시간의 변경에 응답하여 업데이트되고, 대화 트랜스크립트(3700) 내에서 도 37p에 디스플레이된 바와 같이, 위치(3728-a)로부터, 도 37ac에 디스플레이된 바와 같이, 위치(3728-b)로 이동했다.
대화 트랜스크립트(3700)의 좌측부로부터 우측부로의 예약 애플리케이션 객체(3728)의 이동은 디바이스(100-2)의 사용자가 애플리케이션 세션에서 최근 입력을 했다는 것을 반영한다. 대화 트랜스크립트 내의 예약 애플리케이션 객체(3728)의 하향 이동은 애플리케이션 세션 내에서 최근 입력이 이루어진 시간 순서를 반영한다(예컨대, 원래 예약은 메시지(3736)가 메시징 세션에 게시되기 전에 이루어진 반면, 예약 업데이트는 메시지(3750)가 메시징 세션에 게시된 후에 이루어짐). (예컨대, 메시지(3736)의 게시 전) 원래 예약의 시간적 위치는 애플리케이션 아카이브 아이콘(3756)의 디스플레이에 의해 아카이브된다.
일부 실시예들에서, (예컨대, 탭 제스처에 의한) 애플리케이션 아카이브 아이콘의 선택은 디바이스로 하여금 아카이브되고 있는 특정 이벤트에 관한 정보를 디스플레이하게 한다(예컨대, 일부 실시예들에서, 애플리케이션 아카이브 아이콘(3756)을 탭하는 것은 (예컨대, 대화 트랜스크립트 내에서, 또는 애플리케이션 사용자 인터페이스를 디스플레이한 후) 원래 예약 상에 정보의 디스플레이를 야기할 것임).
예약 애플리케이션 객체(3728)의 디스플레이는 또한 디바이스(100-2)에 의해 이루어진 예약에 대한 변경들에 응답하여 디바이스(100-1) 상에서 업데이트된다. 디바이스(100-1)는 도 37aj의 위치(3762-a)로부터 도 37ak의 위치(3762-b)로의 접촉(3761)의 이동(3764)을 포함하는 스와이프 제스처에 응답하여, 디지털 키보드(3501)를 디스플레이하는 것을 중지한다. 이어서, 디바이스(100-1)는 예약에 대한 변경에 관하여 디바이스(100-2)로부터 송신된 정보를 수신한다. 이에 응답하여, 디바이스(100-1)는 예약 애플리케이션 객체(3728)를 도 37ak에서와 같이, 위치(3728-a)로부터 도 37ak에서와 같이, 위치(3728-b)로 좌측 아래로 이동함으로써 예약 애플리케이션 객체(3728)를 업데이트하여, 메시지(3750)가 메시징 세션에 게시된 후에, 애플리케이션 세션 내의 최근 입력이 디바이스(100-2)에 의해 이루어진 것을 반영한다. 애플리케이션 아카이브 아이콘(3756)은 도 37al의 예약 애플리케이션 객체(예컨대, 위치(3728-a))에 의해 이전에 점유된 시간적 위치에서 대화 트랜스크립트(3700) 내에 삽입된다.
도 37ao 내지 도 37bs는 메시징 애플리케이션 내에서 동작되는 대화형 틱-택-토 애플리케이션의 예시적인 실시예를 도시한다. 대화형 애플리케이션의 동작은 메신저 사용자 인터페이스의 일부분 위의 애플리케이션 사용자 인터페이스의 디스플레이를 포함하고, 대화 트랜스크립트 내에 디스플레이된 애플리케이션 객체를 통해 메시징 세션에 포함된 사용자들이 액세스할 수 있다.
도 37ao 및 도 37bd는 각각 디바이스들(100-1 및 100-2) 상의 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 예시한다. 사용자 인터페이스(3500)는 대화 트랜스크립트(3700), 메시지 입력 영역(3502), 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 옵션적으로, 메시지 입력 영역(3502) 내로 메시지들을 입력하기 위한 디지털 키보드(3501), 애플리케이션 선택 트레이(3654), 및 애플리케이션 스와이프 트레이(3892) 중에 하나를 포함한다. 대화 트랜스크립트(3700)는 특정 휴대용 다기능 디바이스의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타에 의해 표현된다(예컨대, "Abe"에 대한 아바타(3510) 및 "Andrew"에 대한 아바타(3511)).
도 37ao 내지 도 37aw는 대화형 틱-택-토 애플리케이션의 활성화를 예시한다. 도 37ao의 접촉(3768)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 도 37e의 애플리케이션 스와이프 트레이(3892)를 디스플레이한다. 애플리케이션 스와이프 트레이(3892)는 대화형 예약 애플리케이션에 대한 론칭 아이콘(3708) 및 애플리케이션 스와이프 트레이(3892)와 애플리케이션 선택 트레이(3654) 사이에서 전환하기 위한 애플리케이션 메뉴 토글 어포던스(3627)를 포함한다. 이어서, 디바이스는 도 37aq의 위치(3770-a)로부터 도 37ar의 위치(3770-b)로의 접촉(3770)의 이동(3772)을 포함하는, 애플리케이션 스와이프 트레이(3892) 내의 좌측으로의 스와이프 제스처를 검출한다. 이에 응답하여, 디바이스는 도 37ar에서 애플리케이션 스와이프 트레이(3892)를 좌측으로 이동하여, 이동(3772)에 따라, 애플리케이션 론칭 아이콘(3708)이 터치 스크린(112)의 좌측부로부터 슬라이드 오프하고, 애플리케이션 론칭 아이콘(3774)이 터치 스크린(112)의 우측부로부터 디스플레이 상으로 슬라이드 온하는 외관을 생성한다. 스와이프 제스처가 완료된 후, 디바이스는 도 37as의 애플리케이션 슬라이드 트레이(3892) 내의 대화형 틱-택-토 애플리케이션에 대한 애플리케이션 론칭 아이콘(3774)을 디스플레이한다.
디바이스가 도 37f의 접촉(3710)을 포함하는 틱-택-토 론칭 아이콘(3774) 상의 탭 제스처를 검출하는 경우, 대화형 틱-택-토 애플리케이션은 도 37au의 메시징 애플리케이션 내에서 론칭된다. 애플리케이션을 론칭하는 것에 응답하여, 애플리케이션 슬라이드 트레이는 게임을 각각 O 또는 X로서 플레이하기 위한 옵션들(3780-1 및 3780-2)을 포함하는 메뉴(3778)로 대체된다. 도 37av의 접촉(3782)을 포함하는 어포던스(3780-1) 상의 탭 제스처를 통해 'O'의 선택을 검출하는 것에 응답하여, 디바이스(100-1)는 도 37aw에서 메시징 사용자 인터페이스(3500)의 일부분 위로 틱-택-토 사용자 인터페이스(3784)를 디스플레이한다. 사용자 인터페이스(3784)는 틱-택-토 보드(3791), 사용자 인터페이스를 닫기 위한 나가기 어포던스(3694), 및 메시지 입력 영역(3716)과 별개인 메시지 입력 영역(3716)을 포함한다. 디바이스(100-1)는 또한 틱-택-토 세션의 개시에 응답하여, 틱-택-토 애플리케이션 객체(3786)를 대화 트랜스크립트(3700) 내로 배치한다.
디바이스(100-1)는 도 37ax의 접촉(3788)을 포함하는 탭 제스처에 의해 도 37ay의 틱-택-토 보드(3791)의 중앙 사각형 내의 'O'(3792)의 배치를 검출한다. 디바이스(100-1)는 틱-택-토 보드(3791) 상에 'O'(3792)를 배치하는 것에 응답하여, 도 37ay의 대화 트랜스크립트(3700) 내에 트랜스크립트 내의 이동의 시간적 위치를 기억하는(memorializing) 애플리케이션 아카이브 아이콘(3790)을 배치한다. 일부 실시예들에서, 애플리케이션 아카이브 아이콘(3790)을 (예컨대, 그것을 탭하는 것에 의해) 선택하는 것은 아카이브 아이콘의 일시적인 위치와 연관된 플레이를 보여주는 상태로 틱-택-토 사용자 인터페이스(3782)를 열어준다.
디바이스(100-1)가 틱-택-토 세션을 게시하는 동안, 디바이스(100-2)는 도 37be에서와 같이, 대화 트랜스크립트(3700) 내에 다른 디바이스의 사용자가 메시징 세션 내의 대화형 애플리케이션의 세션을 동시에 개시하고 있음을 표시하는 틱-택-토 아이콘(3793)을 포함하는 액티비티 구역(3703)을 디스플레이한다. 'O'(3792)가 디바이스(100-1) 상의 틱-택-토 보드(3791) 상에 배치되었다는 정보를 수신하는 것에 응답하여, 디바이스(100-2)는 도 37bf의 트랜스크립트(3700) 내에 애플리케이션 아카이브 아이콘(3703) 및 틱-택-토 애플리케이션 객체(3705)를 디스플레이한다.
도 37bg의 접촉(3707)을 포함하는 틱-택-토 애플리케이션 객체(3705) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-2)는 틱-택-토 애플리케이션 객체(3705) 아래에 표시된 바와 같이, 디바이스 상에 아직 저장되어 있지 않기 때문에 틱-택-토 애플리케이션을 다운로드한다. 진행 중인 다운로드의 표지(3709)는 도 37bh의 틱-택-토 애플리케이션 객체(3705) 위로 디스플레이된다. 다운로드가 완료되면, 디바이스(100-2)는 도 37bi의 틱-택-토 애플리케이션 객체(3705) 아래에 "your turn"을 디스플레이함으로써 사용자가 수를 두어야(move) 할 순서라고 표시한다. 디바이스는 도 37bj의 접촉(3711)을 포함하는, 틱-택-토 애플리케이션 객체(3705) 상의 탭 제스처의 검출 시 도 37bk의 트랜스크립트(3700) 위에 부분적으로 틱-택-토 사용자 인터페이스를 연다.
이어서 디바이스(100-2)는 도 37bl의 접촉(3713)을 포함하는 탭 제스처에 의해, 도 37bm의 틱-택-토 보드(3791)의 우측 상부 사각형 내의 'X'(3794)의 배치를 검출한다. 디바이스(100-2)는 틱-택-토 보드(3791) 상에 'X'(3794)를 배치하는 것에 응답하여, 도 37bm의 대화 트랜스크립트(3700) 내에 트랜스크립트 내의 이동의 시간적 위치를 기억하는 애플리케이션 아카이브 아이콘(3715)을 배치한다. 디바이스(100-2)는 또한 디바이스(100-2)에 의해 메시징 세션 내의 새로운 시간적 위치에 최근 틱-택-토 수가 두어졌다는 것을 반영하여, 틱-택-토 애플리케이션 객체(3705)의 위치를 도 37bl의 위치(3705-a)로부터 도 37bm의 위치(3705-b)로 이동한다.
이어서, 디바이스(100-2)는 도 37bn의 접촉(3717)을 포함하는 나가기 어포던스(3694) 상의 탭 제스처에 응답하여 도 37bo의 틱-택-토 사용자 인터페이스(3782)를 닫는다. 디바이스(100-2)는 도 37bo의 접촉(3719)을 포함하는 메시지 입력 영역(3502) 상의 탭 제스처를 검출할 시, 도 37bp의 디지털 키보드(3501)를 디스플레이한다. 이어서, 디바이스(100-2)는 도 37bq에서 메시지의 입력을 수신하고 도 37br의 접촉(3721)을 포함하는 탭 제스처를 검출한 후에 도 37bs의 메시징 세션에 메시지(3798)를 게시한다.
'X'(3794)가 디바이스(100-2) 상의 틱-택-토 보드(3791) 상에 배치되었다는 정보를 수신하는 것에 응답하여, 디바이스(100-1)는 정보가 수신될 때 열려 있었던 틱-택-토 사용자 인터페이스의 디스플레이를 도 37az의 보드(3791) 상에 'X'(3794)를 디스플레이하도록 업데이트한다. 디바이스(100-1)는 또한 도 37az의 대화 트랜스크립트(3700) 내의 다음 시간적 위치에 틱-택-토 아카이브 아이콘(3796)을 디스플레이하고, 디바이스(100-2)에 의해 메시징 세션의 새로운 시간적 위치에서 최근 틱-택-토 수가 두어졌다는 것을 반영하여, 틱-택-토 애플리케이션 객체(3786)를 도 37ay의 위치(3786-a)로부터 도 37az의 위치(3786-b)로 이동한다.
도 37ba에서, 틱-택-토 사용자 인터페이스(3782)가 메시징 사용자 인터페이스(3500) 위에 열린 채로 유지되는 동안, 디바이스(100-1)는 디바이스(100-2)로부터 메시지(3798)를 수신한다. 이에 응답하여, 디바이스는 틱-택-토 사용자 인터페이스(3782) 내에 메시지(3798)를 일시적으로 디스플레이하고, 도 37ba의 틱-택-토 사용자 인터페이스(3798) 뒤에 도시된 대화 트랜스크립트(3700) 내에 메시지를 배치한다. 이어서, 디바이스(100-1)는 도 37bb의 접촉(3701)을 포함하는 나가기 어포던스(3694) 상의 탭 제스처를 검출한 후, 도 37bc의 틱-택-토 사용자 인터페이스(3782)를 닫는다. 이것은 대화 트랜스크립트(3700)를 노출하며, 대화 트랜스크립트(3700)는 틱-택-토 애플리케이션 아카이브 아이콘들(3790 및 3796) - 디바이스들(100-1 및 100-2)에 의해 애플리케이션 내의 각각 이루어진 이동을 기억함 -, 틱-택-토 애플리케이션 객체(3786) - 다른 디바이스(예컨대, 디바이스 100-2)가 애플리케이션 내에서 최근 수를 두었다는 것을 트랜스크립트의 좌측 상의 자신의 위치에 의해 표시하고, 사용자가 수를 두도록 프롬프트함("Your turn") -, 및 틱-택-토 사용자 인터페이스(3782)가 디스플레이되는 동안 수신되었던 메시지(3798)를 포함한다.
도 37bt 내지 도 37dj는 메시징 애플리케이션 내에서 동작되는 대화형 피자 주문 애플리케이션의 예시적인 실시예를 예시한다. 대화형 애플리케이션의 동작은 디스플레이의 일부분(예컨대, 때때로 디지털 키보드, 애플리케이션 스와이프 트레이 또는 애플리케이션 선택 트레이를 디스플레이하는데 사용되는 일부분) 상의 애플리케이션 입력 영역 및 메시징 사용자 인터페이스의 대화 트랜스크립트 내에서 디스플레이되고, 대화형 애플리케이션의 출력을 디스플레이하는 대화형 애플리케이션 객체의 디스플레이를 야기한다. 애플리케이션 입력 영역은 대화형 애플리케이션 객체를 통해 메시징 세션 내의 사용자들이 액세스할 수 있다.
도 37bt 및 도 37cq는 각각 디바이스들(100-2 및 100-1) 상의 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 예시한다. 사용자 인터페이스(3500)는 대화 트랜스크립트(3700), 메시지 입력 영역(3502), 애플리케이션 확장 어포던스(3702), 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 중에 어느 하나, 옵션적으로, 메시지 입력 영역(3502) 내로 메시지들을 입력하기 위한 디지털 키보드(3501), 애플리케이션 선택 트레이(3654), 및 애플리케이션 스와이프 트레이(3892) 중에 하나를 포함한다. 대화 트랜스크립트(3700)는 특정 휴대용 다기능 디바이스의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타에 의해 표현된다(예컨대, "Abe"에 대한 아바타(3510) 및 "Andrew"에 대한 아바타(3511)).
도 37bt 내지 도 37ca는 피자를 주문하기 위한 대화형 애플리케이션의 활성화를 예시한다. 도 37bt의 접촉(3723)을 포함하는 애플리케이션 확장 어포던스(3702) 상의 탭 제스처에 응답하여, 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508) - 이 도 37bu의 디바이스(100-2)에 의해 디스플레이된다. 이어서, 디바이스는 도 37bv의 접촉(3725)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하는 것에 응답하여, 도 37bw의 애플리케이션 스와이프 트레이(3892)를 디스플레이한다. 애플리케이션 스와이프 트레이(3892)는 대화형 틱-택-토 애플리케이션에 대한 론칭 아이콘(3774) 및 애플리케이션 스와이프 트레이(3892)와 애플리케이션 선택 트레이(3654) 사이에서 전환하기 위한 애플리케이션 메뉴 토글 어포던스(3627)를 포함한다. 도 37bx의 접촉(3727)을 포함하는 애플리케이션 메뉴 토글 어포던스(3627) 상의 탭 제스처를 검출한 후, 디바이스(100-2)는 애플리케이션들에 대한 복수의 론칭 아이콘들 - 메시징 애플리케이션 특정 애플리케이션 스토어에 대한 론칭 아이콘(3601), 대화형 틱-택-토 애플리케이션에 대한 론칭 아이콘(3603), 대화형 예약 애플리케이션에 대한 론칭 아이콘(3605), 검색 애플리케이션에 대한 론칭 아이콘(3607), 디지털 스티커 팩에 대한 론칭 아이콘(3609), 라이브 비디오 스트리밍 애플리케이션에 대한 론칭 아이콘(3611), 대화형 피자 주문 애플리케이션에 대한 론칭 아이콘(3613), 및 대화형 디지털 음악 애플리케이션에 대한 론칭 아이콘(3615) - 을 포함하는 도 37by의 애플리케이션 선택 트레이(3654)를 디스플레이한다.
피자 주문 애플리케이션은, 도 37bz의 접촉(3729)을 포함하는 애플리케이션에 대한 론칭 아이콘(3613) 상의 탭 제스처를 디바이스(100-2)가 검출한 후, 도 37ca에서 론칭된다. 디바이스는, 도 37ca에서 각각 피자에 토핑을 추가하고, 피자에서 토핑을 제거하고, 피자를 주문하기 위한 입력 어포던스들(3733-1, 3733-2 및 3733-3) 및 디스플레이를 종료하기 위한 나가기 어포던스(3694)를 포함하는 피자 주문 애플리케이션에 대한 입력 영역(3731)을 디스플레이한다. 디바이스는 또한 대화 트랜스크립트(3700) 내에 피자 주문 애플리케이션 객체(3735) - 피자 주문 애플리케이션 객체(3735)는 주문하고 있는 피자의 상태를 디스플레이하고, 메시징 세션 내의 피자 만들기 애플리케이션의 대화형 세션에 대한 론칭 아이콘으로서 역할함 - 를 디스플레이한다. 도 37ca에서, 피자 주문 애플리케이션 객체(3735)는 피자에 어떠한 토핑도 추가되지 않은 것을 예시한다. 디바이스(100-2)는 피자 주문 애플리케이션의 세션이 메시징 세션 내에서 개시되었다는 정보를 디바이스(100-1)에 전송한다.
디바이스(100-1)는 디바이스(100-2)로부터 전송된 정보를 수신하고, 이에 응답하여, 피자 주문 애플리케이션 객체(3735)를 도 37cr의 대화 트랜스크립트(3700) 내에 디스플레이한다. 디바이스는 또한 애플리케이션 객체 3735 아래에 "Abe wants to share a pizza"라는 표시를 디스플레이한다.
이어서, 디바이스(100-2)는 도 37cb의 접촉(3737)을 포함하는 피자에 토핑을 추가하기 위한 어포던스(3733-1) 상의 탭 제스처를 검출하고, 도 37cc의 어포던스(3733-1)로부터의 토핑 선택 사항들의 드롭 다운 메뉴를 디스플레이한다. 페퍼로니는 도 37cd의 접촉(3739)을 포함하는 토핑 상의 탭 제스처를 검출하는 것에 응답하여 도 37ce의 피자에 추가된다. 디바이스는 도 37ce의 대화 트랜스크립트(3700) 내의 위치(3735-a)에 디스플레이된 피자 주문 애플리케이션 객체(3735) - 메시지(3798) 바로 아래임 - 의 피자 상에 페퍼로니를 디스플레이한다. 디바이스는 또한 도 37ce의 애플리케이션 객체(3735) 아래에 "you added pepperoni"라는 표시를 디스플레이한다. 디바이스(100-2)는 또한 페퍼로니가 피자에 추가되었다는 정보를 디바이스(100-1)로 전송한다.
디바이스(100-1)는 디바이스(100-2)로부터 전송된 정보를 수신하고, 이에 응답하여, 도 37cs의 피자 주문 애플리케이션 객체(3735) 내에 보이는 피자 상에 페퍼로니를 디스플레이한다. 이어서, 디지털 키보드(3501)는 도 37ct의 접촉(3759)을 포함하는 메시지 입력 영역 상의 탭 제스처에 의해 도 37cu에서 활성화된다. 디바이스는 도 37cu의 메시지 콘텐츠 게시 어포던스(3520) 상의 탭 제스처에 응답하여, 도 37cv의 대화 트랜스크립트(3700)에 도시된 바와 같이, 메시지(3741)를 수신하여 메시징 세션에 게시한다.
디바이스(100-2)가 디바이스(100-1)로부터 게시된 메시지(3741)를 수신하는 경우, 피자 주문 애플리케이션 객체(3735)는 도 37cf에서와 같이 메시징 세션 내의 그의 시간 순서에 따라, 터치 스크린(112) 위로 이동한다. 디바이스(100-2)가 도 37cg의 접촉(3743)을 포함하는 메시지 입력 영역(3502) 상의 탭 제스처를 검출한 후, 디지털 키보드(3501)가 도 37ch의 입력 영역(3731)을 대체한다. 이어서, 디바이스는 도 37ci의 메시지 콘텐츠 게시 어포던스(3520) 상의 탭 제스처에 응답하여, 도 37cj의 대화 트랜스크립트(3700)에 도시된 바와 같이, 메시지(3747)를 수신하여 메시징 세션에 게시한다. 그러나 피자 주문 애플리케이션 객체(3735)는 그것이 디스플레이된 대화 트랜스크립트(3700)의 상부에 도달했기 때문에, 대화 트랜스크립트(3700) 내에 메시지(3747)를 배치하는 것에 응답하여 이동하지 않는다. 오히려, 도 37cj에서 메시지(3741)는 대화 트랜스크립트의 디스플레이된 부분의 상부에 일시적으로 고정되는 피자 주문 애플리케이션 객체(3735)의 위와 뒤로 이동한다.
마찬가지로, 도 37cw에서, 디바이스(100-1)가 디바이스(100-2)로부터 게시된 메시지(3747)를 수신하면, 피자 주문 애플리케이션 객체(3735)는 대화 트랜스크립트(3700)의 상부에 고정된다. 도 37cw에서 메시지(3741)는 애플리케이션 객체(3735) 뒤로 슬라이딩하듯이 디스플레이된다. 이어서, 디바이스는 도 37cx의 접촉(3763)을 포함하는 메시지 콘텐츠 게시 어포던스(3520) 상의 탭 제스처에 응답하여, 도 37cy의 대화 트랜스크립트(3700)에 도시된 바와 같이, 메시지(3749)를 수신하여 메시징 세션에 게시한다. 피자 주문 애플리케이션 객체(3735)는 메시징 세션 내의 사용자들이 피자를 함께 적극적으로 생성하기 때문에, 도 37cy의 대화 트랜스크립트(3700)의 상부에 고정된 채로 유지된다.
마찬가지로, 디바이스가 디바이스(100-1)에 의해 게시된 메시지들(3749)을 수신하는 경우, 도 37ck에 도시된 바와 같이, 메시징 세션에 게시된 메시지들은 디바이스(100-2) 상의 피자 주문 애플리케이션 객체(3735)를 슬라이딩하는 것을 계속한다.
이어서, 버섯들이 디바이스(100-1)로부터 피자에 첨가된다. 피자 주문 애플리케이션 입력 영역(3731)은 도 37cz의 접촉(3756)을 포함하는 대화 트랜스크립트(3700) 내의 피자 주문 애플리케이션 객체(3735) 상의 탭 제스처에 응답하여 디바이스 상에 디스플레이된다. 버섯들은, 도 37db의 접촉(3767)을 포함하는 입력 어포던스(3733-1) 상의 탭 제스처 후에 선택되며, 도 37dc에서 피자 토핑의 드롭 다운 메뉴를 활성화한다. 도 37dd의 "Mushrooms" 상의 접촉(3769)을 포함하는 탭 제스처는 디바이스로 하여금 도 37de의 피자 주문 애플리케이션 객체(3735) 내에 피자 상의 버섯들을 디스플레이하게 한다. 디바이스는 또한 도 37de의 애플리케이션 객체(3735) 아래에 "you added mushrooms"라는 표시를 디스플레이하고, 버섯들이 피자에 추가되었다는 정보를 디바이스(100-2)에 전송한다.
디바이스(100-1)로부터 정보를 수신하면, 디바이스(100-2)는 도 37cl의 피자 주문 애플리케이션 객체(3735) 내의 피자 상에 버섯들을 디스플레이한다. 디바이스는 또한 도 37cl에 "Andrew added mushrooms"라는 표시를 트랜스크립트(3700) 내의 애플리케이션 객체(3735) 아래의 피자에 디스플레이한다. 이어서, 디바이스는 도 37cm의 접촉(3751)을 포함하는 메시지 콘텐츠 게시 어포던스(3520) 상의 탭 제스처를 검출하는 것에 응답하여, 도 37cn의 메시지(3753)를 수신하여 메시징 세션에 게시한다.
디바이스(100-1)는 도 37df의 대화 트랜스크립트(3700) 내에 디스플레이된 바와 같이, 메시지(3753)를 수신한다. 이어서, 피자는 디바이스(100-1)에 의해 피자 주문 애플리케이션과 연관된 비즈니스로부터 주문된다. 디바이스는 도 37dg의 접촉(3771)을 포함하는 주문 어포던스(3733-3) 상의 탭 제스처를 검출하고, 도 37dh에서와 같이, 주문의 상세사항을 설정하기 위한 어포던스들 - 결제 옵션을 선택하기 위한 어포던스(3773-1) 및 배달 주소를 선택하기 위한 어포던스(3773-2) - 및 피자 주문 애플리케이션 입력 영역(3731) 내에 비즈니스로의 주문을 배치하기 위한 어포던스(어포던스(3773-3))를 디스플레이한다. 도 37di의 접촉(3775)을 포함하는 주문 어포던스(3773-3) 상의 탭 제스처를 검출하면 도 37dj에서 피자가 주문된다. 피자를 주문하는 것에 응답하여, 디바이스(100-1)는 피자 주문 애플리케이션을 닫고, 대화 트랜스크립트(3700)를 풀-스크린 모드로 디스플레이하고, 피자 주문 애플리케이션 객체(3735)를 핀고정 해제(un-pin)하고, 그것을 대화 트랜스크립트(3700) 내의 자신의 원래 시간적 위치로 되돌리고, "Abe started building a pizza"라고 표시하고, 메시징 세션의 시간 순서로 주문 이벤트를 아카이브하는 피자 주문 애플리케이션 아카이브 아이콘(3755)을 대화 트랜스크립트의 끝에 디스플레이한다. 디바이스(100-1)는 또한 피자가 주문되었다는 정보를 디바이스(100-2)에 전송한다.
디바이스(100-1)에 대한 정보를 수신하면, 디바이스(100-2)는 마찬가지로, 도 37co의 대화 트랜스크립트(3700)의 끝에 피자 주문 애플리케이션 아카이브 아이콘(3755)을 디스플레이하며, 이때 메시징 세션 내에 "Andrew ordered a pizza"를 표시한다. 디바이스(1002)는 또한 피자 주문 애플리케이션 객체(3735)를 대화 트랜스크립트의 디스플레이된 부분의 상부로부터 핀고정 해제하고, 도 37cq에 도시된 바와 같이, 대화 트랜스크립트(3700) 내의 원래의 시간적 위치(3735-a)에 애플리케이션 객체를 디스플레이한다. 트랜스크립트(3700)의 풀-스크린 디스플레이는 도 37cp의 위치(3757-a)로부터 도 37cq의 위치(3757-b)로의 접촉(3757)의 이동(3759)을 포함하는 하향 스와이프 제스처를 검출하는 경우에 활성화되어, 디바이스로 하여금 디지털 키보드(3501)의 디스플레이를 중지하게 한다.
도 38a 내지 도 38az는 일부 실시예들에 따른, 메시징 애플리케이션 내의 애플리케이션들을 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 60a 내지 도 60d에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 38a 내지 도 38o 및 도 38r 내지 도 38za는 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 애플리케이션 확장 어포던스(3702) 또는 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 중 어느 하나, 옵션적으로 디지털 키보드(3501), 디지털 이미지 트레이(3806), 디지털 캔버스 트레이(3854), 애플리케이션 선택 트레이(3654) 및 애플리케이션 스와이프 트레이(3892) 중 하나를 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Abe"에 대한 아바타(3510))에 의해 표현된다.
도 38a 내지 도 38y는 디지털 이미지들 및 디지털 카메라가 메시징 애플리케이션에 통합되는 예시적인 실시예를 예시한다. 도 38a는 대화 트랜스크립트(3503), 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 애플리케이션 어포던스(3508) 및 대화 트랜스크립트(3503)와 연관된 메시징 세션에 게시하기 위해 텍스트로 번역된 스피치를 수신하기 위한 마이크로폰 어포던스(3802)를 포함하는 메시지 입력 영역(3502)을 포함하는 메시징 애플리케이션에 대한 사용자 인터페이스(3500)를 도시한다. 디바이스(100-1)는 도 38b의 접촉(3804)을 포함하는 디지털 카메라 어포던스(3504) 상의 탭 제스처를 검출하고, 이에 응답하여, 도 38c의 디지털 이미지 트레이(3806)를 디스플레이한다. 대화 트랜스크립트(3503)는 디지털 이미지 트레이(3806)를 수용하도록 축소된다. 디지털 이미지 트레이는 연관된 디지털 카메라로부터의 라이브 미리보기 이미지(3514) - 라이브 미리보기 이미지(3514)는 이미지 캡처 어포던스(3516) 및 두 개 이상의 연관된 디지털 카메라들 사이에서 라이브 미리보기 이미지를 전환하기 위한 카메라 전환 어포던스(3505)를 포함함 -, 및 이전에 캡처된 디지털 이미지들(3518)을 포함한다.
도 38d 내지 도 38g는 디지털 이미지 트레이 상에서 반대 방향으로 스크롤함으로써 상이한 어포던스의 디스플레이를 야기하는 예시적인 실시예를 예시한다. 디바이스(100-1)는 도 38d의 위치(3808-a)로부터 도 38e의 위치(3808-b)로의 좌측으로의 접촉(3808)의 이동(3810)을 포함하는 스와이프 제스처를 검출한다. 이에 응답하여, 디바이스는 이동(3810)에 따라, 디지털 이미지 트레이(3806)를 좌측으로 이동하여, 도 38e에서 라이브 미리보기 이미지(3514)가 터치 스크린(112)의 좌측으로부터 슬라이드 오프하고, 추가적인 디지털 이미지들(3518-6 및 3518-7)이 터치 스크린(112)의 우측으로부터 디스플레이 상으로 슬라이드 온하는 외관을 생성한다.
이어서, 디바이스는 도 38f의 위치(3812-a)로부터 도 38g의 위치(3812-b)로의 우측으로의 접촉(3812)의 이동(3814)을 포함하는 스와이프 제스처를 검출한다. 이에 응답하여, 디바이스는, 이동(3814)에 따라, 디지털 이미지 트레이(3806)를 우측으로 이동하여, 도 38g의 디지털 이미지들(3518-3, 3518-4, 3518-6 및 3518-7)이 터치 스크린(112)의 우측으로부터 슬라이드 오프하고, 터치 스크린(112)의 좌측으로부터 풀-스크린 카메라 어포던스(3816) 및 사진 라이브러리 어포던스(3818)를 노출하는 외관을 생성한다.
도 38h 내지 도 38m은 메시징 애플리케이션 사용자 인터페이스로부터 풀-스크린 카메라 라이브 미리보기 이미지를 액세스함으로써, 디지털 이미지가 캡처되어 메시징 세션에 게시되는 예시적인 실시예를 예시한다. 디바이스(100-1)는 도 38h의 접촉(3820)을 포함하는 풀-스크린 카메라 어포던스(3816) 상의 탭 제스처를 검출하고, 이에 응답하여, 도 38i의 디지털 카메라 사용자 인터페이스(3822)를 디스플레이한다. 디지털 카메라 사용자 인터페이스(3822)는 라이브 미리보기 이미지(3514)의 풀-스크린 디스플레이 및 이미지 캡처 어포던스(2822)를 포함한다. 이어서, 디바이스는 도 38j의 이미지 캡처 어포던스(3822) 상의 접촉(3824)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 라이브 미리보기 이미지(3514)를 캡처하여 디지털 이미지(3518-5)를 생성하고, 메시지 입력 영역(3502) 내에 이미지를 배치하며, 도 38k에서 메시지 입력 영역(3502)은 이미지를 수용하도록 확장된다. 이어서, 디바이스는 도 38l의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3826)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 캡처된 디지털 이미지(3518-5)를 메시징 세션에 게시하여, 도 38m의 대화 트랜스크립트(3503) 내에 이미지를 디스플레이한다.
도 38n 내지 도 38r은 메시징 애플리케이션 사용자 인터페이스로부터 사진 라이브러리에 저장된 디지털 이미지가 액세스되고 메시징 세션에 게시되는 예시적인 실시예를 예시한다. 도 38n의 접촉(3828)의 우측으로의 이동을 포함하는 스와이프 제스처를 검출하는 것에 응답하여, 풀-스크린 카메라 어포던스(3816) 및 사진 라이브러리 어포던스(3818)가 터치 스크린(112)의 좌측으로부터 디지털 이미지 트레이(3806) 내에 노출된다. 이어서, 디바이스(100-1)는 도 38o의 접촉(3830)을 포함하는 사진 라이브러리 어포던스(3818) 상의 탭 제스처를 검출하고, 이에 응답하여, 도 38p의 사진 라이브러리 사용자 인터페이스(3832)를 디스플레이한다. 사진 라이브러리 사용자 인터페이스(3832)는 디지털 이미지 컬렉션들에 액세스하기 위한 어포던스(3834)를 포함하며, 디지털 이미지 컬렉션들로부터의 디지털 이미지는 메시징 세션에 게시될 수 있다. 디바이스는 은폐 어포던스(3836) 상의 접촉(3838)을 포함하는 탭 제스처를 검출하여, 도 38r에서, 이전에 캡처된 디지털 이미지를 메시징 세션에 게시하지 않으면서, 디바이스를 메시징 사용자 인터페이스(3500)의 디스플레이로 복귀하게 한다.
도 38r 내지 도 38y는 디지털 키보드의 디스플레이가 사진 트레이의 디스플레이를 대체하는 예시적인 실시예들, 및 그 반대의 예시적인 실시예들을 예시한다. 사진 트레이(3806)를 디스플레이하는 동안, 디바이스(100-1)는 도 38r의 접촉(3840)을 포함하는 메시지 입력 영역(3502) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 사진 트레이(3806)를 도 38s의 디지털 키보드(3501)로 대체한다. 탭 제스처에 응답하여, 디바이스는 또한 메시지 입력 영역(3502)을 확장하여 텍스트 커서(3842)를 그 내부에 디스플레이하고, 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508)를 도 38s의 애플리케이션 확장 어포던스(3702) 내로 접는다(collapse).
디바이스는 도 38t의 메시지 입력 영역(3502) 내에 디스플레이된 메시지의 입력을 검출한다. 메시지의 입력에 응답하여, 마이크로폰 어포던스(3802)는 도 38t의 메시지 콘텐츠 게시 어포던스(3520)에 의해 대체된다. 메시지 콘텐츠 게시 어포던스(3520) 상의 도 38u의 접촉(3844)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스는 메시지를 메시징 세션에 게시하여 도 38v의 대화 트랜스크립트(3503) 내에 메시지(3846)를 디스플레이한다. 이어서, 디바이스는 애플리케이션 확장 어포던스(3702) 상의 도 38v의 접촉(3848)을 포함하는 탭 제스처의 검출에 응답하여, 도 38w의 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508) - 을 디스플레이한다. 디지털 이미지 어포던스(3504) 상의 도 38x의 접촉(3850)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스는 디지털 키보드(3501)를 도 38y의 디지털 이미지 트레이(3806)로 대체한다.
도 38z 내지 도 38ah는 디지털 캔버스가 메시징 애플리케이션 내에 통합되는 예시적인 실시예를 예시한다. 도 38z는 대화 트랜스크립트(3503), 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 애플리케이션 어포던스(3508) 및 메시지 입력 영역(3502)을 포함하는 메시징 애플리케이션에 대한 사용자 인터페이스(3500)를 예시한다. 디바이스(100-1)는 디지털 캔버스 어포던스(3506) 상의 도 38aa의 접촉(3852)을 포함하는 탭 제스처를 검출하고, 이에 응답하여, 도 38ab의 디지털 캔버스(3854)를 디스플레이한다. 디지털 캔버스 트레이(3854)는 디지털 캔버스(3858), 디지털 캔버스(3858) 상의 다양한 표현 모드들을 인에이블하기 위한 표현 모드 어포던스들(3860), 및 디지털 캔버스(3858) 상의 표현에 대한 색상을 설정하기 위한 색상 선택 어포던스들(3856)을 포함한다.
도 38ac 내지 도 38ah는 디지털 키보드의 디스플레이가 디지털 캔버스 트레이의 디스플레이를 대체하는 예시적인 실시예 및 그 반대의 예시적인 실시예를 예시한다. 디지털 캔버스 트레이(3854)를 디스플레이하는 동안, 디바이스(100-1)는 도 38ac의 접촉(3862)을 포함하는 메시지 입력 영역(3502) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 디지털 캔버스 트레이(3854)를 도 38ad의 디지털 키보드(3501)로 대체한다. 탭 제스처에 응답하여, 디바이스는 또한 메시지 입력 영역(3502)을 확장하여 텍스트 커서(3842)를 그 내부에 디스플레이하고, 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508)를 도 38ad의 애플리케이션 확장 어포던스(3702) 내로 접는다.
이어서, 디바이스는 애플리케이션 확장 어포던스(3702) 상의 도 38ae의 접촉(3864)을 포함하는 탭 제스처의 검출에 응답하여, 도 38af의 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508) - 을 디스플레이한다. 도 38ag의 접촉(3866)을 포함하는 디지털 캔버스 어포던스(3506) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스는 디지털 키보드(3501)를 도 38ah의 디지털 캔버스 트레이(3858)로 대체한다.
도 38ai 내지 도 38as는 대화형 애플리케이션들이 메시징 애플리케이션 내로 통합되는 예시적인 실시예를 예시한다. 도 38ai는 대화 트랜스크립트(3503), 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 애플리케이션 어포던스(3508) 및 메시지 입력 영역(3502)을 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 예시한다. 디바이스(100-1)는 도 38aj의 접촉(3868)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하고, 이에 응답하여, 도 38ak의 대화형 애플리케이션 및 애플리케이션 메뉴 토글 어포던스(3627)에 대한 론칭 아이콘(3708)을 포함하는 애플리케이션 스와이프 트레이(3892)를 디스플레이한다. 이어서, 디바이스는 도 38al의 접촉(3870)을 포함하는 애플리케이션 메뉴 토글 어포던스(3627) 상의 탭 제스처를 검출하고, 이에 응답하여, 애플리케이션 스와이프 트레이(3892)를 애플리케이션 선택 트레이(3654)로 대체하며, 애플리케이션 선택 트레이는 도 38am의 애플리케이션들에 대한 복수의 론칭 아이콘들 - 메시징 애플리케이션 특정 애플리케이션 스토어에 대한 론칭 아이콘(3601), 대화형 틱-택-토 애플리케이션에 대한 론칭 아이콘(3603), 대화형 예약 애플리케이션에 대한 론칭 아이콘(3605), 검색 애플리케이션에 대한 론칭 아이콘(3607), 디지털 스티커 팩에 대한 론칭 아이콘(3609), 라이브 비디오 스트리밍 애플리케이션에 대한 론칭 아이콘(3611), 대화형 피자 주문 애플리케이션에 대한 론칭 아이콘(3613), 및 대화형 디지털 음악 애플리케이션에 대한 론칭 아이콘(3615) - 을 포함한다.
도 38ac 내지 도 38ah는 디지털 키보드의 디스플레이가 애플리케이션 론칭 트레이의 디스플레이를 대체하는 예시적인 실시예 및 그 반대의 예시적인 실시예를 예시한다. 애플리케이션 선택 트레이(3654)를 디스플레이하는 동안, 디바이스(100-1)는 도 38an의 접촉(3872)을 포함하는 메시지 입력 영역(3502) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 애플리케이션 선택 트레이(3654)를 도 38ao의 디지털 키보드(3501)로 대체한다. 탭 제스처에 응답하여, 디바이스는 또한 메시지 입력 영역(3502)을 확장하여 텍스트 커서(3842)를 그 내부에 디스플레이하고, 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508)를 도 38ao의 애플리케이션 확장 어포던스(3702) 내로 접는다.
도 38ap의 접촉(3874)을 포함하는 애플리케이션 확장 어포던스(3702) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스는 도 38aq에서 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508) - 을 디스플레이한다. 도 38ar의 접촉(3876)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스는 디지털 키보드(3501)를 도 38as의 애플리케이션 선택 트레이(3654)로 대체한다.
도 38at 내지 도 38av는 키보드의 디스플레이를 수용하기 위해 메시지 트랜스크립트가 축소되는 예시적인 실시예를 예시한다. 도 38at는 대화 트랜스크립트(3503), 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 애플리케이션 어포던스(3508) 및 메시지 입력 영역(3502)을 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 예시한다. 디바이스(100-1)는 도 38au의 접촉(3878)을 포함하는 메시지 입력 영역(3502) 상의 탭 제스처를 검출하고, 이에 응답하여, 도 38av의 디지털 키보드(3501)의 디스플레이를 수용하기 위해 대화 트랜스크립트(3503)를 축소한다. 탭 제스처에 응답하여, 디바이스는 또한 메시지 입력 영역(3502)을 확장하여 텍스트 커서(3842)를 그 내부에 디스플레이하고, 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506) 및 애플리케이션 어포던스(3508)를 도 38av의 애플리케이션 확장 어포던스(3702) 내로 접는다.
도 38av 내지 도 38az는 디바이스의 사용자가 그룹 메시징 세션 내의 단일 참가자와 그 사람의 아바타와의 상호작용을 통해 상호작용할 수 있는 예시적인 실시예를 예시한다. 도 38av는 대화 트랜스크립트(3503), 디지털 키보드(3501), 메시지 입력 영역(3502) 및 애플리케이션 확장 어포던스(3702)를 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 예시한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 메시징 사용자 인터페이스(3500)의 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Abe"에 대한 아바타(3510) 및 "Mary Todd"에 대한 아바타(4008))에 의해 표현된다.
일 실시예에서, 사용자의 아바타를 탭함으로써 메시징 세션에 포함된 다른 사용자와 상호작용하기 위한 동작들의 메뉴가 디스플레이된다. 디바이스(100-1)는 도 38aw의 접촉(3880)을 포함하는 Abe의 아바타(3510) 상의 탭 제스처를 검출한다. 일부 실시예들에서, 사용자 입력은 깊게 누르기 제스처이다. 이에 응답하여, 디바이스는 도 38ax에서 전화 통화, 비디오 호출, 개별적 메시지, 이메일, 디지털 그림 또는 결제에 의해 정중하게 Abe와 직접 상호작용하기 위한 활성화가능한 메뉴 아이템들(3884-1 내지 3884-6)의 메뉴(3882)를 디스플레이한다. 이어서, 디바이스는 도 38ay의 메뉴 아이템(3884-3) 상의 접촉(3886)을 포함하는 탭 입력을 검출한 후, 도 38az의 Abe와의 비공개 메시징 대화 트랜스크립트(3700)를 활성화한다.
도 39a 내지 도 39aw는 일부 실시예들에 따른, 메시징 애플리케이션 내의 전자 스티커들을 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 62a 내지 도 62c 및 도 64a 내지 도 64c의 프로세스를 포함하여 아래에서 설명되는 프로세스를 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 39a 내지 도 39aw는 대화 트랜스크립트(3700), 메시지 입력 영역(3502), 애플리케이션 확장 어포던스(3702) 또는 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 중 어느 하나, 옵션적으로 디지털 키보드(3501), 애플리케이션 선택 트레이(3654) 및 애플리케이션 스와이프 트레이(3892) 중 하나를 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타(예컨대, "Abe"에 대한 아바타(3510))에 의해 표현된다.
도 39a 내지 도 39c, 도 39ab 내지 도 39af, 및 도 39au 내지 도 39aw는 메시징 애플리케이션 내의 전자 스티커 팩에 액세스하기 위한 세 개의 예시적인 실시예들을 예시한다. 각각의 실시예는 도 39a, 도 39ab 및 도 39au에서와 같이, 대화 트랜스크립트(3503), 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 애플리케이션 어포던스(3508) 및 대화 트랜스크립트(3503)와 연관된 메시징 세션에 게시하기 위해 텍스트로 번역된 스피치를 수신하기 위한 마이크로폰 어포던스(3802)를 포함하는 메시지 입력 영역(3502)을 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)로부터 시작한다.
제1 실시예에서, 디바이스(100-1)는 도 39b의 접촉(3902)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하고, 이에 응답하여, 전자 스티커들(3906, 3908 및 3910)을 갖는 스티커 팩(3904)을 포함하는 애플리케이션 스와이프 트레이(3892) 및 도 39c의 애플리케이션 메뉴 토글 어포던스(3627)를 디스플레이한다.
제2 실시예에서, 디바이스(100-1)는 도 39ab의 접촉(3934)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하고, 이에 응답하여, 도 39ac의 대화형 예약 애플리케이션에 대한 론칭 아이콘(3708) 및 애플리케이션 메뉴 토글 어포던스(3627)를 포함하는 애플리케이션 스와이프 트레이(3892)를 디스플레이한다. 이어서, 디바이스는 도 39ad의 위치(3936-a)로부터 도 39ae의 위치(3936-b)로의 접촉(3936)의 이동(3938)을 포함하는, 애플리케이션 스와이프 트레이(3892) 내의 좌측으로의 스와이프 제스처를 검출한다. 이에 응답하여, 디바이스는 도 39ae에서 애플리케이션 스와이프 트레이(3892)를 좌측으로 이동하고, 이동(3936)에 따라, 애플리케이션 론칭 아이콘(3708)이 터치 스크린(112)의 좌측부로부터 슬라이드 오프하고, 스티커 팩(3904)은 터치 스크린(112)의 우측부로부터 디스플레이를 슬라이드하는 외관을 생성한다. 스와이프 제스처의 완료 후에, 디바이스는 도 39af의 애플리케이션 슬라이드 트레이(3892) 내에 전자 스티커들(3906, 3908 및 3910) 및 애플리케이션 메뉴 토글 어포던스(3627)를 갖는 스티커 팩(3904)을 디스플레이한다.
제3 실시예에서, 디바이스(100-1)는 도 39au의 접촉(3952)을 포함하는 애플리케이션 어포던스(3508) 상의 탭 제스처를 검출하고, 이에 응답하여, 애플리케이션 선택 트레이(3654)를 디스플레이하며, 애플리케이션 선택 트레이는 도 38am의 애플리케이션들에 대한 복수의 론칭 아이콘들 - 메시징 애플리케이션 특정 애플리케이션 스토어에 대한 론칭 아이콘(3601), 대화형 틱-택-토 애플리케이션에 대한 론칭 아이콘(3603), 대화형 예약 애플리케이션에 대한 론칭 아이콘(3605), 검색 애플리케이션에 대한 론칭 아이콘(3607), 전자 스티커 팩에 대한 론칭 아이콘(3609), 라이브 비디오 스트리밍 애플리케이션에 대한 론칭 아이콘(3611), 대화형 피자 주문 애플리케이션에 대한 론칭 아이콘(3613), 및 대화형 디지털 음악 애플리케이션에 대한 론칭 아이콘(3615) - 을 포함한다. 이어서, 디바이스는 도 39av의 접촉(3954)을 포함하는 전자 스티커 팩에 대한 론칭 아이콘(3609) 상의 탭 제스처를 검출하고, 이에 응답하여, 애플리케이션 선택 트레이(3654)를 도 39aw의 전자 스티커들(3906, 3908 및 3910) 및 애플리케이션 메뉴 토글 어포던스(3627)를 포함하는 스티커 팩(3904)으로 대체한다.
도 39d 내지 도 39p 및 도 39z 내지 도 39aa는 전자 스티커를 메시징 세션에 게시하기 위한 예시적인 실시예들을 예시한다. 각각의 실시예는 도 39d, 도 39h, 도 39k, 도 39n, 및 도 39z에서와 같이, 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 및 전자 스티커들(3906, 3908 및 3910)을 갖는 전자 스티커 팩(3904)을 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)로부터 시작한다.
제1 실시예에서, 전자 스티커는 전자 스티커 상에 탭하는 것에 응답하여, 메시지 입력 영역을 통해 대화 트랜스크립트에 게시된다. 디바이스(100-1)는 도 39d의 접촉(3912)을 포함하는 눈송이 스티커(3908) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 도 39e의 메시지 입력 영역(3502) 내에 눈송이 스티커(3908)를 배치한다. 이어서, 디바이스는 도 39f의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3914)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100)는 도 39g에 도시된 바와 같이, 트랜스크립트(3700) 내에 게시된 메시지에 대한 다음 시간적 위치에 대응되는 위치(3908-a)에 눈송이 스티커(3908)를 게시한다.
제2 실시예에서, 전자 스티커는 드래그 제스처에 의해 대화 트랜스크립트 내로 드래그되고, 그것이 대화 트랜스크립트 내로 드래그된 위치에서 메시징 세션에 게시된다. 디바이스(100-1)는 전자 스티커(3906) 상에서 개시되고 도 39h의 스티커 팩(3904) 내의 위치(3916-a)로부터 도 39i의 대화 트랜스크립트(3700) 내의 위치(3916-b)로의 접촉(3916)의 이동(3918)을 포함하는 드래그 제스처를 검출한다. 이에 응답하여, 눈사람 스티커(3906)는 이동(3918)에 따라, 도 39h의 스티커 팩의 그의 초기 위치(3906-a)로부터 도 39i의 대화 트랜스크립트 내의 위치(3906-b)로 드래그된다. 대화 트랜스크립트(3700) 내의 접촉(3916)의 리프트 오프 시, 도 39j의 위치(3906-b) 내에 디스플레이된 바와 같이, 눈사람 스티커(3906)가 메시징 세션에 게시된다.
제3 실시예에서, 전자 스티커가 대화 트랜스크립트 내로 어떤 방법으로도 드래그되지 않는 경우에, 그것은 메시징 세션에 게시되지 않는다. 디바이스(100-1)는 전자 스티커(3910) 상에서 개시되고 도 39k의 스티커 팩(3904) 내의 위치(3920-a)로부터 도 39l의 여전히 스티커 팩(3904) 내의 위치(3920-b)로의 접촉(3920)의 이동(3922)을 포함하는 드래그 제스처를 검출한다. 이에 응답하여, 썰매 스티커(3910)는 이동(3922)에 따라, 도 39k의 스티커 팩(3904)의 그의 초기 위치(3910-a)로부터 도 39l의 스티커 팩(3904) 내의 위치(3910-b)로 드래그된다. 스티커 팩(3904) 내의 접촉(3920)의 리프트 오프 시, 썰매 스티커(3910)는 도 39m의 그의 원래 위치(3920-a) 내에 디스플레이된 바, 대화 트랜스크립트 내로 드래그되지 않았기 때문에 메시징 세션에 게시되지 않는다.
제4 실시예에서, 전자 스티커는 드래그 제스처에 의해 대화 트랜스크립트로 드래그되고, 그것이 대화 트랜스크립트 내로 드래그된 위치에 가장 가까운 미리 정의된 위치에서 메시징 세션에 게시된다. 디바이스(100-1)는 전자 스티커(3908) 상에서 개시되고 도 39n의 스티커 팩(3904) 내의 위치(3924-a)로부터 도 39o의 대화 트랜스크립트(3700) 내의 위치(3924-b)로의 접촉(3924)의 이동(3926)을 포함하는 드래그 제스처를 검출한다. 이에 응답하여, 눈송이 스티커(3908)는 이동(3926)에 따라, 도 39n의 스티커 팩의 그의 초기 위치(3908-a)로부터 도 39o의 대화 트랜스크립트 내의 위치(3908-c)로 드래그된다. 대화 트랜스크립트(3700) 내의 접촉(3924)의 리프트 오프 시, 눈송이 스티커(3908)는 메시지 구역(예컨대, 메시지 구역(3749)) 내에서, 디바이스가 드래그 제스처에 대응되는 접촉의 리프트 오프를 검출한 때에 스티커가 있었던 위치(예컨대, 위치(3908-c))에 가장 가까운 위치에 대응되는 위치(3908-d)에 재위치된다.
제5 실시예에서, 깊게 누르기 제스처를 검출하는 것에 응답하여, 전자 스티커는, 트랜스크립트에 게시된 메시지에 대한 다음 시간적 위치에서 메시징 세션에 직접 게시된다. 디바이스(100-1)는 도 39y의 눈사람 스티커(3906) 상의 접촉(3932)을 포함하는 누르기 제스처를 검출한다. 이어서, 디바이스(100-1)는 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD) 초과의 접촉(3932)의 세기의 증가를 검출하고, 이에 응답하여, 눈사람 스티커를 메시징 세션에 직접적으로 게시하여, 눈사람 스티커가 도 39aa에 도시된 바와 같이, 트랜스크립트(3700) 내에 게시된 메시지에 대한 다음 시간적 위치에 대응되는 위치(3906-c)에서 디스플레이된다.
도 39p 내지 도 39x는 전자 스티커가 애니메이션되는 예시적인 실시예들을 예시한다. 도 39p에서, 눈사람 스티커(3906)는 도 39h 및 도 39j에 배치된 바와 같이, 대화 트랜스크립트(3700)의 위치(3906-b)에 디스플레이된다. 도 39q 내지 도 39t에서, 눈사람 스티커(3906)는 그의 빗자루를 들어 올리고 내리는 것처럼 보이는 애니메이션 상태들(3930-a, 3930-b 및 3930-c)을 순환한다(cycle through).
도 39u 내지 도 39x에서, 눈사람 스티커(3906)의 애니메이션(3930)은 스티커 팩(3904)의 스티커 상의 깊게 누르기에 의해 미리보기된다. 디바이스(100-1)는 도 39u의 눈사람 스티커(3906) 상의 접촉(3928)을 포함하는 누르기 제스처를 검출한다. 이어서, 디바이스(100-1)는 도 39v의 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD) 초과의 접촉(3928)의 세기의 증가를 검출하고, 이에 응답하여, 도 39v 내지 도 39x의 애니메이션 상태들(3930-a, 3930-b, 및 3930-c)을 걸쳐 눈사람 스티커(3906)를 순환한다. 일부 실시예들에서, 애니메이션들과 연관된 스티커들은 스티커 팩 내에 디스플레이되는 경우에 계속해서 애니메이션화된다.
도 39af 내지 도 39at는 전자 스티커의 위치, 크기 및/또는 전자 스티커 상의 회전이 변경되는 예시적인 실시예들을 예시한다.
일 실시예에서, 전자 스티커의 크기는 스티커 상의 접촉의 압력에 응답하여 변경된다. 도 39ag 내지 도 39ai에서, 눈사람 스티커(3906)는 도 39ag의 위치(3940-a)로부터 도 39ai의 위치(3940-c)로의 접촉(3940)의 이동(3942)을 포함하는 드래그 제스처에 의해 스티커 팩(3904)으로부터 대화 트랜스크립트(3700) 내로 드래그된다. 드래그 제스처 동안, 디바이스(100-1)는 도 39ag와 도 39ah 사이 및 도 39ah와 도 39ai 사이에서 접촉(3940)의 세기의 증가를 검출한다. 이에 응답하여, 눈사람 스티커(3940)가 연속적으로 커진다. 이어서, 디바이스는 도 39ai와 도 39aj 사이의 접촉(3940)의 세기의 감소를 검출하고, 이에 응답하여, 눈사람 스티커(3906)의 크기가 감소한다.
일 실시예에서, 전자 스티커의 회전은 스티커 상의 접촉에 의한 회전 제스처에 응답하여 변경된다. 디바이스(100-1)는 도 39ak의 위치(3940-c)로부터 도 39al의 위치(3940-d)로의 접촉(3940)의 회전(3944)을 포함하는 반시계 방향 회전 제스처를 검출한다. 이에 응답하여, 눈사람 스티커(3906)는 회전(3944)에 따라 도 39ak의 위치(3906-e)로부터 도 39al의 위치(3906-f)로 반시계 방향으로 회전된다. 터치 스크린(112)으로부터 접촉(3940)의 리프트 오프를 검출하는 것에 응답하여 대화 트랜스크립트(3700) 내에서 눈사람 스티커(3906)가 메시징 세션에 게시되어, 도 39am의 대화 트랜스크립트(3700) 내의 위치(3906-f)에서의 스티커 팩 내의 그것의 원래 외관에 대해, 회전되고 더 크게 디스플레이된다.
일 실시예에서, 전자 스티커의 위치는 대화 트랜스크립트 내에 스티커를 처음 배치한 후에 변경될 수 있다. 디바이스(100-1)는, 스티커가 처음 도 39am의 트랜스크립트 내에 배치된 후에, 대화 트랜스크립트(3700) 내의 눈사람 스티커(3906) 위로 개시되는 드래그 제스처를 검출한다. 드래그 제스처는 도 39an의 위치(3946-a)로부터 도 39ao의 위치(3946-b)로의 접촉(3946)의 이동(3948)을 포함한다. 이에 따라, 눈사람 스티커는 이동(3948)에 따라 도 39an의 위치(3906-f)로부터 도 39ao의 위치(3906-g)로 이동한다.
일 실시예에서, 전자 스티커의 크기는 처음 대화 트랜스크립트와 함께 스티커를 배치한 후에 변경된다. 전술한 제스처에 연속하여, 디바이스(100-1)는 도 39ao와 도 39ap 사이에서 접촉(3946) 세기의 증가를 검출한다. 이에 응답하여, 도 39ap에서 눈사람 스티커(3940)가 더 크게 디스플레이된다.
일 실시예에서, 전자 스티커의 회전은 처음 대화 트랜스크립트와 함께 스티커를 배치한 후에 변경된다. 전술한 제스처에 연속하여, 디바이스(100-1)는 도 39aq의 위치(3946-b)로부터 도 39ar의 위치(3946-c)로의 접촉(3946)의 회전(3950)을 포함하는 반시계 방향 회전 제스처를 검출한다. 이에 응답하여, 눈사람 스티커(3906)는 회전(3944)에 따라, 도 39aq의 위치(3906-g)로부터 도 39ar의 위치(3906-h)로 반시계 방향으로 회전된다. 터치 스크린(112)으로부터의 접촉(3946)의 리프트 오프를 검출하는 것에 응답하여, 대화 트랜스크립트(3700) 내에 있는 동안, 눈사람 스티커(3906)는 도 39as에 디스플레이된 바와 같이 트랜스크립트 내에 다시 배치된다. 디바이스는 위치(3906-h)에서의 눈사람 스티커(3906)의 배향에 관한 정보를 대화 트랜스크립트(3700)와 연관된 메시징 세션에 포함된 타 사용자들에 대응되는 전자 디바이스들로 전송한다.
일 실시예에서, 전자 스티커의 위치, 크기 및/또는 회전은 메시징 세션에 게시된 후에 제2 사용자에 의해 변경된다. 디바이스(100-1)는 대화 트랜스크립트(3700)와 연관된 메시징 세션에 포함된 다른 사용자(예컨대, "Abe")에 대응되는 다른 디바이스로부터 정보를 수신한다. 정보는 Abe가 도 39as에 예시된 바와 같은 배향(예컨대, 위치)(3906-h)으로부터 도 39at에 예시된 바와 같은 배향(3906-i)으로 눈사람 스티커(3906)의 위치, 크기 및 회전을 변경한다고 전달한다. 이에 응답하여, 디바이스(100-1)는 도 39at의 배향(3906-i)을 갖는 눈사람 스티커(3906)를 디스플레이한다.
도 40a 내지 도 40w는 일부 실시예들에 따른, 아바타를 통해 메시징 트랜스크립트의 타 사용자들과 상호작용하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 66, 및 도 68a 및 도 68b에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 40a 내지 도 40w는 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 을 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Abe"에 대한 아바타(3510) 및 "Mary Todd"에 대한 아바타(4008))에 의해 표현된다.
도 40a 내지 도 40f는 아바타를 통해 메시징 세션 내의 다른 사용자와 상호작용하기 위한 두 개의 예시적인 실시예들을 도시하며, 여기서 디바이스는 상이한 유형들의 사용자 입력들을 검출하는 것에 기초하여 상이한 동작들을 수행한다.
제1 실시예에서, 메시징 세션에 포함된 다른 사용자와 상호작용하기 위한 동작들의 메뉴는 사용자의 아바타를 탭함으로써 디스플레이된다. 디바이스(100-1)는 도 40b의 접촉(4004)을 포함하는 Abe의 아바타(3510) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 전화 통화, 비디오 호출, 개별적 메시지, 이메일, 디지털 그림 또는 결제에 의해 정중하게 Abe와 직접 상호작용하기 위한 활성화가능한 메뉴 아이템들(3884-1 내지 3884-6)의 메뉴(3882)를 디스플레이한다.
제2 실시예에서, 아바타들의 스택을 깊게 누르기함에 의해 스택된 아바타들은 스택의 상부 상에 상이한 아바타들을 디스플레이하도록 순환된다. 디바이스(100-1)는 도 40d의 접촉(4006)을 포함하는, Abe의 아바타(3510)를 상부 상에 디스플레이하는 아바타들(4002)의 스택 상의 누르기 제스처를 검출한다. 이어서, 디바이스는 도 40e에서 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 초과하는 접촉(4006)의 세기의 증가를 검출하고, 이에 응답하여, 도 40e 및 도 40f의 Mary Todd의 아바타(4008)를 상부 상에 디스플레이하도록 아바타들의 스택(4002)을 셔플(shuffle)한다.
도 40g 내지 도 40r은 아바타를 통해 메시징 세션 내의 다른 사용자에게 지불하기 위한 예시적인 실시예를 예시한다. 디바이스(100-1)는 도 40g의 접촉(4010)을 포함하는, Mary Todd의 아바타(4008)를 상부 상에 디스플레이하는 아바타들(4002)의 스택의 누르기 제스처를 검출한다. 이어서, 디바이스는 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 초과하는 접촉 세기(4010)의 증가를 검출하고, 이에 응답하여, Mary Todd와 직접 상호작용하기 위해 활성화가능한 메뉴 아이템들(3884-1 내지 3884-6)의 메뉴(3882)를 디스플레이하고, 도 40h의 대화 트랜스크립트(3503)의 디스플레이를 흐릿하게 한다. 디바이스가 도 40i의 접촉(4010)의 리프트 오프를 검출한 후에 메뉴(3882)는 디스플레이된 채로 유지된다.
디바이스(100-1)는 도 40j의 접촉(4012)을 포함하는 결제 액션을 위한 활성화가능한 메뉴 아이템(3884-6) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 도 40k에서 종료 어포던스(4016), 실행 어포던스(4018) 및 결제 금액을 입력하기 위한 디지털 키패드(4015)를 포함하는 결제 영역(4014)을 디스플레이한다. 이어서, 디바이스는 결제 금액($ 60)의 입력 및 후속적으로 도 40l의 메시지 입력 영역(4019) 상의 접촉(4020)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 디지털 터치 패드(4014)를 도 40m의 디지털 키보드(4017)로 대체한다. 도 40n의 도 40o의 접촉(4022)을 포함하는 메시지(4021) 입력 및 실행 어포던스(4018) 상의 탭 제스처를 검출하는 것에 응답하여, 디바이스는 도 40p의 확인 영역(4024)을 디스플레이함으로써 디바이스(100-1)의 사용자가 자신의 신원을 확인하도록 프롬프트한다. 도 40q의 접촉(4026)을 포함하는 신원 확인 입력을 수신하는 것에 응답하여, 디바이스는 Mary Todd에게 $ 60의 결제를 실행하고, 메시징 세션에 결제 확인을 게시하여, 도 40r의 대화 트랜스크립트(3503) 내에 결제 확인(4028)을 디스플레이한다.
도 40s 내지 도 40w는 아바타를 통해 메시징 세션 내의 다른 사용자와 상호작용하기 위한 두 개의 예시적인 실시예들을 도시하며, 여기서 디바이스는 상이한 유형들의 사용자 입력들을 검출하는 것에 기초하여 상이한 동작들을 수행한다.
제1 실시예에서, 아바타들의 스택을 탭하는 것은 아바타들을 펼쳐 특정 아바타가 선택될 수 있게 한다. 디바이스(100-1)는 도 40s의 접촉(4030)을 포함하는아바타들의 스택(4002) 상의 탭 제스처를 검출한다. 이에 대응하여, 디바이스는 아바타들의 스택(4002) 내의 아바타들 - "Abe"에 대한 아바타(3510), "Mary Todd"에 대한 아바타(4008), "Chuck"에 대한 아바타(4032), "Issac"에 대한 아바타(4034) 및 "Edwin"에 대한 아바타(4036) - 을 도 40t의 터치 스크린(112)의 상부를 가로질러 펼친다.
제2 실시예에서 - 제2 실시예는 또한 제1 실시예에서 계속된 실시예임 -, 특정 아바타 상의 깊게 누르기는 아바타에 대응되는 사용자와 상호작용하기 위한 활성화가능한 액션들의 메뉴를 불러 온다. 디바이스(100-1)는 도 40u의 접촉(4038)을 포함하는 Mary Todd의 아바타(4008) 상의 누르기 제스처를 검출한다. 이어서, 디바이스는 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 초과하는 접촉 세기(4038)의 증가를 검출하고, 이에 응답하여, Mary Todd와 직접 상호작용하기 위해 활성화가능한 메뉴 아이템들(3884-1 내지 3884-6)의 메뉴(3882)를 디스플레이하고, 도 40v의 대화 트랜스크립트(3503)의 디스플레이를 흐릿하게 한다. 디바이스가 도 40w의 접촉(4038)의 리프트 오프를 검출한 후에 메뉴(3882)는 디스플레이된 채로 유지된다.
도 41a 내지 도 41h는 일부 실시예들에 따른, 데이터 검출기들을 메시징 애플리케이션 내로 통합하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 70a 및 도 70b에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 41a 내지 도 41h는 제1 전자 디바이스(100-1)가 메시징 세션에 포함된 다른 사용자와 연관된 제2 전자 디바이스로부터 수신된 메시지 내에서, 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하는 두 개의 예시적인 실시예들을 예시한다. 도 41a는 대화 트랜스크립트(3503), 메시지 입력 영역(3502), 세 개의 활성화가능한 어포던스들 - 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 및 애플리케이션 어포던스(3508) - 을 포함하는 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(3500)를 도시한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Mary Todd"에 대한 아바타(4008))에 의해 표현된다.
제1 실시예에서, 디바이스는 선택가능한 어포던스를 디스플레이함으로써 사용자가 메시징 사용자 인터페이스 내에서 식별된 단어 또는 구문과 연관된 추가적인 콘텐츠를 뷰잉하도록 프롬프트한다. 디바이스(100-1)는 도 41a의 대화 트랜스크립트(3503) 내에 디스플레이되는 Mary Todd로부터의 메시지(4102)를 수신한다. 디바이스는 그에 대한 정보가 인터넷 상에서 이용가능한 영화의 제목으로서의 구문(4101)("Meteorite Catcher")을 인식한다. 이에 응답하여, 디바이스는 선택가능한 어포던스(4104)를 디스플레이하여, 사용자에게 영화에 관하여 "See more information"이라고 프롬프트한다. 이어서, 디바이스는 도 41b의 선택가능한 어포던스(4104) 상의 접촉(4106)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 도 41c에서 영화에 대한 포스터의 표현(4110) 및 영화에 대한 바이오그래피 정보(4112)를 포함하는 인터넷 상에서 발견된 영화에 대한 정보를 디스플레이하는 정보 영역(4108)을 디스플레이한다.
제2 실시예에서, 디바이스는 단어 또는 구문을 하이라이팅함으로써 개별적 검색 사용자 인터페이스에서 식별된 단어 또는 구문과 연관된 추가적인 콘텐츠를 뷰잉하도록 사용자에게 프롬프트한다. 디바이스(100-1)는 도 41d의 대화 트랜스크립트(3503) 내에 디스플레이되는 Abe로부터의 메시지(4114)를 수신한다. 디바이스는 인터넷 상에서 그에 대한 정보가 이용가능한 배우의 이름으로서 구문(4103)("Astron Omer")을 인식한다. 이에 응답하여, 디바이스는 구문(4103)의 하이라이팅(4116)을 디스플레이하고, 사용자에게 구문을 선택하도록 프롬프트한다. 이어서, 디바이스는 도 41e의 구문(4103) 상의 접촉(4118)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 도 41f에서 구문(4103)의 인터넷 검색의 카테고리화된 결과들 - 새로운 기사들(3664, 3678, 및 3680) 및 영화 미리보기들(3670, 3682 및 3684) - 을 디스플레이하는 검색 사용자 인터페이스(3661)를 디스플레이한다. 디바이스는 도 41g의 접촉(4120)을 포함하는 영화 미리보기(3670) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 메시징 세션에 영화 미리보기(3670)를 게시하여, 도 41h의 대화 트랜스크립트(3503) 내에 영화 미리보기(3670)를 디스플레이한다.
도 42a 내지 도 42d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 디지털 이미지들을 캡처 및 게시하는 방법(4200)을 예시하는 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(700)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(700)은 메시징 애플리케이션 내의 디지털 이미지들을 캡처 및 게시하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 디지털 이미지들을 캡처 및 게시하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자로 하여금 메시징 애플리케이션 내의 디지털 이미지를 보다 빠르고 보다 효율적으로 캡처 및 게시할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 (예컨대, 메시징 애플리케이션의) 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 도 35a의 터치 스크린(112) 상에 사용자 인터페이스(3500))를 디스플레이하며(4202), 메시징 사용자 인터페이스는 전자 디바이스와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 (예컨대, 디스플레이의 제1 영역 내에 디스플레이되고; 예컨대, 도 35a의 대화 트랜스크립트(3503)임), (예컨대, 디스플레이의 제2 영역 내에 디스플레이된) 키보드(예컨대, 도 35a의 키보드(3501)), 메시지 입력 영역(예컨대, 도 35a의 영역(3502)), 및 디지털 이미지 어포던스(예컨대, 도 35a의 어포던스(3504))를 포함한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 (예컨대, 디지털 이미지 어포던스에서 상의 탭 제스처를 검출하는, 터치 감응형 디스플레이를 갖는 전자 디바이스에 대한) 디지털 이미지 어포던스를 활성화하는 입력을 검출한다(4204). 예를 들어, 도 35b에서, 디바이스(100-1)는 디지털 이미지 어포던스(3504) 상의 접촉(3512)을 포함하는 입력을 검출한다.
디지털 이미지 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 키보드의 디스플레이를 복수의 디지털 이미지들의 디스플레이로 대체하며, 복수의 디지털 이미지들은 메모리에 저장된 하나 이상의 디지털 이미지들 및 디지털 카메라로부터의 라이브 미리보기 이미지를 포함한다(4206). 예를 들어, 도 35b의 접촉(3512)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스는 라이브 미리보기 이미지(3514) 및 이전에 캡처된 디지털 이미지들(3518)을 포함하는 디지털 이미지 트레이(3806)로 도 35b의 디지털 키보드(3501)를 대체한다.
일부 실시예들에서, 메시징 사용자 인터페이스는 디지털 이미지 어포던스의 활성화를 검출하기 전에 디지털 키보드를 디스플레이하지 않는다(예컨대, 대화 트랜스크립트는 최대화되고 디지털 이미지 어포던스의 디스플레이를 포함함). 예를 들어, 도 38b에서, 메시징 사용자 인터페이스(3500)는 접촉(3804)을 포함하는 입력이 디지털 이미지 어포던스(3804)에서 검출되는 경우에 대화 트랜스크립트(3700)의 풀-스크린 버전을 디스플레이한다. 이에 응답하여, 디바이스는 도 38c의 디지털 이미지 트레이(3806)의 디스플레이를 수용하도록 대화 트랜스크립트(3700)의 디스플레이를 축소한다.
일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드 위로 복수의 디지털 이미지들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드를 디스플레이하는 것을 중지하고 키보드가 디스플레이되었던 곳에 복수의 디지털 이미지들을 디스플레이하는 것을 포함한다(예컨대, 도 35b 및 도 35c에서와 같음).
일부 실시예들에서, 복수의 디지털 이미지들은 디지털 이미지의 스크롤가능한 배열이다. 예를 들어, 도 35p 및 도 35q에서, 도 35p의 위치(3536-a)로부터 도 35q의 위치(3536-b)로의 접촉(3536)의 이동(3538)을 포함하는 드래그 제스처는 디지털 이미지 트레이를 좌측으로 스크롤시켜 이전에 캡처된 추가적인 디지털 이미지들(3518-6 및 3519-7)을 노출한다.
일부 실시예들에서, 복수의 디지털 이미지들은 최근에 공유된 이미지, 최근에 수신된 이미지, (예컨대, 안면 인식에 의해 식별된 바와 같은) 대화 내의 참여자를 포함하는 이미지, 디바이스의 전방 대향 디지털 카메라로부터의 실시간 이미지 또는 디바이스의 후방 대향 디지털 카메라로부터의 실시간 이미지를 포함한다.}
일부 실시예들에서, 메모리에 저장되고, 디지털 이미지 어포던스를 활성화하는 입력을 검출하는 것에 응답하여 디스플레이되는 하나 이상의 디지털 이미지들은 메시징 세션 동안 캡처된(또는 게시된) 디지털 이미지들로 이루어진다(4208).
디바이스는 (예컨대, 라이브 이미지 상의 탭 제스처를 검출하는 터치 감응형 디스플레이를 갖는 전자 디바이스에 대해) 복수의 디지털 이미지들 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출한다(4210). 예를 들어, 도 35d에서, 접촉(3512)은 라이브 미리보기 이미지(3514) 상에서(예컨대, 라이브 미리보기 이미지(3514) 위로 디스플레이된 이미지 캡처 어포던스(3516) 상에서) 검출된다.
라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트의 디스플레이를 유지하는 동안 디지털 카메라를 이용하여 디지털 이미지를 캡처한다(4212). 예를 들어, 도 35d의 접촉(3512)을 포함하는 입력을 검출하는 것에 응답하여, 전자 디바이스(100-1)는 도 35e의 메시지 입력 영역(3502) 내에 디스플레이된 디지털 이미지(3518-5)를 캡처한다.
일부 실시예들에서, 디지털 이미지를 캡처한 후, 디바이스는 디지털 카메라에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고, 캡처된 디지털 이미지의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 캡처된 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다(4214). 예를 들어, 디바이스(100-1)는 도 35f의 메시지 콘텐츠 게시 어포던스(3520) 상의 접촉(3522)을 포함하는 입력을 검출하고, 이에 응답하여, 도 35g의 대화 트랜스크립트(3503) 내에 캡처된 디지털 이미지(3520)를 디스플레이한다. 디바이스(100-1)는 또한 디지털 이미지(3518-5)의 표현을 예를 들어 "Abe"와 같은 메시징 세션 내의 타 사용자들과 연관된 다른 전자 디바이스로 송신한다.
일부 실시예들에서, 캡처된 이미지는 라이브 이미지의 선택 시 메시징 세션에 자동으로 게시된다. 예를 들어, 도 35h 내지 도 35g의 접촉(3524)을 포함하는 깊게 누르기 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 도 35i의 대화 트랜스크립트(3503) 내에 디스플레이된 바와 같이, 캡처된 디지털 이미지(3518-5)를 메시징 세션에 자동으로 게시한다. 일부 실시예들에서, 디바이스는 입력(예컨대, 탭, 누르기, 깊게 누르기, 더블 탭, 멀티 손가락 탭, 길게 누르기 또는 접촉의 이동을 포함하는 입력)을 검출하고, 입력 유형에 의존적이며, 디바이스는 캡처된 디지털 이미지를 메시지 입력 영역에 배치하거나 메시징 세션에 그것을 직접 게시할 것이다(예컨대, 대화 트랜스크립트 내에 그것을 디스플레이함). 예를 들어, 도 35c 내지 도 35i는 탭 제스처가 디바이스로 하여금 캡처된 이미지를 메시지 입력 영역 내에 배치하게 하고(예컨대, 도 35d 내지 도 35f에서와 같음), 깊게 누르기(또는 다중 손가락 입력)가 디바이스로 하여금 이미지를 메시징 세션에 직접 게시하게 하는(예컨대, 도 35h 및 도 35i에서와 같음) 예시적인 실시예를 예시한다.
일부 실시예들에서, 캡처된 이미지는 메시지 입력 영역 내에 디스플레이되고, 사용자는 (예컨대, 탭 제스처를 이용해 전송 아이콘을 활성화시킴으로써) 이미지를 메시징 세션에 게시한다. 예를 들어, 도 35f의 메시지 콘텐츠 게시 어포던스(3520)의 활성화는 도 35g의 메시징 트랜스크립트(3503) 내에 디스플레이된 바와 같이, 디바이스로 하여금 캡처된 이미지를 메시징 세션에 게시하게 한다.
일부 실시예들에서, 디지털 카메라에 의해 캡처된 디지털 이미지(또는 임의의 이전에 캡처된 이미지)를 대화 트랜스크립트 내에 디스플레이하고 캡처된 이미지의 표현을 송신하기 전에, 디바이스는 (예컨대, 도 35v에 예시된 바와 같이) 디지털 카메라에 의해 캡처된 디지털 이미지(또는 이전에 캡처된 이미지)를 메시지 입력 영역 내에 디스플레이한다. 디지털 카메라에 의해 캡처된 디지털 이미지(또는 임의의 이전에 캡처된 디지털 이미지)를 메시지 입력 영역 내에 디스플레이하는 동안, 디바이스는 이미지 편집 모드를 활성화하는 입력(예컨대, 도 35w의 접촉(3546))을 검출한다. 이미지 편집 모드를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 메시징 사용자 인터페이스의 디스플레이를 디지털 사진 편집 사용자 인터페이스(예컨대, 도 35x의 사용자 인터페이스(3509))의 디스플레이로 대체하며, 디지털 카메라에 의해 캡처된 디지털 이미지(또는 이전에 캡처된 디지털 이미지)는 디지털 사진 편집 사용자 인터페이스 내에 디스플레이된다(예컨대, 도 35x의 디지털 이미지(3518-4)). 디지털 사진 편집 모드를 디스플레이하는 동안, 디바이스는 디지털 카메라에 의해 캡처된 디지털 사진(또는 이전에 캡처된 디지털 이미지)을 편집하는 입력을 검출한다. 예를 들어, 디바이스(100-1)로 하여금 도 35z의 콧수염(3562)을 그리거나, 도 35ab의 확대 루페(3566)를 배치하거나, 도 35ab 내지 도 35af의 확대 루페(3566)를 구성하거나, 도 35ah의 "Senor Snowman"(3578)을 타이핑하거나, 또는 도 35aj의 수기(3582)를 추가하게 하는 입력들. 디지털 카메라에 의해 캡처된 디지털 사진(또는 임의의 이전에 캡처된 디지털 이미지)을 편집하는 입력을 검출하는 것에 응답하여, 디바이스는 디지털 카메라에 의해 캡처된 디지털 이미지를 편집한다(4216)(예컨대, 위에서 설명한 바와 같이, 그리기, 확대, 타이핑 켜기, 수기 켜기). 디지털 카메라에 의해 캡처된 디지털 이미지를 편집한 후, 디바이스는 디지털 이미지 편집 모드를 종료하는 입력(예컨대, 도 35ak의 접촉(3586))을 검출한다. 디지털 이미지 편집 모드를 종료하는 입력을 검출하는 것에 응답하여, 디바이스는 디지털 카메라에 의해 캡처된 편집된 디지털 이미지(또는 이전에 캡처된 디지털 이미지)를 메시지 입력 영역 내에 디스플레이한다(예컨대, 도 35al에 예시된 바와 같음).
일부 실시예들에서, 디지털 이미지 편집 모드를 종료하는 입력을 검출하는 것에 응답하여, 디바이스는 디지털 카메라에 의해 캡처된 편집된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고, 편집된 이미지의 표현을 메시징 세션에 포함된 다른 사용자에 대응되는 적어도 하나의 다른 전자 디바이스로 전송한다.
일부 실시예들에서, 임의의 디지털 이미지(예컨대, 이전에 캡처된 디지털 이미지들(3518) 중 임의의 이미지)는 메신저 애플리케이션으로부터 편집될 수 있고, 이어서, 위의 설명에 따라, 메시징 세션에 게시될 수 있다.
일부 실시예들에서, 라이브 미리보기 이미지를 선택하는 입력을 검출하는 것에 응답하여, 그리고 디지털 이미지를 캡처한 후, 디바이스는 메시지 입력 영역 내에 디지털 이미지를 디스플레이한다(예컨대, 도 35k의 메시지 입력 영역(3502) 내에 디스플레이된 디지털 이미지(3518-5)). 디지털 이미지를 메시지 입력 영역 내에 디스플레이하는 동안, 디바이스는 메시지 입력 영역 내의 메시지(예컨대, 도 35m의 메시지(3530)와 같은 텍스트 메시지)의 입력을 검출한다. 메시지 입력 영역 내의 메시지의 입력을 검출한 후, 디바이스는 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하며(예컨대, 도 35n의 접촉(3532)과 같은 전송 아이콘 상의 탭 제스처를 검출함), 콘텐츠는 디지털 이미지 및 메시지를 포함한다. 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내의 디지털 이미지(예컨대, 도 35o의 대화 트랜스크립트(3503) 내의 디지털 이미지(3518-5))를 디스플레이하고, 디바이스는 대화 트랜스크립트 내에(예컨대, 메시지 구역 내에) 메시지를 디스플레이하며(4218), 메시지(예컨대, 메시지 구역)는 대화 트랜스크립트 내의 디지털 이미지와 부분적으로 중첩된다. 예를 들어, 메시지(3534)는 도 35o의 대화 트랜스크립트(3503) 내의 디지털 이미지(3518-5)와 부분적으로 중첩된다. 디바이스는 또한 메시징 세션에 포함된 적어도 하나의 타 사용자(예컨대, 도 35o의 "Abe")에 대응되는 하나 이상의 전자 디바이스들로 디지털 이미지의 표현 및 메시지를 송신하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 디지털 이미지의 표현 및 메시지(예컨대, 메시지 구역)를 디스플레이하며, 메시지(예컨대, 메시지 구역)는 메시징 세션에 대응되는 대화 트랜스크립트 내의 디지털 이미지의 표현과 부분적으로 중첩된다.
일부 실시예들에서, 라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 라이브 이미지를 선택하는 입력이 하나 이상의 입력-영역-디스플레이 기준들(예컨대, 입력의 접촉의 모션, 타이밍 및/또는 세기에 기초한 하나 이상의 기준들)을 충족한다는 결정에 따라, 디바이스는 (예컨대, 도 35d 및 도 35e에 예시된 바와 같이, 접촉(3512)을 포함하는 탭 제스처에 의해 입력-영역-디스플레이 기준들이 충족되는) 메시지 입력 영역 내에 디지털 카메라에 의해 캡처된 디지털 이미지를 디스플레이하고, 라이브 이미지를 선택하는 입력이 하나 이상의 트랜스크립트-영역-디스플레이 기준들 (예컨대, 입력의 접촉의 모션, 타이밍 및/또는 세기에 기초한, 입력-영역-디스플레이 기준들과 구별되는 하나 이상의 기준들)을 충족한다는 결정에 따라, 디바이스는 디지털 카메라에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로, 메시징 세션에 대응되는 디지털 카메라에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하기 위한 명령어들을 전송한다(4220) (예컨대, 도 35h 및 도 35i에 예시된 바와 같이, 트랜스크립트-영역-디스플레이 기준들이 접촉(3524)을 포함하는 누르기 제스처에 의해 충족됨).
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함한다. 복수의 디지털 이미지들 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출하는 것은 디바이스가 디스플레이 상에 라이브 이미지의 디스플레이에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉을 검출하는 것을 포함한다(4222). 하나 이상의 트랜스크립트-영역-디스플레이 기준들은 트랜스크립트-영역-디스플레이 기준들이 충족될 수 있도록 터치 감응형 표면 상의 제1 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구한다(예컨대, 접촉(3524)의 특성 세기가 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하기 때문에, 도 35i에서 트랜스크립트-영역-디스플레이 기준들이 충족됨). 하나 이상의 입력-영역-디스플레이 기준들은 터치 감응형 표면 상의 접촉의 특성 세기가 선택 기준들을 충족하기 위해 각자의 세기 임계치를 충족할 것을 요구하지 않는다(예컨대, 입력-영역-디스플레이 기준들은 접촉(3512)의 특성 세기가 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하지 않았음에도 불구하고, 도 35d 및 도 35e에서 충족됨).
일부 실시예들에서, 입력-영역-디스플레이 기준들은 제1 접촉의 특성 세기가 제1 세기 임계치와 제2 세기 임계치 사이에 있는 경우에 충족되고, 트랜스크립트-영역-디스플레이 기준들은 제1 접촉의 특성 세기가 제2 세기 임계치와 제3 세기 임계치 사이에 있는 경우에 충족된다. 일부 실시예들에서, 제2 세기 임계치는 제1 세기 임계치보다 높고, 제3 세기 임계치는 제2 세기 임계치보다 높다(예컨대, 이미지를 메시징 세션에 게시하기 전에 메시지 입력 영역 내에 디지털 이미지를 디스플레이하기 위한 탭 및 디지털 이미지를 메시징 세션에 직접 게시하기 위한 가볍게 누르기(또는 깊게 누르기)). 일부 실시예들에서, 제2 세기 임계치는 제1 세기 임계치보다 낮고, 제3 세기 임계치는 이미지를 메시징 세션에 게시하기 전에, 제2 세기 임계치보다 낮다(예컨대, 메시지 입력 영역 내에 디지털 이미지를 디스플레이하기 위한 깊게 누르기 및 디지털 이미지를 메시징 세션에 직접 게시하기 위한 탭).
일부 실시예들에서, 하나 이상의 입력-영역-디스플레이 기준들은 터치 감응형 표면 상의 탭 제스처(예컨대, 도 35d의 접촉(3512)을 포함하는 탭 제스처)의 검출 시(4224) 충족된다.
일부 실시예들에서, 복수의 디지털 이미지들 내에 디스플레이된 라이브 미리보기 이미지(또는 이전에 캡처된 디지털 이미지)를 선택하는 입력을 검출하기 전에, 디바이스는 제2 입력의 제1 부분을 검출하며, 이는 복수의 디지털 이미지들 내의 제1 디지털 이미지의 디스플레이에 대응되는 위치에서 미리보기 세기 임계치를 초과하는 제2 접촉의 특성 세기의 증가를 검출하는 것을 포함한다. 예를 들어, 디바이스(100-1)는 도 35r과 도 35s 사이의 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 초과하는 세기로 증가하는 접촉(3540)을 포함하는 입력을 검출한다. 일부 실시예들에서, 제1 디지털 이미지는 라이브 미리보기 이미지(예컨대, 라이브 미리보기 이미지(3514))이다. ISE, 제1 디지털 이미지는 이전에 획득된 이미지(예컨대, 도 35r의 이전에 캡처된 디지털 이미지(3518-4))이다.
제2 입력의 제1 부분을 검출하는 것에 응답하여, 디바이스는 제1 디지털 이미지의 크기를 증가시킨다(4226). 예를 들어, 접촉(3540)의 세기의 증가를 검출하는 것에 응답하여, 디바이스(100-1)는 도 35s의 디지털 이미지(3518-4)의 확대된 미리보기(3507)를 디스플레이한다. 일부 실시예들에서, 제1 디지털 이미지의 크기는 제2 접촉의 특성 세기의 증가에 따라 동적으로 증가된다. 제1 디지털 이미지의 크기를 증가시킨 후에, 제2 입력의 제2 부분을 검출하고, 이는 미리보기 세기 임계치 미만으로의 제2 접촉의 특성 세기의 감소를 검출하는 것, 및 제2 입력의 제2 부분을 검출하는 것에 응답하여, 제1 디지털 이미지의 크기를 감소시키는 것을 포함한다. 예를 들어, 디바이스(100-1)는 도 35s와 도 35t 사이의 접촉(3540)의 세기의 감소를 검출하고, 이에 응답하여, 도 35t의 디지털 이미지 트레이 내의 원래의 크기로 다시 이미지(3518-4)를 축소한다.
일부 실시예들에서, 디바이스는, 포커스 선택자가 복수의 디지털 이미지들 중 제1 디지털 이미지에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작하는 제1 스와이프 제스처 - 제1 스와이프 제스처는 포커스 선택자를 제1 방향으로 이동함 - 를 포함하는 사용자 입력을 검출한다(예컨대, 제1 디지털 이미지에서 시작하여 제1 방향으로(예컨대, 디스플레이의 에지를 향하여) 이동하는, 터치 감응형 디스플레이와 같은 터치 감응형 표면 상의 접촉에 의한 드래그 제스처를 검출하거나, 커서 또는 다른 포인터가 디스플레이 상의 제1 디지털 이미지에 있는 동안 시작하고, 포인터를 디스플레이 상의 제1 방향으로 이동하는 터치 감응형 표면 상의 접촉에 의한 스와이프 제스처를 검출함). 예를 들어, 디바이스(100-1)는 도 35p의 위치(3536-a)로부터 도 35q의 위치(3536-b)로의 접촉(3536)의 이동(3538)을 포함하는, 좌측으로의 스와이프 제스처를 검출한다.
제1 스와이프 제스처를 검출하는 것에 응답하여, 디바이스는 복수의 디지털 이미지들의 디스플레이를 디스플레이 상의 제1 방향으로 스크롤하며, 디스플레이를 스크롤하는 것은 복수의 디지털 이미지들 중 디스플레이의 제1 에지로부터 스크롤 오프된 디지털 이미지를 디스플레이하는 것을 중지하는 것 및 복수의 디지털 이미지들 중 새로운 디지털 이미지들을 디스플레이의 제2(예컨대, 반대편) 에지로부터 디스플레이하는 것을 포함한다(4228) (예컨대, 사진들은 스와이프 제스처의 방향으로 디스플레이로부터 스크롤 오프되고, 새로운 이미지들이 디스플레이의 반대편 에지로부터 디스플레이 상으로 옮겨짐). 예를 들어, 도 35q에서, 디바이스(100-1)는 디지털 이미지 트레이(3806)를 좌측으로 이동하고, 이동(3538)에 따라, 라이브 미리보기 이미지(3514)가 터치 스크린(112)의 좌측부로부터 슬라이드 오프하고, 추가적인 디지털 이미지들(3518-6 및 3518-7)이 터치 스크린(112)의 우측부로부터 디스플레이 상으로 슬라이드 온하는 외관을 생성한다.
일부 실시예들에서, 디바이스는 포커스 선택자가 복수의 디지털 이미지들 중 제1 디지털 이미지에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작하는 제2 스와이프 제스처를 포함하는 사용자 입력을 검출하며 - 제1 스와이프 제스처는 포커스 선택자를 제2 방향(예컨대, 제1 방향의 반대편)으로 이동함 -, 예컨대, 디바이스는 제1 디지털 이미지에서 시작하여 제2 방향으로(예컨대, 디스플레이의 반대편 에지를 향하여) 이동하는, 터치 감응형 디스플레이와 같은 터치 감응형 표면 상의 접촉에 의한 드래그 제스처를 검출하거나, 커서 또는 다른 포인터가 디스플레이 상의 제1 디지털 이미지에 있는 동안 시작하고, 포인터를 디스플레이 상의 제2 방향으로 이동하는 터치 감응형 표면 상의 접촉에 의한 스와이프 제스처를 검출한다. 예를 들어, 디바이스(100-1)는 도 38f의 위치(3812-a)로부터 도 38g의 위치(3828-b)로의 접촉(3812)의 이동을 포함하는, 우측으로의 스와이프 제스처를 검출한다.
제2 스와이프 제스처를 검출하는 것에 응답하여, 디바이스는 디지털 카메라에 대한 제1 어포던스 및 사진 라이브러리에 대한 제2 어포던스를 디스플레이한다(4230)(예컨대, 디스플레이의 제1 에지로부터 노출함). 예를 들어, 풀-스크린 카메라 어포던스(3816) 및 사진 라이브러리 어포던스(3818)는 도 38g의 접촉(3812)의 이동(3814)을 포함하는 스와이프 제스처의 검출에 응답하여, 터치 스크린(112)의 좌측으로부터 디지털 이미지 트레이(3806) 내에 노출된다.
일부 실시예들에서, 디지털 카메라에 대한 제1 어포던스(예컨대, 도 38h에서 카메라 어포던스(3816))를 디스플레이하는 동안, 디바이스는 디지털 카메라에 대한 제1 어포던스를 활성화하는 입력(예컨대, 도 38h의 접촉(3820))을 검출하고, 디지털 카메라에 대한 제1 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 메시징 사용자 인터페이스(예컨대, 도 38i에 디스플레이된 사용자 인터페이스(3822))의 적어도 일부분 위에 디지털 카메라용 사용자 인터페이스를 디스플레이한다(4232). 일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 (예컨대, 도 38i에서와 같이) 메시징 사용자 인터페이스의 디스플레이를 완전히 대체한다.
일부 실시예들에서, 사진 라이브러리에 대한 제2 어포던스(도 38o의 어포던스(3818))를 디스플레이하는 동안, 디바이스는 사진 라이브러리에 대한 제2 어포던스를 활성화하는 입력(예컨대, 도 38o의 접촉(3830))을 검출하고, 사진 라이브러리에 대한 제2 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 메모리에 저장된 하나 이상의 디지털 이미지들 및 디지털 카메라로부터의 라이브 미리보기 이미지를 포함하는 복수의 디지털 이미지들을 디스플레이하는 것을 중지하고, 디지털 사진 라이브러리(예컨대, 전자 디바이스 상에 저장된 사진 라이브러리 또는 원격 저장된 사진 라이브러리)로부터의 복수의 디지털 이미지들을 디스플레이한다(4234). 예를 들어, 도 38o의 접촉(3830)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 도 38o의 메신저 사용자 인터페이스(3500)의 디스플레이를 도 38p의 사진 라이브러리 사용자 인터페이스(3832)로 대체한다.
디지털 사진 라이브러리로부터의 다수의 디지털 이미지들을 디스플레이하는 동안, 디바이스는 디지털 사진 라이브러리로부터의 복수의 디지털 이미지들 중 디지털 이미지를 선택하는 입력을 검출하고, 디지털 사진 라이브러리로부터의 디지털 이미지를 선택하는 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내에 디지털 사진 라이브러리로부터의 디지털 이미지를 디스플레이한다. 일부 실시예들에서, 디지털 이미지는 이미지 선택 시 메시징 세션에 자동으로 게시된다. 일부 실시예들에서, 디지털 이미지는 메시지 입력 영역 내에 디스플레이되고, 사용자는 (예컨대, 탭 제스처로 전송 아이콘을 활성화시킴으로써) 이미지를 메시징 세션에 게시한다. 디바이스는 또한 디지털 사진 라이브러리로부터의 디지털 이미지의 표현을 메시징 세션(예컨대, "Abe")에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 디지털 사진 라이브러리로부터의 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
도 42a 내지 도 42d의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800, 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 42a 내지 도 42d에 관하여 위에 설명된 방법(4200)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(4200)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 43은 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(4300)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 도 43에 설명된 기능 블록들은 설명된 다양한 실시예들의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 43에 도시된 바와 같이, 전자 디바이스(4300)는 사용자 인터페이스들, 터치 감응형 표면 유닛(4304), 옵션적인 센서 유닛(들)(4306)을 디스플레이하도록 구성된 디스플레이 유닛(4302), 이미지들을 캡처하도록 구성된 디지털 카메라 유닛(4308), 메모리 유닛(4310) 및 디스플레이 유닛(4302), 디지털 카메라 유닛(4308), 터치 감응형 표면 유닛(4304) 및 메모리 유닛(4310)과 결합된 프로세싱 유닛(4312)을 포함한다. 일부 실시예들에서, 프로세싱 유닛은 디스플레이 인에이블 유닛(4314), 검출 유닛(4316), 이미지 캡처 유닛(4318), 송신 유닛(4320), 편집 유닛(4322) 및 스크롤 유닛(4324)을 포함한다.
프로세싱 유닛(4312)은 디스플레이 유닛 상에 메시징 사용자 인터페이스를 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 키보드, 메시지 입력 영역 및 디지털 이미지 어포던스를 포함한다. 프로세싱 유닛(4312)은 메시징 사용자 인터페이스를 디스플레이하는 동안, 디지털 이미지 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 디지털 이미지 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 키보드의 디스플레이를 복수의 디지털 이미지들의 디스플레이로 대체하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 더 구성되며, 복수의 디지털 이미지들은 메모리 유닛(4310)에 저장된 하나 이상의 디지털 이미지들 및 디지털 카메라 유닛(4308)으로부터의 라이브 미리보기 이미지를 포함한다. 프로세싱 유닛(4312)은 복수의 디지털 이미지들 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트의 디스플레이를 유지하는 동안, 디지털 카메라 유닛(4308)을 이용하여 디지털 이미지를 캡처하도록(예컨대, 이미지 캡처 유닛(4320)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4312)은 디지털 이미지를 캡처한 후, 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함), 캡처된 디지털 이미지의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하도록(예컨대, 송신 유닛(4320)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 캡처된 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에서, 프로세싱 유닛(4312)은 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고 캡처된 이미지의 표현을 송신하기 전에, 디지털 카메라 유닛(4308)에 의해 캡처된 이미지를 메시지 입력 영역 내에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 구성된다. 프로세싱 유닛(4312)은 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 메시지 입력 영역 내에 디스플레이하는 동안, 이미지 편집 모드를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 이미지 편집 모드를 활성화하는 입력을 검출하는 것에 응답하여, 메시징 사용자 인터페이스의 디스플레이를 디지털 사진 편집 사용자 인터페이스의 디스플레이로 대체하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 더 구성되며, 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지는 디지털 사진 편집 사용자 인터페이스 내에 디스플레이된다. 프로세싱 유닛(4312)은 디지털 사진 편집 모드를 디스플레이하는 동안, 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 사진을 편집하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 사진을 편집하는 입력을 검출하는 것에 응답하여, 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 편집하도록(예컨대, 편집 유닛(4322)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 편집한 후, 디지털 이미지 편집 모드를 종료하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 디지털 이미지 편집 모드를 종료하는 입력을 검출하는 것에 응답하여, 디지털 카메라 유닛(4308)에 의해 캡처된 편집된 디지털 이미지를 메시지 입력 영역 내에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4312)은 라이브 미리보기 이미지를 선택하는 입력을 검출하는 것에 응답하여, 그리고 디지털 이미지를 캡처한 후, 디지털 이미지를 메시지 입력 영역 내에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 구성된다. 프로세싱 유닛(4312)은 디지털 이미지를 메시지 입력 영역 내에 디스플레이하는 동안, 메시지 입력 영역 내의 메시지의 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 메시지 입력 영역 내의 메시지의 입력을 검출한 후, 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성되며, 콘텐츠는 디지털 이미지 및 메시지를 포함한다. 프로세싱 유닛(4312)은 메시지 입력영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함), 메시지를 대화 트랜스크립트 내에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 더 구성되며, 메시지는 대화 트랜스크립트 내의 디지털 이미지와 부분적으로 중첩되며, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 디지털 이미지의 표현 및 메시지를 송신하고(예컨대, 송신 유닛(4320)을 이용함), 하나 이상의 전자 디바이스들은 디지털 이미지의 표현 및 메시지를 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하며, 메시지는 메시징 세션에 대응되는 대화 트랜스크립트 내의 디지털 이미지의 표현과 부분적으로 중첩된다.
일부 실시예들에서, 프로세싱 유닛(4312)은, 라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 라이브 이미지를 선택하는 입력이 하나 이상의 입력-영역-디스플레이를 충족한다는 결정에 따라, 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 메시지 입력 영역 내에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 구성된다. 프로세싱 유닛(4312)은 또한, 라이브 이미지를 선택하는 입력이 하나 이상의 트랜스크립트-영역-디스플레이 기준들을 충족한다는 결정에 따라, 디지털 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함), 카메라 유닛(4308)에 의해 캡처된 디지털 이미지를 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하기 위한 명령어들을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 전송하도록(예컨대, 송신 유닛(4320)을 이용함) 더 구성된다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 유닛(4304) 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서 유닛들(4306)을 포함한다. 일부 실시예들에서, 복수의 디지털 이미지 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출하는 것은 디스플레이 유닛 상의 라이브 이미지의 디스플레이에 대응되는 터치 감응형 표면 유닛(4304) 상의 위치에서 제1 접촉을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 트랜스크립트-영역-디스플레이 기준들은 트랜스크립트-영역-디스플레이 기준들이 충족되기 위해 터치 감응형 표면 유닛(4304) 상의 제1 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구한다. 일부 실시예들에서, 하나 이상의 입력-영역-디스플레이 기준들은 선택 기준들이 충족되기 위해 터치 감응형 표면 유닛(4304) 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는다.
일부 실시예들에서, 하나 이상의 입력-영역-디스플레이 기준들은 터치 감응형 표면 유닛(4304) 상의 탭 제스처의 검출 시 충족된다.
일부 실시예들에서, 프로세싱 유닛(4312)은 복수의 디지털 이미지들 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출하기 전에, 제2 입력의 제1 부분을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 구성되며, 이는 복수의 디지털 이미지들 내의 제1 디지털 이미지의 디스플레이에 대응되는 위치에서 미리보기 세기 임계치를 초과하는 제2 접촉의 특성 세기의 증가를 검출하는 것을 포함한다. 프로세싱 유닛(4312)은 또한 제2 입력의 제1 부분을 검출하는 것에 응답하여, 제1 디지털 이미지의 크기를 증가시키도록 더 구성된다. 프로세싱 유닛(4312)은 제1 디지털 이미지의 크기를 증가시킨 후, 제2 입력의 제2 부분을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성되며, 이는 미리보기 세기 임계치 미만으로의 제2 접촉의 특성 세기의 감소를 검출하는 것을 포함한다. 프로세싱 유닛(4312)은 제2 입력의 제2 부분을 검출하는 것에 응답하여, 제1 디지털 이미지의 크기를 감소시키도록 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4312)은 포커스 선택자가 복수의 디지털 이미지들 중 제1 디지털 이미지에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작하는 제1 스와이프 제스처 - 제1 스와이프 제스처는 포커스 선택자를 제1 방향으로 이동함 - 를 포함하는 사용자 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 구성된다. 프로세싱 유닛(4312)은 제1 스와이프 제스처를 검출하는 것에 응답하여, 복수의 디지털 이미지들의 디스플레이를 디스플레이 상의 제1 방향으로 스크롤하도록(예컨대, 스크롤 유닛(4324)을 이용함) 더 구성되며, 디스플레이를 스크롤하는 것은 복수의 디지털 이미지들 중 디스플레이의 제1 에지로부터 스크롤 오프된 디지털 이미지를 디스플레이하는 것을 중지하는 것 및 복수의 디지털 이미지들 중 새로운 디지털 이미지들을 디스플레이의 제2 에지로부터 디스플레이하는 것을 포함한다.
일부 실시예들에서, 프로세싱 유닛(4312)은 포커스 선택자가 복수의 디지털 이미지들 중 제1 디지털 이미지에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작하는 제2 스와이프 제스처 - 제1 스와이프 제스처는 포커스 선택자를 제2 방향으로 이동함 - 를 포함하는 사용자 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 구성된다. 프로세싱 유닛(4312)은 제2 스와이프 제스처의 검출에 응답하여, 디지털 카메라 유닛(4308)에 대한 제1 어포던스 및 사진 라이브러리에 대한 제2 어포던스를 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4312)은 디지털 카메라 유닛(4308)에 대한 제1 어포던스를 디스플레이하는 동안, 디지털 카메라 유닛(4308)에 대한 제1 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 구성된다. 프로세싱 유닛(4312)은 디지털 카메라 유닛(4308)에 대한 제1 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디지털 카메라 유닛(4308)에 대한 사용자 인터페이스를 메시징 사용자 인터페이스의 적어도 일부분 위로 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4312)은 사진 라이브러리에 대한 제2 어포던스를 디스플레이하는 동안, 사진 라이브러리에 대한 제2 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 구성된다. 프로세싱 유닛(4312)은 또한, 사진 라이브러리에 대한 제2 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 메모리 유닛(4310) 내에 저장된 하나 이상의 디지털 이미지들 및 디지털 카메라 유닛(4308)으로부터의 라이브 미리보기 이미지를 포함하는 복수의 디지털 이미지들을 디스플레이하는 것을 중지하고(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함), 디지털 사진 라이브러리로부터의 복수의 디지털 이미지들을 디스플레이하도록 더 구성된다. 프로세싱 유닛(4312)은 디지털 사진 라이브러리로부터의 복수의 디지털 이미지들을 디스플레이하는 동안, 디지털 사진 라이브러리로부터의 복수의 디지털 이미지들 중 디지털 이미지를 선택하는 입력을 검출하도록(예컨대, 검출 유닛(4316)을 이용함) 더 구성된다. 프로세싱 유닛(4312)은 디지털 사진 라이브러리로부터의 디지털 이미지를 선택하는 입력을 검출하는 것에 응답하여, 디지털 사진 라이브러리로부터의 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4314)을 이용함), 디지털 사진 라이브러리로부터의 디지털 이미지의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하도록(예컨대, 송신 유닛(4320)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 디지털 사진 라이브러리로부터의 디지털 이미지의 표현을 디스플레이한다.
일부 실시예들에서, 메모리 유닛(4310)에 저장되고, 디지털 이미지 어포던스를 활성화하는 입력을 검출하는 것에 응답하여 디스플레이되는 하나 이상의 디지털 이미지들은 메시징 세션 동안 캡처된 디지털 이미지들로 이루어진다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 42a 내지 도 42d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 43에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(4204 및 4210)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 44a 내지 도 44d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 멀티미디어 콘텐츠를 검색 및 공유하는 방법(4400)을 예시하는 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(4400)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(700)은 메시징 애플리케이션 내의 멀티미디어 콘텐츠를 검색 및 공유하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 멀티미디어 콘텐츠를 검색 및 공유하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우, 사용자로 하여금 메시징 애플리케이션 내의 멀티미디어 콘텐츠를 보다 빠르고 보다 효율적으로 검색 및 공유할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 사용자 인터페이스(예컨대, 도 36a 및 도 36y의 메시징 애플리케이션의, 예를 들어, 사용자 인터페이스(3500))를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 도 36a 및 도 36y의 아바타(3510)에 의해 표현된 다른 전자 디바이스(예를 들어, "Abe")의) 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 36a 및 도 36y의 디스플레이의 제1 영역 내에 디스플레이된, 예를 들어, 대화 트랜스크립트(3503)) 및 검색 어포던스(예컨대, 도 36a의 검색 어포던스(3602) 또는 도 36y의 검색 론칭 아이콘(3607))을 포함한다(4402). 일부 실시예들에서, 메시징 사용자 인터페이스는 메시징 세션에 게시될 준비가 된 콘텐츠를 디스플레이하도록 구성된 메시지 입력 영역(예컨대, 도 36a 및 도 36y의 메시지 콘텐츠 입력 영역(3502))을 포함한다. 일부 실시예들에서, 메시징 사용자 인터페이스는 예컨대, 디스플레이의 제2 영역 내에 디스플레이된 키보드(예컨대, 도 36a의 디지털 키보드(3501))를 포함한다.
일부 실시예들에서, 검색 어포던스는 메시징 사용자 인터페이스 내의 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들 중 검색 애플리케이션에 대한 론칭 아이콘으로서 디스플레이된다(예컨대, 검색 론칭 아이콘(3607)이 론칭 아이콘들(3601, 3603, 3605, 3609, 3611, 3613 및 3615)을 갖는 애플리케이션 선택 트레이(3654) 내에 디스플레이됨). 일부 실시예들에서, 검색 어포던스는 메시징 애플리케이션 내의 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들로서 디스플레이되는 검색 애플리케이션 론칭 아이콘이다(4404).
일부 실시예들에서, 메시징 사용자 인터페이스 내의 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하기 전에, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, (예컨대, 디스플레이의 제2 영역 내에 디스플레이된) 키보드, 메시지 입력 영역 및 애플리케이션 어포던스를 포함한다. 예를 들어, 도 36w에서, 사용자 인터페이스(3500)는 대화 트랜스크립트(3503), 키보드(3501), 메시지 콘텐츠 입력 영역(3502) 및 애플리케이션 어포던스(3508)를 포함한다. 디바이스는 애플리케이션 어포던스를 활성화하는 사용자 입력(예컨대, 도 36x의 접촉(3652)을 포함하는 입력)을 검출하고, 애플리케이션 어포던스를 활성화하는 사용자 입력을 검출하는 것에 응답하여, 디바이스는 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이로 키보드의 디스플레이를 대체한다(4406)(예컨대, 도 36y의 애플리케이션 선택 트레이(3654)가 도 36x의 디지털 키보드(3501)를 대체함).
일부 실시예들에서, 메시징 사용자 인터페이스는 애플리케이션 어포던스의 검출 전에 디지털 키보드를 디스플레이하지 않는다(예컨대, 대화 트랜스크립트가 최대화되고 애플리케이션 어포던스의 디스플레이를 포함함). 예를 들어, 도 38aj 내지 도 38am에 예시된 바와 같이.
일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드 위로 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드를 디스플레이하는 것을 중지하고, 키보드가 디스플레이되었던 곳에 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하는 것을 포함한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 검색 어포던스를 활성화하는 입력을 검출한다(4408). 예를 들어, 입력은 도 36b의 검색 어포던스(3602) 상의 접촉(3602) 또는 도 36z의 검색 애플리케이션 론칭 아이콘(3607) 상의 접촉(3656)을 포함하는 입력.
검색 어포던스(4410)를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고, 검색 사용자 인터페이스를 디스플레이하며, 검색 사용자 인터페이스는 검색 필드 및 복수의 카테고리화된 콘텐츠 아이템들을 포함하며, 복수의 카테고리화된 콘텐츠 아이템들은 전자 디바이스 상에 저장된 콘텐츠 아이템 및 인터넷으로부터의 콘텐츠 아이템 중 적어도 하나를 포함한다. 예를 들어, 도 36z의 검색 애플리케이션 론칭 아이콘(3607)을 활성화하는 것에 응답하여, 디바이스(3500)는 메신저 사용자 인터페이스(3500)를 디스플레이하는 것을 중지하고, 도 36aa의 검색 사용자 인터페이스(3658)를 디스플레이하며, 검색 사용자 인터페이스는 게시를 위한 추천 콘텐츠로서 카테고리화된 콘텐츠 아이템들(3662, 3664, 3666, 3668, 3670, 3672)(예컨대, 디바이스의 현재 위치(3662), 인터넷으로부터 액세스되는 뉴스 기사(3664), 디바이스 상에 재생되는 디지털 레코딩(3666)) 및 최근에 공유된 콘텐츠(예컨대, 인터넷으로부터 액세스된 뉴스 기사(3668), 인터넷으로부터 액세스된 영화 예고편(3670), 및 디지털 이미지(3672))를 포함한다.
일부 실시예들에서, 콘텐츠 아이템들은 디바이스 상에 열려 있는 콘텐츠, 디바이스 상에서 최근 액세스된 콘텐츠(예컨대, 도 36aa의 콘텐츠(3662, 3664, 및 3666)), 메시징 세션과 관련된 콘텐츠(예컨대, 메시징 세션의 임의의 사용자들과 연관된 것으로 식별된 콘텐츠), 디바이스 상에 열려 있거나 최근에 열렸던 웹 콘텐츠(예컨대, 도 36aa의 콘텐츠(3664, 3668, 및 3670)), 메시징 세션과 관련된 웹 콘텐츠, 디바이스의 위치와 관련된 콘텐츠(예컨대, 도 36aa의 콘텐츠(3662)), 최근에 공유된 콘텐츠(예컨대, 도 36aa의 콘텐츠(3668, 3670, 및 3672)), 최근에 수신된 콘텐츠 및/또는 트렌딩 중인 콘텐츠(예컨대, 소셜 네트워킹 애플리케이션에서; 예컨대, 도 36ae의 콘텐츠(3678, 3680, 3668, 및 3669))와 같은 추천 콘텐츠를 포함한다. ISE, 콘텐츠 아이템들은 검색 필드의 입력과 관련된다(예컨대, 콘텐츠(3664, 3678, 3680, 3670, 3682 및 3684)는 도 36f의 단어 "Meteorites"의 검색으로부터의 결과임). 일부 실시예들에서, 콘텐츠는 리치 링크(rich link)들, 음악, 애플리케이션 링크들 및/또는 웹 링크들을 포함한다. 일부 실시예들에서, 복수의 카테고리화된 콘텐츠 아이템들은 콘텐츠 카테고리들에 의해 배열된 콘텐츠 아이템들의 스크롤가능한 목록으로서 디스플레이된다(예컨대, 도 36ag 내지 도 36h의 추가적인 콘텐츠는 검색 결과를 좌측으로 스크롤함으로써 액세스됨).
검색 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 (예컨대, 제1 콘텐츠 아이템 상의 탭 제스처를 검출하는, 터치 감응형 디스플레이를 갖는 전자 디바이스에 대한) 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출한다. 예를 들어, 디바이스(100-1)는 도 36ab의 영화 예고편(3670) 상의 접촉(3674) 및 도 36ai의 영화 예고편(3684) 상의 접촉(3690)을 포함하는 탭 제스처를 검출한다.
복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출한 후, 디바이스는 검색 사용자 인터페이스를 디스플레이하는 것을 중지하고, 메시징 사용자 인터페이스 내의 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다(4414). 예를 들어, 도 36ab의 영화 예고편(3670) 상의 접촉(3674)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 검색 사용자 인터페이스(3658)의 디스플레이를 도 36ac의 메시징 사용자 인터페이스(3500)의 디스플레이로 대체한다. 유사하게, 도 36ai의 영화 예고편(3684) 상의 접촉(3690)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 검색 사용자 인터페이스(3658)의 디스플레이를 도 36aj의 메시징 사용자 인터페이스(3500)의 디스플레이로 대체한다.
디바이스는 또한 제1 콘텐츠 아이템(예컨대, 제1 콘텐츠 아이템에 관련된 정보)을 메시징 세션에 포함된 적어도 하나의 타 사용자(예컨대, "Abe")에 대응되는 하나 이상의 (예컨대, 제2) 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다(4416).
일부 실시예들에서, 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것은 포커스 선택자가 제1 콘텐츠 아이템 위에 있는 동안 제1 입력을 검출하는 것, 및 선택된 제1 콘텐츠 아이템을 메시지 입력 영역 내에 디스플레이하는 것을 포함한다. 예를 들어, 도 36ai 및 도 36aj에 예시된 바와 같이. 일부 실시예들에서, 메시지 입력 영역 내에 선택된 콘텐츠 아이템을 디스플레이하는 동안, 디바이스는 메시지 입력 영역의 콘텐츠를 메시징 세션의 대화 트랜스크립트에 게시하기 위한 제2 입력을 검출한다. 예를 들어, 디바이스(100-1)는 도 36ak의 전송 어포던스(3520) 상의 접촉(3696)을 포함하는 탭 입력을 검출하고, 도 36al의 대화 트랜스크립트(3503) 내에 디스플레이된 바와 같이, 영화 예고편(3684)을 메시징 세션에 게시한다.
일부 실시예들에서, 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것에 응답하여, 제1 콘텐츠 아이템이 메시징 세션의 대화 트랜스크립트 내에 디스플레이된다(예컨대, 메시징 세션에 직접 게시됨). 예를 들어, 도 36ab의 영화 예고편(3670) 상의 접촉(3674)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 도 36ac의 대화 트랜스크립트(3503) 내에 디스플레이된 바와 같이, 영화 예고편을 메시징 세션에 직접 게시한다.
일부 실시예들에서, 검색 사용자 인터페이스를 디스플레이하는 동안, 그리고 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하기 전에, 디바이스는 검색 필드 내에 질의의 입력을 수신하고, 검색 필드 내에 질의의 입력을 수신하는 것에 응답하여, 디스플레이된 복수의 카테고리화된 콘텐츠 아이템들을 업데이트하여 질의를 만족하는 콘텐츠 아이템들을 디스플레이한다(4418). 예를 들어, 도 36ad의 검색 사용자 인터페이스(3658)를 디스플레이하는 동안, 디바이스(100-1)는 검색 필드(3660) 내에 검색 질의 "Meterorites"의 입력을 수신하고, 이에 응답하여, 도 36af에서 질의를 만족하는 업데이트된 콘텐츠 아이템들을 갖는 검색 사용자 인터페이스(3661)를 디스플레이한다.
일부 실시예들에서, 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것에 응답하여, 디바이스(4420)는 제1 콘텐츠 아이템을 메시지 입력 영역 내에 디스플레이하고, 제1 콘텐츠 아이템을 메시지 입력 영역 내에 디스플레이하는 동안, 메시지 입력 영역 내에 메시지의 입력을 수신한다(예컨대, 텍스트 메시지). 메시지 입력 영역 내에 메시지의 입력을 수신한 후, 디바이스는 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하며(예컨대, 전송 아이콘 상의 탭 제스처를 검출함), 콘텐츠는 제1 콘텐츠 아이템 및 메시지를 포함한다. 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 디바이스는 제1 콘텐츠 아이템을 대화 트랜스크립트 내에 디스플레이하고, (예컨대, 메시지 구역 내의) 메시지를 대화 트랜스크립트 내에 디스플레이하고 - 메시지(예컨대, 메시지 구역)는 대화 트랜스크립트 내의 제1 콘텐츠 아이템과 부분적으로 중첩됨 -, 제1 콘텐츠 아이템 및 메시지를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템 및 메시지를 디스플레이하고, 메시지(예컨대, 메시지 구역)는 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 콘텐츠 아이템과 부분적으로 중첩된다.
일부 실시예들에서, 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것에 응답하여, 디바이스는: 제1 콘텐츠 아이템을 선택하는 입력이 하나 이상의 입력-영역-디스플레이 기준들(예컨대, 입력의 접촉의 이동, 타이밍 및/또는 세기에 기초한 하나 이상의 기준들)을 충족한다는 결정에 따라, (예컨대, 도 36ai 및 도 36aj에 예시된 바와 같이) 메시지 입력 영역 내에 제1 콘텐츠 아이템을 디스플레이하고, 제1 콘텐츠 아이템을 선택하는 입력이 하나 이상의 트랜스크립트-영역-디스플레이 기준들 (예컨대, 입력의 접촉의 모션, 타이밍 및/또는 세기에 기초한, 입력-영역-디스플레이 기준들과 구별되는 하나 이상의 기준들)을 충족한다는 결정에 따라, (예컨대, 도 36ab 및 도 36ac에 예시된 바와 같이) 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이하고, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 콘텐츠 아이템을 송신하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다(4422).
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함한다. 복수의 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것은 디스플레이 상에 제1 콘텐츠 아이템의 디스플레이에 대응되는 터치 감응형 표면 상의 위치에서 제1 접촉을 검출하는 것을 포함한다. 하나 이상의 트랜스크립트-영역-디스플레이 기준들은 트랜스크립트-영역-디스플레이 기준들이 충족될 수 있도록 터치 감응형 표면 상의 제1 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구한다(예컨대, 접촉(3674)의 특성 세기가 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 충족한다면, 도 35ab에서 트랜스크립트-영역-디스플레이 기준들이 충족됨). 하나 이상의 입력―영역-디스플레이 기준들은 터치 감응형 표면 상의 접촉의 특성 세기가 선택 기준들을 충족하기 위해 각자의 세기 임계치를 충족할 것을 요구하지 않는다(예컨대, 입력-영역-디스플레이 기준들은 접촉(3690)의 특성 세기가 미리 정의된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하지 않음에도 불구하고, 도 36ai 및 도 36aj에서 충족됨).
일부 실시예들에서, 입력-영역-디스플레이 기준들은 제1 접촉의 특성 세기가 제1 세기 임계치와 제2 세기 임계치 사이에 있는 경우에 충족되고, 트랜스크립트-영역-디스플레이 기준들은 제1 접촉의 특성 세기가 제2 세기 임계치와 제3 세기 임계치 사이에 있는 경우에 충족된다(4424). 일부 실시예들에서, 제2 세기 임계치는 제1 세기 임계치보다 높고, 제3 세기 임계치는 제2 세기 임계치보다 높다(예컨대, 콘텐츠 아이템을 메시징 세션에 게시하기 전에 메시지 입력 영역 내에 콘텐츠 아이템을 디스플레이하기 위한 탭 및 제1 콘텐츠 아이템을 메시징 세션에 직접 게시하기 위한 가볍게 누르기(또는 깊게 누르기)). 일부 실시예들에서, 제2 세기 임계치는 제1 세기 임계치보다 낮고, 제3 세기 임계치는 제2 세기 임계치보다 낮다(예컨대, 콘텐츠 아이템을 메시징 세션에 게시하기 전에 메시지 입력 영역 내에 콘텐츠 아이템을 디스플레이하기 위한 가볍게 누르기(또는 깊게 누르기) 및 제1 콘텐츠 아이템을 메시징 세션에 직접 게시하기 위한 탭).
일부 실시예들에서, 터치 감응형 표면 상의 탭 제스처(예컨대, 도 36ai의 접촉(3690)을 포함하는 탭 제스처)의 검출 시 하나 이상의 입력-영역-디스플레이 기준들이 충족된다(2426).
일부 실시예들에서, 메시징 사용자 인터페이스 내의 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이하는 동안, 디바이스는 제1 콘텐츠 아이템에 대응되는 위치에서 제1 접촉에 의한 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 제1 접촉이 하나 이상의 확장 기준들을 충족한다는 결정에 따라(예컨대, 탭, 깊게 누르기 또는 길게 누르기 제스처), 디바이스는 제1 콘텐츠 아이템과 연관된 콘텐츠의 확장된 버전을 디스플레이한다(4428). 예를 들어, 디바이스(100-1)는 도 36p의 대화 트랜스크립트(3503) 내에 디스플레이된 뉴스 기사(3634) 상의 접촉(3636)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스(100-1)는 도 36q의 검색 트레이(3629) 및 대화 트랜스크립트(3503)의 일부분들 위로 디스플레이된 영역(3638)의 뉴스 기사와 연관된 웹 페이지에 액세스한다. 이어서, 디바이스(100-1)는 도 36r의 위치(3640-a)로부터 도 36s의 위치(3640-b)로의 접촉(3640)의 이동(3642)을 포함하는 스와이프 제스처를 검출하는 것에 응답하여, 영역(3638)에서 웹사이트로부터의 더 많은 뉴스 기사를 디스플레이한다.
일부 실시예들에서, 콘텐츠의 확장된 버전은 웹사이트로의 내비게이션, 대화 트랜스크립트 내에 디스플레이된 제1 콘텐츠 아이템보다 많은 콘텐츠를 디스플레이하는 애플리케이션 미리보기 플래터의 디스플레이, 비디오의 디스플레이, 또는 메시징 애플리케이션 내의 대화형 애플리케이션의 열림이다.
일부 실시예들에서, 디바이스는 대화 트랜스크립트 내에서, 전자 디바이스 상에 저장된 추가적인 콘텐츠와 연관된 단어 또는 구문 및 인터넷 상에서 이용가능한 추가적인 콘텐츠(예컨대, 비즈니스/레스토랑 정보, 음악 정보, 영화 정보; 시리/온톨로지(Siri/ontology) 애플리케이션들의 상용구 삽입)를 검출한다(4430). 예를 들어, 디바이스(100-1)는 그에 대한 정보가 인터넷 상에서 이용가능한 배우의 이름으로서 문구(4103)("Astron Omer")를 인식한다. 이에 응답하여, 디바이스는 도 41d의 구문(4103)의 하이라이팅(4116)을 디스플레이하고, 사용자에게 구문을 선택하도록 프롬프트한다. 이어서, 디바이스는 도 41e에서 구문(4103) 상의 접촉(4118)을 포함하는 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 도 41f에서 구문(4103)의 인터넷 검색의 카테고리화된 결과들 - 새로운 기사들(3664, 3678, 및 3680) 및 영화 미리보기들(3670, 3682 및 3684) - 을 디스플레이하는 검색 사용자 인터페이스(3661)를 디스플레이한다. 디바이스는 도 41g의 접촉(4120)을 포함하는 영화 미리보기(3670) 상의 탭 제스처를 검출한다. 이에 응답하여, 디바이스는 메시징 세션에 영화 미리보기(3670)를 게시하여, 도 41h의 대화 트랜스크립트(3503) 내에 영화 미리보기(3670)를 디스플레이한다. 일부 실시예들에서, 검색 어포던스를 활성화하는 입력을 검출하는 것에 응답하여 단어 또는 구문의 검출이 수행된다. 검색 사용자 인터페이스 내에 디스플레이된 복수의 카테고리화된 콘텐츠 아이템들은 대화 트랜스크립트 내에서 검출된 단어 또는 구문과 연관된 전자 디바이스 상에 저장된 콘텐츠 아이템을 포함한다.
일부 실시예들에서, 디바이스는 대화 트랜스크립트 내에서, 전자 디바이스 상에 저장된 추가적인 콘텐츠와 연관된 단어 또는 구문 및 인터넷 상에서 이용가능한 추가적인 콘텐츠(예컨대, 비즈니스/레스토랑 정보, 음악 정보, 영화 정보; 시리/온톨로지 애플리케이션들의 상용구 삽입)를 검출한다(4432). 일부 실시예들에서, 검색 어포던스를 활성화하는 입력을 검출하는 것에 응답하여 단어 또는 구문의 검출이 수행된다. 검색 사용자 인터페이스 내에 디스플레이된 복수의 카테고리화된 콘텐츠 아이템들은 대화 트랜스크립트 내에서 검출된 단어 또는 구문과 연관된 인터넷으로부터의 콘텐츠 아이템을 포함한다.
도 44a 내지 도 44d의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 44a 내지 도 44d에 관하여 위에 설명된 방법(700)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(4400)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 45는 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(4500)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 45에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 45에 도시된 바와 같이, 전자 디바이스(4500)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(4502), 터치 감응형 표면 유닛(4504), 및 디스플레이 유닛(4502) 및 터치 감응형 표면 유닛(4504)과 결합된 프로세싱 유닛(4506)을 포함한다. 일부 실시예들에서, 프로세싱 유닛은 디스플레이 인에이블 유닛(4508), 검출 유닛(4510), 송신 유닛(4512), 선택 유닛(4514) 및 업데이트 유닛(4316)을 포함한다.
프로세싱 유닛(4506)은 메시징 사용자 인터페이스를 디스플레이 유닛(4502) 상에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함) 구성되며, 메시징 사용자 인터페이스는 전자 디바이스(4500)의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 검색 어포던스를 포함한다. 프로세싱 유닛(4506)은 메시징 사용자 인터페이스를 디스플레이하는 동안, 검색 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(4510)을 이용함) 더 구성된다. 프로세싱 유닛(4506)은 검색 어포던스를 활성화하는 입력을 검출하는 것에 응답하여: 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 디스플레이 인에이블 유닛(4508)을 사용하여), 검색 사용자 인터페이스를 디스플레이하도록 더 구성되며, 검색 사용자 인터페이스는 검색 필드 및 복수의 카테고리화된 콘텐츠 아이템들을 포함하고, 복수의 카테고리화된 콘텐츠 아이템들은 적어도 전자 디바이스(4500) 상에 저장된 콘텐츠 아이템 및 인터넷으로부터의 콘텐츠 아이템을 포함한다. 프로세싱 유닛(4506)은 검색 사용자 인터페이스를 디스플레이하는 동안, 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하도록(예컨대, 검출 유닛(4510)을 이용함) 더 구성된다. 프로세싱 유닛(4506)은 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출한 후, 검색 사용자 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함), 메시징 사용자 인터페이스 내의 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이하고, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 콘텐츠 아이템을 송신하도록(예컨대, 송신 유닛(4512)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다.
일부 실시예들에서, 프로세싱 유닛(4506)은 검색 사용자 인터페이스를 디스플레이하는 동안, 그리고 복수의 카테고리화된 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하기 전에, 검색 필드 내에 질의의 입력을 수신하도록(예컨대, 수신 입력 유닛(4518)을 이용함) 구성된다. 프로세싱 유닛(4506)은 검색 필드 내에 질의의 입력을 수신하는 것에 응답하여, 질의를 만족하는 콘텐츠 아이템들을 디스플레이하기 위해 디스플레이된 복수의 카테고리화된 콘텐츠 아이템들을 업데이트하도록(예컨대, 업데이트 유닛(4516)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4506)은 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것에 응답하여, 제1 콘텐츠 아이템을 메시지 입력 영역 내에 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함) 구성된다. 프로세싱 유닛(4506)은 제1 콘텐츠 아이템을 메시지 입력 영역 내에 디스플레이하는 동안, 메시지 입력 영역 내에 메시지의 입력을 수신하도록(예컨대, 수신 입력 유닛(4518)을 이용함) 더 구성된다. 프로세싱 유닛(4506)은 메시지 입력 영역 내에 메시지의 입력을 수신한 후, 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하도록 더 구성되며, 콘텐츠는 제1 콘텐츠 아이템 및 메시지를 포함한다. 프로세싱 유닛(4506)은 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 콘텐츠 아이템을 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함), 메시지를 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함) - 메시지는 대화 트랜스크립트 내의 제1 콘텐츠 아이템과 부분적으로 중첩됨 -, 제1 콘텐츠 아이템 및 메시지를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스로 송신하도록(예컨대, 송신 유닛(4512)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템 및 메시지를 디스플레이하고, 메시지는 메시징 세션에 대응되는 대화 트랜스크립트 내의 제1 콘텐츠 아이템과 부분적으로 중첩된다.
일부 실시예들에서, 프로세싱 유닛(4506)은 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것에 응답하여, 제1 콘텐츠 아이템을 선택하는 입력이 하나 이상의 입력-영역-디스플레이 기준들을 충족한다는 결정에 따라, 제1 콘텐츠 아이템을 메시지 입력 영역 내에 디스플레이한다(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함). 프로세싱 유닛(4506)은 또한, 제1 콘텐츠 아이템을 선택하는 입력이 하나 이상의 트랜스크립트-영역-디스플레이 기준들을 충족한다는 결정에 따라, 제1 콘텐츠 아이템을 대화 트랜스크립트 내에 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함), 제1 콘텐츠 아이템을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하도록(예컨대, 송신 유닛(4512)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이한다.
일부 실시예들에서, 전자 디바이스(4500)는 터치 감응형 표면 유닛(4504) 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서 유닛들을 포함한다. 일부 실시예들에서, 복수의 콘텐츠 아이템들 중 제1 콘텐츠 아이템을 선택하는 입력을 검출하는 것은 디스플레이 유닛(4502) 상의 제1 콘텐츠 아이템의 디스플레이에 대응되는 터치 감응형 표면 유닛(4504) 상의 위치에서 제1 접촉을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 트랜스크립트-영역-디스플레이 기준들은 트랜스크립트-영역-디스플레이 기준들이 충족되기 위해 터치 감응형 표면 유닛(4504) 상의 제1 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구한다. 일부 실시예들에서, 하나 이상의 입력-영역-디스플레이 기준들은 선택 기준들이 충족되기 위해 터치 감응형 표면 유닛(4504) 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는다.
일부 실시예들에서, 하나 이상의 입력-영역-디스플레이 기준들은 터치 감응형 표면 유닛(4504) 상의 탭 제스처의 검출 시 충족된다.
일부 실시예들에서, 프로세싱 유닛(4506)은 메시징 사용자 인터페이스 내의 대화 트랜스크립트 내에 제1 콘텐츠 아이템을 디스플레이하는 동안, 제1 콘텐츠 아이템에 대응되는 위치에서 제1 접촉에 의한 제1 입력을 검출하도록(예컨대, 검출 유닛(4510)을 이용함) 구성된다. 프로세싱 유닛(4506)은 제1 입력을 검출하는 것에 응답하여, 제1 접촉이 하나 이상의 확장 기준들을 충족한다는 결정에 따라, 제1 콘텐츠 아이템과 연관된 콘텐츠의 확장된 버전을 디스플레이하도록(예컨대, 디스플레이 인에이블 유닛(4508)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4506)은 대화 트랜스크립트 내에서, 전자 디바이스(4500) 상에 저장된 추가적인 콘텐츠 및 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하도록 구성되며, 검색 사용자 인터페이스 내에 디스플레이된 복수의 카테고리화된 콘텐츠 아이템들은 대화 트랜스크립트 내에서 검출된 단어 또는 구문과 연관된 전자 디바이스(4500) 상에 저장된 콘텐츠 아이템을 포함한다.
일부 실시예들에서, 프로세싱 유닛(4506)은 대화 트랜스크립트 내에서, 전자 디바이스(4500) 상에 저장된 추가적인 콘텐츠 및 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을, 검출하도록 구성되며, 검색 사용자 인터페이스 내에 디스플레이된 복수의 카테고리화된 콘텐츠 아이템들은 대화 트랜스크립트 내에서 검출된 단어 또는 구문과 연관된 인터넷으로부터의 콘텐츠 아이템을 포함한다.
일부 실시예들에서, 검색 어포던스는 메시징 애플리케이션 내의 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들로서 디스플레이되는 검색 애플리케이션 론칭 아이콘이다.
일부 실시예들에서, 프로세싱 유닛(4506)은 메시징 사용자 인터페이스 내에서 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하기 전에 - 메시징 사용자 인터페이스는 전자 디바이스(4500)의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 키보드, 메시지 입력 영역 및 애플리케이션 어포던스를 포함함 - : 애플리케이션 어포던스를 활성화하는 사용자 입력을 검출(예컨대, 검출 유닛(4510)을 이용함)하도록 구성된다. 프로세싱 유닛(4506)은, 애플리케이션 어포던스를 활성화하는 사용자 입력을 검출하는 것에 응답하여, 키보드의 디스플레이를 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이로 대체하도록 더 구성된다.
도 44a 내지 도 44d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 43에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(4408 및 4412)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 46a 내지 도 46c는 일부 실시예들에 따른, 메시징 애플리케이션에 대화형 애플리케이션을 추가하는 방법(4600)을 예시하는 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(700)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(700)은 대화형 애플리케이션을 메시징 애플리케이션에 추가하기 위한 직관적인 방법을 제공한다. 방법은 대화형 애플리케이션을 메시징 애플리케이션에 추가하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 대화형 애플리케이션을 메시징 애플리케이션에 보다 빠르고 보다 효율적으로 추가할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스(예컨대, 도 38aq의 메시징 사용자 인터페이스(3500))를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스와 적어도 하나의 (예컨대, 다른 전자 디바이스의) 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 38aq의 대화 트랜스크립트(3503)와 같이, 디스플레이의 제1 영역 내에 디스플레이됨) 및 애플리케이션 어포던스(예컨대, 도 38aq의 애플리케이션 어포던스(3508))를 포함한다(4602). 일부 실시예들에서, 메시징 사용자 인터페이스는 메시징 세션에 게시될 준비가 된 콘텐츠를 디스플레이하도록 구성된 메시지 입력 영역(예컨대, 도 aq의 메시지 입력 영역(3502))을 포함한다. 일부 실시예들에서, 메시징 사용자 인터페이스는 예컨대, 디스플레이의 제2 영역 내에 디스플레이된 키보드(예컨대, 도 38aq의 디지털 키보드(3501))를 포함한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 애플리케이션 어포던스를 활성화하는 입력을 검출한다(4604). 예를 들어, 탭 제스처는 도 38ar의 애플리케이션 어포던스(3508) 상의 접촉(3876)을 포함한다.
(예컨대, 대화 트랜스크립트의 디스플레이를 유지하는 동안) 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 애플리케이션 스토어에 대한 론칭 아이콘 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 동시에 디스플레이하며, 대화형 애플리케이션의 각자의 론칭 아이콘의 활성화는 메시징 애플리케이션 내에서 디스플레이되는 대응되는 애플리케이션을 론칭한다(4606). 예를 들어, 도 38ar의 접촉(3876)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 애플리케이션 스토어에 대한 론칭 아이콘(3601) 및 대화형 애플리케이션에 대한 다른 론칭 아이콘 - 예컨대, 틱-택-토 애플리케이션에 대한 론칭 아이콘(3603), 예약 애플리케이션에 대한 론칭 아이콘(3605), 라이브 비디오 스트리밍 애플리케이션에 대한 론칭 아이콘(3611), 및 음악 애플리케이션에 대한 론칭 아이콘(3615) - 을 포함하는 선택 트레이(3654)를 디스플레이한다.
일부 실시예들에서, 메시징 사용자 인터페이스는 애플리케이션 어포던스를 활성화하는 입력을 검출하기 직전까지 디지털 키보드를 디스플레이하지 않는다(예컨대, 대화 트랜스크립트가 최대화되고 애플리케이션 어포던스의 디스플레이를 포함하거나, 메시징 애플리케이션 내에서 디스플레이되는 대화형 애플리케이션에 대한 사용자 인터페이스에 의해 키보드가 대체됨). 일부 실시예들에서, 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들은 키보드의 디스플레이를 대체한다. 일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드를 디스플레이하는 것을 중지하고, 키보드가 디스플레이되었던 곳에 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 (예컨대, 전체보다 작은) 서브셋을 수행하도록 구성된다(4608). 예를 들어, 일부 실시예들에서, 론칭 아이콘(3601)의 활성화에 응답하여 론칭된 애플리케이션 스토어 애플리케이션은 메시징 애플리케이션 내의 동작가능한 애플리케이션들의 다운로드만 허용한다. 대조적으로, 대응되는 애플리케이션 스토어 애플리케이션(예컨대, 메시징 애플리케이션 외부의 디바이스 상의 홈 스크린으로부터 론칭됨)은 메시징 애플리케이션 내의 동작가능한 애플리케이션들 및 메시징 애플리케이션 외부에서 동작가능한 애플리케이션들의 다운로드를 허용한다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다(4610). 예를 들어, 도 38as에서, 애플리케이션 스토어 론칭 아이콘(3601)은 메시징 애플리케이션 외부에서 동작되는 애플리케이션 스토어 애플리케이션과 동일하거나 유사한 "A" 로고를 포함한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 (예컨대, 전체보다 작은) 일부분을 디스플레이한다(4612). 예를 들어, 일부 실시예들에서, 론칭 아이콘(3601)의 활성화에 응답하여 론칭된 애플리케이션 스토어 애플리케이션은 메시징 애플리케이션 내의 동작가능한 모든 다운로드가능한 애플리케이션만을 디스플레이한다. 대조적으로, 대응되는 애플리케이션 스토어 애플리케이션(예컨대, 메시징 애플리케이션 외부의 디바이스 상의 홈 스크린으로부터 론칭됨)은 메시징 애플리케이션 내에서 동작가능하고, 메시징 애플리케이션 외부에서 동작가능한 모든 다운로드가능한 애플리케이션들을 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다(4614). 예를 들어, 도 38as의 애플리케이션 스토어 론칭 아이콘(3601)에 대한 제1 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 내의 애플리케이션 스토어 애플리케이션을 론칭한다. 도 38as의 애플리케이션 스토어 론칭 아이콘(3601)에 대한 제2(예컨대, 상이한) 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 외부의 애플리케이션 스토어 애플리케이션을 론칭한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다(4616). 예를 들어, 론칭 아이콘(3601)의 활성화에 응답하여 론칭된 애플리케이션 스토어 애플리케이션은, 애플리케이션 외부에서 동작되는 대응되는 애플리케이션 스토어 애플리케이션이 실행되지 않는 경우에 동작될 수 있다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다(4618). 예를 들어, 론칭 아이콘(3601)의 활성화에 응답하여 론칭된 애플리케이션 스토어 애플리케이션은, 애플리케이션 외부에서 동작되는 대응되는 애플리케이션 스토어 애플리케이션이 실행되지 않는 경우에 동작되지 않을 수 있다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 임시 저장용 메모리의 전용 부분을 갖는다(4620). 예를 들어, 일부 실시예들에서, 론칭 아이콘(3601)에 대응되는 애플리케이션 스토어 애플리케이션을 사용하여 다운로드된 애플리케이션들의 기록은 메시징 애플리케이션 외부에서 동작되는 대응되는 애플리케이션 스토어 애플리케이션을 사용하여 다운로드된 애플리케이션들의 기록과는 상이한 메모리의 일부분에 저장된다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다(4622). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 외부에서 동작되는 대응되는 애플리케이션 스토어 애플리케이션은 론칭 아이콘(3601)에 대응되는 애플리케이션 스토어 애플리케이션을 사용하여 다운로드된 애플리케이션들의 기록에 액세스할 수 있다.
이어서, 디바이스는 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출한다(4624). 예를 들어, 디바이스(100-1)는 도 38as의 애플리케이션 스토어 론칭 아이콘(3601) 상의 접촉을 포함하는 탭 제스처를 검출한다.
애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고, 전자 디바이스에 다운로드할 수 있는 적어도 하나의 대화형 애플리케이션의 디스플레이를 포함하는 애플리케이션 스토어 사용자 인터페이스를 디스플레이한다(4626). 예를 들어, 도 38s의 애플리케이션 스토어 론칭 아이콘(3601) 상의 접촉을 포함하는 탭 제스처를 검출하는 것에 응답하여, 디바이스(100-1)는 메시징 사용자 인터페이스(3500)의 디스플레이를 애플리케이션 스토어 사용자 인터페이스의 디스플레이로 대체한다.
애플리케이션 스토어 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 전자 디바이스의 메모리에 저장되지 않은 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출한다(4628). 예를 들어, 디바이스(100-1)는 디바이스 상에 저장되지 않은 틱-택-토 애플리케이션에 대한 아이콘 상의 접촉을 포함하는 탭 제스처를 검출한다. 일부 실시예들에서, 입력은 디바이스 상에 제1 대화형 애플리케이션의 자동 다운로드 및 설치를 개시하는 다운로드 아이콘 상의 탭 제스처이다(예컨대, 디바이스가 탭 제스처를 검출하자마자, 애플리케이션이 디바이스 상에 다운로드를 시작함). 일부 실시예들에서, 입력은 다운로드 확인 아이콘 상의 탭 제스처이며, 이는 사용자로 하여금 사용자가 제1 대화형 애플리케이션을 다운로드하기를 원한다는 것을 확인하도록 요청하고, 디바이스 상에의 제1 대화형 애플리케이션의 자동 다운로드 및 설치를 개시한다(예컨대, 탭 제스처를 검출하는 것에 응답하여, 디바이스는 다운로드 요청을 확인하고/하거나 사용자의 식별을 확인하라는 요청을 디스플레이함).
제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 디바이스(4630)는 제1 대화형 애플리케이션을 전자 디바이스의 메모리에 다운로드하고, 애플리케이션 스토어 사용자 인터페이스의 디스플레이를 메시징 사용자 인터페이스(예컨대, 도 38as의 메시징 사용자 인터페이스(3500))의 디스플레이로 대체하며, 메시징 사용자 인터페이스는 대화 트랜스크립트(예컨대, 도 38as의 대화 트랜스크립트(3503)) 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들 중 적어도 일부(예컨대, 도 38as의 애플리케이션 선택 트레이(3654) 내에 디스플레이된 론칭 아이콘들 중 일부)를 포함한다. 일부 실시예들에서, 메시징 사용자 인터페이스는 또한 메시지 입력 영역(예컨대, 도 38as의 메시지 입력 영역(3502))을 포함한다. 디바이스는 또한 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이에 제1 대화형 애플리케이션에 대응되는 론칭 아이콘을 추가한다(예컨대, 디바이스는 도 38as의 애플리케이션 선택 트레이(3654)에 틱-택-토 애플리케이션을 다운로드하기 위한 애플리케이션 론칭 아이콘(3603)을 추가할 것임).
일부 실시예들에서, 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이에 제1 대화형 애플리케이션에 대응되는 론칭 아이콘을 추가하는 것은 제1 대화형 애플리케이션이 다운로드되고 있다는 표지(예컨대, 애니메이션 표시)를 디스플레이하는 것을 포함한다(4632). 예를 들어, 표지는 도 37bh에서 틱-택-토 애플리케이션의 다운로드를 표시하는 표지(3709)와 유사하다.
일부 실시예들에서, 표지(예컨대, 애니메이션)는 제1 대화형 애플리케이션의 다운로드 진행을 표시한다(4634). 예를 들어, 도 37bh에서, 표지(3709)의 부분 원의 크기는 애플리케이션이 완전히 다운로드될 때까지 다운로드되는 애플리케이션의 백분율에 따라 증가한다.
도 46a 내지 도 46c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 46a 내지 도 46c에 관하여 위에 설명된 방법(4600)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(4600)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 47은 위에 설명된 바와 같은 본 발명의 원리들에 따라 구성된 전자 디바이스(4700)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 47에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 47에 도시된 바와 같이, 전자 디바이스(4700)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(4702); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(4704); 및 디스플레이 유닛(4702) 및 터치 감응형 표면 유닛(4704)과 결합된 프로세싱 유닛(4706)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(4706)은 검출 유닛(4708), 디스플레이 인에이블 유닛(4710), 중지 유닛(4712), 다운로드 유닛(4714), 디스플레이 대체 유닛(4716) 및 추가 유닛(4718)을 포함한다.
프로세싱 유닛(4706)은 디스플레이 유닛(4702) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(4710)을 이용함) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 애플리케이션 어포던스를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(4708)을 이용함); 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 애플리케이션 스토어에 대한 론칭 아이콘 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이를 동시에 인에이블하고(예컨대, 디스플레이 인에이블 유닛(4710)을 이용함) - 대화형 애플리케이션에 대한 각자의 론칭 아이콘의 활성화는 메시징 애플리케이션 내에서 디스플레이되는 대응되는 애플리케이션을 론칭함 -; 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하고(예컨대, 검출 유닛(4708)을 이용함); 애플리케이션 스토어에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 메시징 사용자 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(4712)을 이용함), 전자 디바이스에 다운로드할 수 있는 적어도 하나의 대화형 애플리케이션의 디스플레이를 포함하는 애플리케이션 스토어 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(4710)을 이용함); 애플리케이션 스토어 사용자 인터페이스를 디스플레이하는 동안, 전자 디바이스의 메모리에 저장되지 않은 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하고(예컨대, 검출 유닛(4708)을 이용함); 제1 대화형 애플리케이션을 다운로드하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 전자 디바이스의 메모리에 제1 대화형 애플리케이션을 다운로드하고(예컨대, 다운로드 유닛(4714)을 이용함); 애플리케이션 스토어 사용자 인터페이스의 디스플레이를 메시징 사용자 인터페이스의 디스플레이로 대체하고(예컨대, 디스플레이 대체 유닛(4716)을 이용함) - 메시징 사용자 인터페이스는 대화 트랜스크립트 및 대화형 애플리케이션들에 대한 복수의 론칭 아이콘 중 적어도 일부를 포함함 -; 제1 대화형 애플리케이션에 대응되는 론칭 아이콘을 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이에 추가하도록(예컨대, 추가 유닛(4718)을 이용함) 구성된다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대응되는 론칭 아이콘을 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이에 추가하는 것은 제1 대화형 애플리케이션이 다운로드되고 있다는 표지를 디스플레이하는 것을 포함한다.
일부 실시예들에서, 표지는 제1 대화형 애플리케이션의 다운로드의 진행을 표시한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 서브셋을 수행하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 일부분을 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리의 임시 저장용 전용 부분을 갖는다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 46a 내지 도 46c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 47에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(4604 및 4624)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 48a 내지 도 48d는 일부 실시예들에 따른, 메시징 애플리케이션에 대한 사용자 인터페이스 이외의 사용자 인터페이스로부터 메시징 세션에 메시지들을 게시하는 방법(4800)을 예시하는 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(700)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(4800)은 메시징 애플리케이션에 대한 사용자 인터페이스 이외의 사용자 인터페이스로부터 메시징 세션에 메시지들을 게시하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션에 대한 사용자 인터페이스 이외의 사용자 인터페이스로부터의 메시지들을 메시징 세션에 게시하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션에 대한 사용자 인터페이스가 아닌 사용자 인터페이스로부터 메시징 세션에 메시지들을 보다 빠르고 보다 효율적으로 게시할 수 있게 함으로써 전력을 절약하고 배터리 충전 사이의 시간을 늘린다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스(예컨대, 도 37f, 도 37o 및 도 37as의 메시징 사용자 인터페이스(3500))를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 {예컨대, 다른 전자 디바이스의} 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(예컨대, 도 37f, 도 37o 및 도 37as의 대화 트랜스크립트(3700)와 같은, 디스플레이의 제1 영역 내에 디스플레이되는 대화 트랜스크립트), 제1 메시지 입력 영역(예컨대, 도 37f, 도 37o 및 도 37as의 메시지 입력 영역(3502)) 및 대화형 애플리케이션에 대한 론칭 아이콘(예컨대, 메시징 세션의 모든 참가자들에 의해 업데이트될 수 있는, 메시징 애플리케이션 내에서 동작되는 애플리케이션; 예컨대, 대화형 예약 애플리케이션에 대한 론칭 아이콘(3708), 도 37o의 트랜스크립트(3700) 내에 디스플레이된 예약 대화형 애플리케이션 객체(3728), 및 도 37as의 대화형 틱-택-토 애플리케이션에 대한 론칭 아이콘(3774))을 포함한다(4802).
일부 실시예들에서, 대화형 애플리케이션이 메시징 세션에 게시되면, 세션의 임의의 참가자는 대화형 애플리케이션을 열고, 대화형 애플리케이션 내에 변경을 가할 수 있으며(예컨대, 맵 상의 위치를 변경, 피자에 대한 토핑을 선택, 약속을 하거나 변경, 틱-택-토와 같은 게임에서 순서를 정함), 변경 사항은 메시징 세션의 모든 참가자들로 전송된다. 예를 들어, 예약 대화형 애플리케이션의 세션이 대화 트랜스크립트(3700)에 대응되는 메시징 세션에 게시되면, 도 37o의 트랜스크립트(3700) 내의 예약 애플리케이션 객체(3728)의 디스플레이에 의해 예시된 바와 같이, 메시징 트랜스크립트에 포함된 임의의 사용자는 애플리케이션 세션을 열고 예약 시간을 변경할 수 있다. 이것은, 예를 들어, 도 37p 내지 도 37ac에 예시되어 있는데, 여기서, 디바이스(100-2)의 조작자인 Abe는 디바이스(100-1)의 조작자인 Andrew에 의해 이루어진 예약 시간을, 도 37p에 도시된 바와 같이, 6:30 PM으로부터 도 37ac에 도시된 바와 같이, 8:00 PM으로 변경한다.
일부 실시예들에서, 제1 메시지 입력 영역은 메시징 세션에 게시될 준비가 된 텍스트 및 다른 콘텐츠를 디스플레이하도록 구성된다. 예를 들어, 도 37n에서 메시지(3736)의 입력을 수신한 후, 메시지는 도 37o의 대화 트랜스크립트(3700) 내의 메시지(3736)의 디스플레이에 의해 예시된 바와 같이, 메시징 세션에 게시된다.
일부 실시예들에서, 대화형 애플리케이션에 대한 론칭 아이콘은 메시징 사용자 인터페이스 내의 다른 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들과 동시에 디스플레이된다(4804). 예를 들어, 대화형 틱-택-토 애플리케이션에 대한 론칭 아이콘(3603) 및 대화형 예약 애플리케이션에 대한 론칭 아이콘(3605)은 대화형 애플리케이션에 대한 다른 론칭 아이콘들 - 예컨대, 라이브 비디오-스트리밍 애플리케이션에 대한 애플리케이션 론칭 아이콘(3611), 대화형 피자 주문 애플리케이션에 대한 애플리케이션 론칭 아이콘(3613), 및 대화형 음악 애플리케이션에 대한 애플리케이션 론칭 아이콘(3615) - 을 갖는 애플리케이션 선택 트레이(3654) 내에 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다(4806). 예를 들어, 대화형 예약 애플리케이션에 대한 애플리케이션 론칭 아이콘(3708)은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션에 대한 동심원 식별자들을 디스플레이한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출한다(4808). 일부 실시예들에서, 입력은 론칭 아이콘 상의 탭 제스처이다. 예를 들어, 디바이스(100-1)는 도 37f의 론칭 아이콘(3708) 상의 접촉(3710)을 포함하는 탭 제스처를 검출하고, 도 37g의 대응되는 대화형 예약 애플리케이션을 활성화한다. 예를 들어, 디바이스(100-2)는 도 37p의 예약 애플리케이션 객체(3728) 상의 접촉(3738)을 포함하는 탭 제스처를 검출하고, 도 37q의 대응되는 대화형 예약 애플리케이션을 활성화한다. 예를 들어, 디바이스(100-1)는 도 37at의 틱-택-토 애플리케이션 론칭 아이콘(3774) 상의 접촉(3776)을 포함하는 탭 제스처를 검출하여, 도 37au의 대응되는 대화형 틱-택-토 애플리케이션을 활성화한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것은 대화형 애플리케이션에 대한 론칭 아이콘에 대응되는 위치에서 제1 접촉에 의한 제1 입력을 검출하는 것, 제1 입력을 검출하는 것에 응답하여, 대화형 애플리케이션을 어떻게 실행할지(예컨대, 틱-택-토를 "X" 또는 "O"로서 플레이하기 위해, 풀-스크린 모드 또는 메시징 사용자 인터페이스 내에 내장된 대화형 애플리케이션을 동작시키기 위해)에 대한 복수의 옵션들을 포함하는 메뉴를 디스플레이하는 것, 및 대화형 애플리케이션을 어떻게 실행할지에 대한 복수의 옵션들 중 제1 옵션을 선택하는 제2 입력을 검출하는 것을 포함한다(4810).
예를 들어, 디바이스(100-1)는 도 37at의 틱-택-토 론칭 아이콘(3774) 상의 접촉(3776)을 포함하는 탭 제스처를 검출한다. 접촉을 검출하는 것에 응답하여, 디바이스는 게임을 각각 'O'또는 'X'로서 플레이하기 위한 옵션들(3780-1 및 3780-2)을 포함하는 메뉴(3778)를 디스플레이한다. 도 37av의 접촉(3782)을 포함하는, 어포던스(3780-1) 상의 탭 제스처를 통해 'O'의 선택을 검출하는 것에 응답하여, 디바이스(100-1)는 도 37aw의 메시징 사용자 인터페이스(3500)의 일부분 위로 틱-택-토 사용자 인터페이스(3784)를 디스플레이한다.
일부 실시예들에서, 제2 입력은 제1 입력의 연속으로서, 예컨대, 제1 옵션을 선택하기 위해, 제1 접촉을 제1 옵션에 대응되는 위치로 드래그하고 리프팅 오프하거나, 제1 접촉의 세기를 증가시키는 것과 같은 것이다. 일부 실시예들에서, 제2 입력은 제1 옵션에 대응되는 위치에서의 제2 접촉, 예컨대, 제1 옵션 상의 탭 제스처에 의한 것이다. 일부 실시예들에서, 메뉴는 론칭 아이콘 및/또는 복수의 론칭 아이콘들의 상부에 디스플레이된다. 일부 실시예들에서, 메뉴는 대화형 론칭 아이콘의 디스플레이를 대체하며, 이는 론칭 아이콘 또는 복수의 론칭 아이콘들을 디스플레이하는 것을 중지하고, 론칭 아이콘(들)이 디스플레이되었던 곳에 메뉴를 디스플레이하는 것을 포함한다. 예를 들어, 도 37au의 메뉴(3778)는 도 37at의 접촉(3776)의 검출에 응답하여, 대화형 론칭 아이콘(3774)의 디스플레이를 대체한다.
대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스(예를 들어, "대화형 애플리케이션 사용자 인터페이스")를 디스플레이한다(4812). 대화형 애플리케이션 사용자 인터페이스는 제1 메시지 입력 영역과 구별되는 제2 메시지 입력 영역을 포함한다. 예를 들어, 대화형 예약 애플리케이션 사용자 인터페이스(3712)는 도 37f 및 도 37p의 메시징 사용자 인터페이스(3500) 내에 디스플레이된 메시지 입력 영역(3502)과 별개인, 도 37g 및 도 37q의 메시지 입력 영역(3716)을 포함한다. 유사하게, 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3784)는 도 37aw의 배경에 보이는 것처럼, 메시징 사용자 인터페이스(3500) 내에 디스플레이된 메시지 입력 영역(3502)과 별개인 도 37aw의 메시지 입력 영역(3716)을 포함한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 적어도 일부분 위로 디스플레이된다. 예를 들어, 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3784)는 도 37aw의 메시징 사용자 인터페이스(3500)의 일부분 위로 디스플레이된다. 대화형 애플리케이션 사용자 인터페이스가 메시징 사용자 인터페이스의 일부분 위로 디스플레이되는 일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스의 디스플레이를 강조하기 위해 메시징 사용자 인터페이스는 흐릿해지거나, 희미해지거나, 그렇지 않으면 가려진다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 디스플레이를 대체한다. 예를 들어, 도 37g에 도시된 대화형 예약 애플리케이션 사용자 인터페이스(3712)는 활성화 시, 도 37f의 메시징 사용자 인터페이스(3500)의 디스플레이를 대체한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스 또는 (예컨대, 대화형 애플리케이션 사용자 인터페이스가 디스플레이 상의 하나보다 많은 연속 영역 내에 디스플레이되는) 대화형 애플리케이션 사용자 인터페이스의 일부분은 메시지 트랜스크립트 내에 디스플레이된다. 예를 들어, 도 37ca의 트랜스크립트(3700) 내에 디스플레이된 피자 애플리케이션 객체(3735)는, 주문 중인 피자의 현재 상태를 디스플레이하기 때문에, 대화형 피자 주문 애플리케이션에 대한 사용자 인터페이스의 불연속적(non-contiguous) 부분이다. 예를 들어, 도 37cd의 피자에 페퍼로니가 추가되는 것에 응답하여, 피자 주문 애플리케이션 객체(3735)는 도 37ce의 피자 상에 페퍼로니를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스는 적어도 하나의 아바타를 포함하며, 적어도 하나의 아바타 중 각자의 아바타 각각은 메시징 세션에 포함된 적어도 하나의 타 사용자 중의 사용자에 대응된다(4814). 예를 들어, 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)는 도 37g의 디바이스(100-1)(예컨대, Andrew에 의해 조작됨) 상에 디스플레이되는 경우, Abe에 대응되는 아바타(3510)를 디스플레이하고, 디바이스(100-2)(예컨대, Abe에 의해 조작됨) 상에 디스플레이되는 경우, Andrew에 대응되는 아바타(3511)를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스는 아바타들의 스택(예컨대, 도 40a의 아바타들의 스택(4002)과 같은 아바타들의 중첩 스택)으로서 디스플레이된 복수의 아바타들을 포함한다(4816).
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스 내의 아바타에 대응되는 위치에서 제3 접촉에 의한 제3 입력을 검출하고, 제3 입력을 검출하는 것에 응답하여, (예컨대, 아바타와 연관된 사용자에게 개인 메시지를 전송하고, 전화를 걸고, 화상 채팅을 하고, 결제를 전송하고/하거나 디지털 터치를 전송하기 위한), 아바타와 연관된 액션들의 메뉴를 디스플레이한다(4818). 일부 실시예들에서, 메뉴 또는 액션들은 대화형 애플리케이션에 대한 사용자 인터페이스의 상부에 오버레이된다. 예를 들어, 예약 애플리케이션 사용자 인터페이스(3712) 내의 아바타(3510) 위에 있는 동안, 도 37am으로부터 도 37am으로의 접촉의 특성 세기(3799)의 증가를 포함하는 입력을 검출하는 것에 응답하여, 도 37an에 액션들(3884)의 메뉴(3882)가 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 (예컨대, 전체보다 작은) 서브셋을 수행하도록 구성된다(4820). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 (예컨대, 전체보다 작은) 일부분을 디스플레이한다(4822). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 레스토랑 등급을 디스플레이하지만 레스토랑에 대한 사용자 코멘트들은 디스플레이하지 않는다. 반대로 메시징 애플리케이션 외부에서 동작가능한 대응 예약 애플리케이션은 레스토랑 등급과 사용자 코멘트들 모두를 레스토랑 상에 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다(4824). 예를 들어, 도 37f의 대화형 예약 애플리케이션 론칭 아이콘(3708)에 대한 제1 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 내의 대화형 예약 애플리케이션을 론칭한다. 도 37f의 대화형 예약 애플리케이션 론칭 아이콘(3708)에 대한 제2(예컨대, 상이한) 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 외부의 예약 애플리케이션을 론칭한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다(4826). 예를 들어, 도 37f의 론칭 아이콘(3708)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다(4828). 예를 들어, 도 37f의 론칭 아이콘(3708)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하지 않다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 임시 저장용 메모리의 전용 부분을 갖는다(4830). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약들의 기록은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션을 사용하여 이루어진 예약 기록과는 상이한 메모리의 일부분에 저장된다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다(4832). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션은 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약들의 기록에 액세스할 수 있다.
대화형 애플리케이션 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출한다(4834). 예를 들어, 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 디스플레이하는 동안, 디바이스(100-2)는 도 37s의 메시지 입력 영역(3716) 내의 메시지(3746)의 입력을 검출한다.
제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하는 것에 응답하여, 디바이스는 제1 메시지를 제2 메시지 입력 영역 내에 디스플레이한다(4836). 예를 들어, 메시지(3746)의 입력을 검출하는 것에 응답하여, 디바이스(100-2)는 도 37t의 메시지 입력 영역(3716) 내에 메시지를 디스플레이한다.
제2 메시지 입력 영역 내에 제1 메시지를 디스플레이하는 동안, 디바이스는 제2 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출한다(4838). 일부 실시예들에서, 입력은 전송 아이콘 상의 탭 제스처이다. 예를 들어, 디바이스(100-2)는 도 37u의 전송 어포던스(3520) 상의 접촉(3748)을 포함하는 입력을 검출한다.
제2 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 디바이스는 제1 메시지를, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 (예컨대, 제2) 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 메시지를 디스플레이한다(4840). 예를 들어, 도 37u의 전송 어포던스(3520) 상의 접촉(3748)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-2)는 9:29 AM에 메시징 세션에 포함된 Andrew와 연관된 타 디바이스(100-1)로 메시지(3746)를 송신한다. 디바이스(100-1)는 메시지(3746)를 수신하고 도 37ae에서, 이를 9:29 AM에 대화 트랜스크립트(3700) 내에 디스플레이한다.
일부 실시예들에서, 메시징 세션에 제2 메시지 입력 영역의 콘텐츠를 게시하라는 요청에 대응되는 입력을 검출한 후, 그리고 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션을 종료하는 입력(예컨대, 닫기 버튼 상의 탭, 예를 들어, 도 3756의 나가기 어포던스(3714) 상의 접촉(3756)을 포함하는 탭 제스처)을 검출하고, 대화형 애플리케이션을 종료하는 입력을 검출하는 것에 응답하여, 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 것을 중지하고 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 대화 트랜스크립트 내의 제1 메시지의 디스플레이를 포함한다(4842). 예를 들어, 도 3756에서 나가기 어포던스(3714) 상의 접촉(3756)을 포함하는 탭 제스처에 응답하여, 디바이스(100-2)는 도 37ab의 대화형 예약 애플리케이션 사용자 인터페이스(3712)의 디스플레이를 도 37ac의 메시징 사용자 인터페이스(3500)의 디스플레이로 대체한다. 디바이스(100-2)가 도 37u 및 도 37v의 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 디스플레이하는 동안 게시된 메시지(3746)는 도 37ac의 대화 트랜스크립트(3700) 내에 디스플레이된다.
일부 실시예들에서, (예컨대, 풀-스크린 모드에서) 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 메시징 세션과 연관된 메시지를 수신하고, 메시징 세션과 연관된 메시지를 수신하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 상부에 오버레이된 메시지를 일시적으로 디스플레이한다(4844). 예를 들어, 도 37p의 대화 트랜스크립트(3700)에 대응되는 메시징 세션과 연관된 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)를 도 37v의 풀-스크린 모드에서 디스플레이하는 동안, 디바이스(100-2)는 대화 트랜스크립트(3700)에 대응되는 메시징 세션과 연관된 메시지(3750)를 9:30 AM에 수신하고, 대화 트랜스크립트(3700)가 사용자 인터페이스(3712) 내에 디스플레이되지 않더라도, 도 37w의 사용자 인터페이스(3712) 상에 일시적으로 디스플레이한다.
일부 실시예들에서, 다른 메시징 세션들과 연관된 메시지들은 수신되는 경우에 대화형 애플리케이션 사용자 인터페이스 위로 디스플레이되지 않는다. 예를 들어, 비록 디바이스(100-2)가 대화 트랜스크립트(3503)와 연관된 메시징 세션에 또한 포함된 사용자 "Abe"에 대응될지라도, 9:28 AM에 도 41d의 대화 트랜스크립트(3503)와 연관된 메시징 세션에 게시된 메시지(4114)는 (예컨대, 9:28 AM에) 도 37q 내지 도 37t의 대화형 사용자 인터페이스(3712) 상에 디스플레이되지 않는다.
도 48a 내지 도 48d의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 48a 내지 도 48d에 관하여 위에 설명된 방법(700)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(4800)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 49는 위에 설명된 바와 같은 본 발명의 원리들에 따라 구성된 전자 디바이스(4900)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 49에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 49에 도시된 바와 같이, 전자 디바이스(4900)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(4902); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(4904); 및 디스플레이 유닛(4902) 및 터치 감응형 표면 유닛(4904)과 결합된 프로세싱 유닛(4906)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(4906)은 검출 유닛(4908), 디스플레이 인에이블 유닛(4910), 중지 유닛(4912), 송신 유닛(4914) 및 수신 유닛(4916)을 포함한다.
프로세싱 유닛(4906)은 디스플레이 유닛(4902) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(4910)을 이용함) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 제1 메시지 입력 영역, 대화형 애플리케이션에 대한 론칭 아이콘을 포함함 -;. 메시징 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하고(예컨대, 검출 유닛(4908)을 이용함); 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(4910)을 이용함) - 대화형 애플리케이션 사용자 인터페이스는 제1 메시지 입력 영역과 구별되는 제2 메시지 입력 영역을 포함함 -; 대화형 애플리케이션 사용자 인터페이스를 디스플레이하는 동안, 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하고(예컨대, 검출 유닛(4908)을 이용함); 제2 메시지 입력 영역 내의 제1 메시지의 입력을 검출하는 것에 응답하여, 제2 메시지 입력 영역 내에 제1 메시지의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(4910)을 이용함); 제2 메시지 입력 영역 내에 제1 메시지를 디스플레이하는 동안, 제2 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하고(예컨대, 검출 유닛(4908)을 이용함); 제2 메시지 입력 영역의 콘텐츠를 메시징 세션에 게시하라는 요청에 대응되는 입력을 검출하는 것에 응답하여, 제1 메시지를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하도록(예컨대, 송신 유닛(4914)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제1 메시지를 디스플레이한다.
일부 실시예들에서, 프로세싱 유닛(4906)은: 메시징 세션에 제2 메시지 입력 영역의 콘텐츠를 게시하라는 요청에 대응되는 입력을 검출한 후, 그리고 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션을 종료하는 입력을 검출하고(예컨대, 검출 유닛(4908)을 이용함); 대화형 애플리케이션을 종료하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(4912)을 이용함), 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(4910)을 이용함) 더 구성되며, 메시징 사용자 인터페이스는 대화 트랜스크립트 내의 제1 메시지의 디스플레이를 포함한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 론칭 아이콘은 다른 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들과 함께 동시에 메시징 사용자 인터페이스 내에 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것은: 대화형 애플리케이션에 대한 론칭 아이콘에 대응되는 위치에서 제1 접촉에 의한 제1 입력을 검출하는 것; 제1 입력을 검출하는 것에 응답하여, 대화형 애플리케이션을 어떻게 실행할지에 대한 복수의 옵션들을 포함하는 메뉴를 디스플레이하는 것; 및 대화형 애플리케이션을 어떻게 실행할지에 대한 복수의 옵션들 중 제1 옵션을 선택하는 제2 입력을 검출하는 것을 포함한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스는 적어도 하나의 아바타를 포함하며, 적어도 하나의 아바타 중 각자의 아바타 각각은 메시징 세션에 포함된 적어도 하나의 타 사용자 중의 사용자에 대응된다.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스는 아바타들의 스택으로서 디스플레이되는 복수의 아바타들을 포함한다.
일부 실시예들에서, 프로세싱 유닛(4906)은: 대화형 애플리케이션 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 사용자 인터페이스 내의 아바타에 대응되는 위치에서 제3 접촉에 의한 제3 입력을 검출하고(예컨대, 검출 유닛(4908)을 이용함); 제3 입력을 검출하는 것에 응답하여, 아바타와 연관된 액션들의 메뉴의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(4910)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(4906)은: 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 메시징 세션과 연관된 메시지를 수신하고(예컨대, 수신 유닛(4916)을 이용함); 메시징 세션과 연관된 메시지를 수신하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 상부 상에 오버레이된 메시지의 디스플레이를 일시적으로 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(4910)을 이용함) 더 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 서브셋을 수행하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 일부분을 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리의 임시 저장용 전용 부분을 갖는다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 48a 내지 도 48d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 49에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(4808 및 4834)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 50a 내지 도 50c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법(5000)을 예시한 흐름도들이다. 방법(5000)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(5000)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(5000)은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션의 대화형 애플리케이션을 보다 빠르고 보다 효율적으로 사용할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하고, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, 메시지 입력 영역, 대화 트랜스크립트 내에서 디스플레이되는 대화형 애플리케이션에 대한 아이콘("대화형 애플리케이션 아이콘" 또는 "대화형 애플리케이션 객체")을 포함한다(5002).
본 명세서에 사용된 바와 같이, "대화형 애플리케이션 아이콘" 및 "대화형 애플리케이션 객체"는 메시징 세션의 대화 트랜스크립트 내에 디스플레이된 아이템을 지칭하도록 교환 가능하게 사용되며, 이는 메시징 애플리케이션의 대화형 애플리케이션, 특히 메시징 세션 내에서 개시된 대화형 애플리케이션의 세션과 연관된다. 메시징 세션 내에서 활성화되는 경우, 대화형 애플리케이션 객체는 연관된 대화형 애플리케이션 및 특히 메시징 세션 내에서 개시된 대화형 애플리케이션의 세션에 대한 사용자 인터페이스의 론칭을 야기한다.
예를 들어, 도 37k의 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3700), 메시지 입력 영역(3502) 및 대화형 예약 애플리케이션에 대응되는 아이콘(예컨대, 객체)(3728)을 포함한다. 아이콘(3728)은 아이콘이 대화형 예약 애플리케이션과 연관되어 있음을 표현하는 식별자(3730)를 포함한다. 아이콘(3728)은 또한 예를 들어, 미국식 식단(American Fare)을 제공하는 Joe's Bistro에서 6:45 PM에 두 사람에 대한 예약이 이루어졌다는, 대화형 애플리케이션의 연관된 세션 내로 입력된 콘텐츠에 대한 정보를 포함한다.
또 다른 예로서, 도 37bi의 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3700), 메시지 입력 영역(3502) 및 대화형 틱-택-토 애플리케이션에 대응되는 아이콘(예컨대, 객체)(3705)을 포함한다. 아이콘(3502)은 메시징 세션 내의 사용자들에 의해 입력된 X 및 O를 갖는 틱-택-토 보드의 식별 이미지를 포함한다.
다른 예로서, 도 37ct의 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3700), 메시지 입력 영역(3502) 및 대화형 피자 주문 애플리케이션에 대응되는 아이콘(예컨대, 객체)(3735)을 포함한다. 아이콘(3502)은 대화형 애플리케이션에 관한 식별 정보를 포함하지 않지만, 대화형 애플리케이션의 연관된 세션에서 이루어진 입력들에 관한 정보 즉, 생성 중인 피자에 페퍼로니가 추가되었다는 정보를 포함한다.
일부 실시예들에서, 대화형 애플리케이션의 연관된 애플리케이션 또는 세션의 상태에 관한 추가 정보는 대화형 애플리케이션 아이콘/객체에 인접하여 디스플레이된다. 예를 들어, 도 37bf에서, 추가적인 정보(3795)는 아이콘(3705) 아래에 디스플레이되어 대응되는 대화형 틱-택-토 애플리케이션이 디바이스(100-2)의 메모리에 저장되어 있지 않다고 표시한다. 다른 예에서, 도 37cs에서, 추가적인 정보(3797)는 아이콘(3735) 아래에 디스플레이되어, Abe가 아이콘(3735)과 연관된 대화형 피자 주문 애플리케이션의 세션에서 생성 중인 피자에 페퍼로니를 추가했다고(예컨대, 애플리케이션의 세션에서 이루어진 최근 변경을) 표시한다.
일부 실시예들에서, 대화형 애플리케이션의 연관된 애플리케이션 또는 세션의 상태에 관한 어떠한 추가 정보도 대화형 애플리케이션 아이콘/객체에 인접하여 디스플레이되지 않는다. 예를 들어, 도 37k에서, 대화형 애플리케이션의 세션의 연관된 애플리케이션의 상태에 관한 어떠한 추가적인 정보도 대화형 애플리케이션 아이콘(3728)에 인접하여 디스플레이되지 않는다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다(5004). 일부 실시예들에서, 대화형 애플리케이션 아이콘들/객체들은 애플리케이션 아이콘/객체와 연관된 대화형 애플리케이션에 대한 사용자 인터페이스의 론칭을 인에이블함으로써 애플리케이션 론칭 아이콘들로서 기능한다. 예를 들어, 도 37p의 접촉(3738)을 포함하는 입력에 의한 대화형 애플리케이션 아이콘(3728)의 활성화 시, 디바이스(100-2)는 도 37q의 대응되는 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)를 디스플레이한다. 아이콘(3728)의 디스플레이는 메시징 애플리케이션과 별개로 동작되는 대응되는 예약 애플리케이션에 대한 식별자(3730)를 포함한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출한다(5006). 일부 실시예들에서, 입력은 아이콘 상의 탭 제스처이다. 예를 들어, 디바이스(100-2)는 도 37p의 대화형 예약 애플리케이션에 대한 아이콘(3728) 상의 접촉(3738)을 포함하는 입력을 검출한다. 다른 예로서, 디바이스(100-2)는 도 37bj의 대화형 틱-택-토 애플리케이션에 대한 아이콘(3705) 상의 접촉(3711)을 포함하는 입력을 검출한다. 다른 예로서, 디바이스(100-1)는 도 37cz의 대화형 피자 주문 애플리케이션에 대한 아이콘(3735) 상의 접촉(3765)을 포함하는 입력을 검출한다.
대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스("대화형 애플리케이션 사용자 인터페이스")를 제1 상태로 디스플레이한다(5008). 예를 들어, 디바이스(100-2)는 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)를 도 37q의 Joe's Bistro에서 2인에 대한 6:45 PM 예약의 디스플레이를 포함하는 제1 상태로 디스플레이한다. 다른 예로서, 도 37bk에서, 디바이스(100-2)는 대화형 틱-택-토 애플리케이션에 대한 사용자 인터페이스(3782)를 제1 상태로 디스플레이하며, 이는 틱-택-토 보드(7391)의 중앙 사각형 내의 'O'의 디스플레이 및 틱-택-토 보드(3791) 상의 'X'의 부재의 디스플레이를 포함한다. 다른 예로서, 디바이스(100-1)는 대화형 피자 주문 애플리케이션에 대한 불연속적 사용자 인터페이스를 디스플레이하며, 이는 애플리케이션 객체(3735) 내에 디스플레이되는 피자 상의 페퍼로니의 디스플레이를 포함하는 제1 상태의 애플리케이션 입력 영역(3731) 및 애플리케이션 객체(3735)를 포함한다. 일부 실시예들에서, 대화형 애플리케이션의 출력된 디스플레이(예컨대, 도 37da의 애플리케이션 객체(3735) 내에 디스플레이된 피자)는 또한 애플리케이션 입력 영역에 포함된다(예컨대, 피자는 도 37da의 입력 영역(3731)의 코너 내에 디스플레이될 수 있음).
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 적어도 일부분 위로 디스플레이된다. 예를 들어, 대화형 틱-택-토 애플리케이션에 대한 사용자 인터페이스(3782)는 도 37bk의 메시징 사용자 인터페이스(3500)의 일부분 위로 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 디스플레이를 대체한다. 예를 들어, 도 37q의 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)는 도 37p의 메시징 사용자 인터페이스의 디스플레이를 대체한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시지 트랜스크립트 내에 디스플레이된다. 예를 들어, 도 37ca의 트랜스크립트(3700) 내에 디스플레이된 피자 애플리케이션 객체(3735)는, 주문 중인 피자의 현재 상태를 디스플레이하기 때문에, 대화형 피자 주문 애플리케이션에 대한 사용자 인터페이스의 불연속적 부분이다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 (예컨대, 전체보다 작은) 일부분을 디스플레이한다(5010). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다(5012). 예를 들어, 도 37p의 대화형 예약 애플리케이션 론칭 아이콘(3728)에 대한 제1 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 내의 대화형 예약 애플리케이션을 론칭한다. 도 37p의 대화형 예약 애플리케이션 아이콘(3728)에 대한 제2의 상이한 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 외부의 예약 애플리케이션을 론칭한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다(5014). 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다(5016). 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하지 않다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 임시 저장용 메모리(5018)의 전용 부분을 갖는다. 예를 들어, 일부 실시예들에서, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약들의 기록은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션을 사용하여 이루어진 예약들의 기록과는 상이한 메모리의 일부분에 저장된다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션은 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약 기록에 액세스할 수 있다.
대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출한다(5022). 예를 들어, 디바이스(100-2)는 접촉들(도 37x의 3752 및 도 37z의 3754)을 포함하는 대화형 예약 사용자 인터페이스(3712) 내의 입력을 검출한다. 다른 예로서, 디바이스(100-2)는 도 37bl의 접촉(3713)을 포함하는 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3782) 내의 입력을 검출한다. 다른 예로서, 디바이스(100-1)는 접촉들(도 37db의 3767 및 도 37dd의 3769)을 포함하는 대화형 피자 주문 애플리케이션 사용자 인터페이스(3731)(예컨대, 애플리케이션 입력 영역(3731)) 내의 입력을 검출한다.
대화형 애플리케이션에 대한 사용자 인터페이스 내의 제1 사용자 입력을 검출하는 것에 응답하여(또는 검출한 후), 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 제1 상태로부터 제2 상태로 변경하고(예컨대, 틱-택-토 보드 상에 두 번째 "O"를 배치하는 것), 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보(예컨대, 메타 메시지, 명령어들, 입력의 표지에 대한 표현)를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 (예컨대, 제2) 전자 디바이스로 전송하며, 하나 이상의 전자 디바이스들은 제1 사용자 입력의 표지를 디스플레이한다(5023).
예를 들어, 디바이스(100-2)는 도 37aa의 대화형 예약 애플리케이션 사용자 인터페이스(3712)의 입력 어포던스(3740-1) 내의 예약 시간을 6:45 PM으로부터 8:00 PM으로 변경한다. 디바이스(100-2)는 또한 예약 시간이 변경됐다는 정보를 9:31 AM에 디바이스(100-1)로 전송한다. 디바이스(100-1)는 9:31 AM에 정보를 수신하는 것에 응답하여, 대화 트랜스크립트(3700) 내의 애플리케이션 아이콘(예컨대, 객체)(3728)의 디스플레이를 도 37ak의 위치(3728-a)로부터 도 37al의 위치(3728-b)로 이동하고, 애플리케이션 아이콘(3728) 내에 디스플레이된 예약 시간을 도 37ak의 6:45 PM으로부터 도 37al의 8:00 PM으로 변경함으로써 대화형 예약 애플리케이션의 세션의 상태의 변경을 표시한다.
다른 예에서, 디바이스(100-2)는 도 37bm의 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3782) 내에 디스플레이된 틱-택-토 보드(3791)의 우측 상부 코너 내에 'X'(3794)를 배치한다. 디바이스(100-2)는 또한 9:35 AM에 'X'가 틱-택-토 보드(3791) 상에 배치되어 있었다는 정보를 디바이스(100-1)로 전송한다. 9:35 AM에 정보를 수신하는 것에 응답하여, 디바이스(100-1)는 도 37az의 틱-택-토 보드(3791)의 우측 상부 코너 내에 'X'(3794)를 디스플레이하고, 대화 트랜스크립트(3700) 내의 애플리케이션 아이콘(예컨대, 객체)(3786)의 디스플레이를 도 37ay의 위치(3786-a)로부터 도 37az의 위치(3784-b)로 이동하고, 대화 트랜스크립트(3700) 내의 추가적인 정보(3795)("Your turn")를 도 37az의 애플리케이션 아이콘(3786) 바로 아래에 디스플레이함으로써 대화형 틱-택-토 애플리케이션의 세션의 상태의 변경을 표시한다.
다른 예에서, 디바이스(100-1)는 도 37de의 애플리케이션 객체(3735) 내에 디스플레이된 피자 상에 버섯들을 디스플레이한다. 디바이스(100-1)는 또한 9:42 AM에 버섯들이 피자에 추가되었다는 정보를 디바이스(100-2)로 전송한다. 9:42 AM에 정보를 수신하는 것에 응답하여, 디바이스(100-2)는 도 37cl의 애플리케이션 객체(예를 들어, 아이콘)(3735) 상에 버섯들을 디스플레이하고, 애플리케이션 객체(3735) 아래의 추가적인 정보(3797)를 도 37ck의 "you added pepperoni"로부터 도 37cl의 "Andrew added mushrooms"로 변경함으로써 대화형 피자 주문 애플리케이션의 세션의 상태의 변경을 표시한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 메시징 세션에 대응되는 대화 트랜스크립트 내에서 (예컨대, 대화 트랜스크립트의 끝 및/또는 반대편으로) 대화형 애플리케이션에 대한 대응 아이콘의 이동을 야기하는 정보를 포함한다(5024).
예를 들어, 대화형 애플리케이션 아이콘은 그것이 처음 메시징 세션 내에 열린(예컨대, 게시된)것이 언제 인지에 따라 대화 트랜스크립트 내의 특정 장소에 배치된다. 이어서, 메시징 세션에 포함된 사용자에 대응되는 디바이스가 대화형 애플리케이션의 세션의 상태를 변경하는 경우, 대화형 애플리케이션 아이콘은 트랜스크립트의 끝으로 이동된다.
예를 들어, 디바이스(100-1)로 전송된 정보는 디바이스로 하여금 대화 트랜스크립트(3700) 내의 애플리케이션 아이콘(예컨대, 객체)(3728)의 디스플레이를 도 37ak의 위치(3728-a)로부터 도 37al의 위치(3728-b)로 이동하게 한다.
다른 예에서, 디바이스(100-1)로 전송된 정보는 디바이스로 하여금 대화 트랜스크립트(3700) 내의 애플리케이션 아이콘(예컨대, 객체)(3786)의 디스플레이를 도 37ay의 위치(3786-a)로부터 도 37az의 위치(3784-b)로 이동하게 한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 대화형 애플리케이션에 대한 대응되는 아이콘의 메시징 세션에 대응되는 대화 트랜스크립트의 제1 측으로부터 대화 트랜스크립트의 제2 측으로의 이동을 야기하는 정보를 포함한다(5026).
예를 들어, 대화형 애플리케이션에 대한 아이콘은 트랜스크립트의 우측으로부터 트랜스크립트의 좌측으로 이동하여, 메시징 세션에 포함된 다른 사용자(예컨대, 다른 사용자에 대응되는 디바이스)가 대화형 애플리케이션의 연관된 세션 내에 최근 입력을 수행했다고(예컨대, 메시징 세션 내에서 공유되는 대화형 애플리케이션 내에서 다음 차례를 했다고(took a turn)) 표시한다. 일부 실시예들에서, 정보는 하나 이상의 디바이스들로 하여금 제1 측(예컨대, 전자 디바이스의 사용자에 의해 게시가 이루어졌다고 표시하는 측부, 예를 들어, 메시징 애플리케이션 사용자 인터페이스(3500) 내에 디스플레이된 대화 트랜스크립트들(3506 및 3700)의 우측) 상에 아이콘이 이미 디스플레이되었던 곳에서만 아이콘을 이동하게 한다(예컨대, 애플리케이션 객체를 이동하기 위해서는 하나 이상의 디바이스들 중의 디바이스에 대해 조건 선례가 충족되어야 함). 그렇지 않으면, 정보가 수신될 때 애플리케이션 객체가 대화 트랜스크립트의 제2 측 상에 이미 디스플레이되어 있는 경우, 디바이스는 정보(예컨대, 명령어들)를 수신할 때 제2 측 상의 애플리케이션 객체의 디스플레이를 유지한다.
예를 들어, 디바이스(100-1)로 전송된 정보는 디바이스로 하여금 도 37ak의 대화 트랜스크립트(3700)의 우측 상의 위치(3728-a)로부터 도 37al의 대화 트랜스크립트(3700)의 좌측 상의 위치(3728-b)로 대화 트랜스크립트(3700) 내의 애플리케이션 아이콘(예컨대, 객체)(3728)의 디스플레이를 이동하게 한다.
다른 예로서, 디바이스(100-1)로 전송된 정보는 디바이스로 하여금 도 37ay의 대화 트랜스크립트(3700)의 우측 상의 위치(3786-a)로부터 도 37az의 대화 트랜스크립트(3700)의 좌측 상의 위치(3784-b)로 대화 트랜스크립트(3700) 내의 애플리케이션 아이콘(예컨대, 객체)(3786)의 디스플레이를 이동하게 한다.
일부 실시예들에서, (예컨대, 대응되는 대화형 애플리케이션의 세션 내에서 새로운 입력이 수신되었다고 표현하기 위해) 대화 트랜스크립트 내에서 애플리케이션 아이콘/객체가 제1 시간적 위치로부터 제2 시간적 위치로 이동되는 경우, 아카이브 아이콘/객체는 애플리케이션 아이콘/객체가 제1 위치에 디스플레이되게 했던 이전 입력을 기억하기 위해 제1 시간적 위치에서 대화 트랜스크립트 내에 배치된다.
예를 들어, 디바이스(100-1)는 예약 시간이 디바이스(100-2)에 의해 변경되었다는 정보를 9:31 AM에 수신한다. 이에 응답하여, 디바이스는 도 37ak의 트랜스크립트(3700) 내의 제1 시간적 위치에 대응되는 위치(3728-a)로부터, 도 37al의 트랜스크립트(3700) 내의 제2 시간적 위치에 대응되는 위치(3728-b)로 대화형 예약 애플리케이션 아이콘/객체(3728)를 이동한다. 디바이스(100-1)는, 트랜스크립트(3700) 내의 제1 시간적 위치(예컨대, 위치(3728-b))에 대응되는 시간에 예약이 처음으로 이루어졌음을 기억하기 위해, 처음으로 이루어진 입력에 대한(예컨대, 예약이 6:45 PM에 대해 성사/제안되었다는) 정보 및 대응되는 대화형 애플리케이션을 식별하는 기호(예컨대, 대화형 예약 애플리케이션에 대응되는 동심원 기호)를 포함하는 대화형 예약 애플리케이션 아카이브 아이콘/객체(3756)를 디스플레이한다. 일부 실시예들에서, 대화형 애플리케이션 아카이브 아이콘/객체는 입력을 기술하는 텍스트 및 애플리케이션 심볼 중 하나만을 포함한다. 일부 실시예들에서, 대화형 애플리케이션 아카이브 아이콘/객체는 입력을 기술하는 텍스트 및 애플리케이션 심볼 모두를 포함한다.
일부 실시예들에서, 대화형 애플리케이션 아카이브 아이콘/객체가 활성화되는 경우, 그 시간과 연관된 입력에 대한 추가적인 정보가 디스플레이된다. 일부 실시예들에서, 정보는 입력이 이루어진 시점의 대화형 애플리케이션의 세션의 상태(예컨대, 그 시간에 두어진 특정 틱-택-토 수를 보여줌)에 대응되는 상태에서 대화형 애플리케이션에 대한 사용자 인터페이스를 여는 것에 의해 디스플레이된다. 일부 실시예들에서, 정보는 대화 트랜스크립트 내에 또는 대화 트랜스크립트 위에(예컨대, 대화형 애플리케이션 아카이브 아이콘/객체의 확장으로서, 또는 메시징 사용자 인터페이스 위에/내에 디스플레이된 팝-업 영역으로서)(예컨대, 대화 트랜스크립트의 적어도 일부분 위에) 디스플레이된다.
사용자 및 메시징 세션의 타 참여자들에 의해 대화에 게시된 메시지들이 디스플레이의 반대 측부들 상에 디스플레이되는 일부 실시예들에서, 아이콘은 항상 최근 입력을 한 사용자에 대응되는 측 상에 디스플레이된다 (예컨대, 대화 트랜스크립트의 제1 측에서의 대화형 애플리케이션 아이콘의 디스플레이는 전자 디바이스의 사용자가 대화형 애플리케이션 사용자 인터페이스에서 최근 입력을 한 것을 표시하고, 대화 트랜스크립트의 제2 측에서의 대화형 애플리케이션 아이콘의 디스플레이는 메시징 세션에 포함된 다른 사용자가 대화형 애플리케이션 사용자 인터페이스에서 최근 입력을 한 것을 표시함).
대화형 애플리케이션이 차례-기반(turn-based) 애플리케이션인 일부 실시예들에서, 대화형 애플리케이션에 대한 아이콘은 항상 입력을 할 차례인 사용자에 대응되는 트랜스크립트의 측 상에 디스플레이된다 (예컨대, 대화 트랜스크립트의 제1 측에서의 대화형 애플리케이션 아이콘의 디스플레이는 메시징 세션에 포함된 다른 사용자가 입력을 할 차례임을 표시하고, 대화 트랜스크립트의 제2 측에서의 대화형 애플리케이션 론칭 아이콘의 디스플레이는 사용자가 입력을 할 차례임을 표시함.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스 내에 제1 사용자 입력이 이루어졌다고 표시하는 정보는, 제1 사용자 입력이 이루어 졌음을 표시하는 텍스트를 메시징 세션에 대응되는 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 대응 아이콘 아래에(또는 위에, 옆에, 근처에) 디스플레이를 야기하는 정보를 포함한다(5028).
예를 들어, 디바이스(100-1)로 전송된 정보는 디바이스로 하여금 도 37az의 애플리케이션 아이콘(3786) 아래에(예컨대, 바로 아래에) 대화 트랜스크립트(3700)에 추가적인 정보(3795)("Your turn")를 디스플레이하게 한다.
예를 들어, 디바이스(100-2)로 전송된 정보는 디바이스로 하여금 도 37cl의 애플리케이션 객체(3735) 아래에(예컨대, 바로 아래에) 추가적인 정보(3797)("Andrew added mushrooms")를 디스플레이하게 한다.
일부 실시예들에서, 텍스트를 디스플레이하는 것은 정보를 수신하기 전에 애플리케이션 객체 근처에 디스플레이된 텍스트를 변경(예컨대, 업데이트)하는 것을 포함한다. 예를 들어, 디바이스(100-2)로 전송된 정보는 디바이스로 하여금 애플리케이션 객체(3735) 아래(예컨대, 바로 아래) 디스플레이된 추가적인 정보(3797)를 도 37ck의 "You added pepperoni"로부터 도 37cl의 "Andrew added mushrooms"로 업데이트하게 한다.
일부 실시예들에서, 텍스트는 사용자에게 그들이 사용자 입력을 할 차례라고(예컨대, "Your turn to play"), 또는 다른 사용자가 입력을 할 차례라고(예컨대, "Abe's turn to play) 표시한다. 일부 실시예들에서, 텍스트는 사용자 입력을 한 사용자의 이름(예컨대, "Abe played an 'X'" 또는 "Andrew changed the reservation")을 표시한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 대화형 애플리케이션에 대한 대응 아이콘의 외관의 변경을 야기하는 정보를 포함한다(5030).
예를 들어, 디바이스(100-2)로 전송된 정보는 디바이스로 하여금 애플리케이션 아이콘(3728) 내에 디스플레이된 예약 시간을 도 37ak의 6:45 PM으로부터 도 37al의 8:00 PM으로 변경하게 한다.
다른 예에서, 디바이스(100-1)로 전송된 정보는 디바이스로 하여금 도 37cl의 애플리케이션 객체(예컨대, 아이콘)(3735) 상에 버섯들을 디스플레이하게 한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스 내에 제1 사용자 입력이 이루어졌다고 표시하는 정보는 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 디스플레이를 제1 상태로부터 제2 상태로 변경하게 하는 정보를 포함한다(5032).
일부 실시예들에서, 제1 사용자가 입력을 하는 경우에(예컨대, 타 디바이스가 제1 사용자가 입력을 한다는 정보를 수신하는 경우에) 대응되는 대화형 사용자 인터페이스가 다른 디바이스 상에 디스플레이되는 경우, 타 사용자의 디스플레이는 실시간으로 업데이트된다(예컨대, 'X'가 실시간으로 제2 사용자의 틱-택-토 보드 상에 배치됨).
예를 들어, 디바이스가 9:35 AM에 디바이스(100-2) 상의 대응되는 틱-택-보드(3791) 상에 'X'가 배치되었다는 정보(3794)를 수신하는 경우, 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3782)는 도 37y에서 디바이스(100-1)의 터치 스크린(112) 상에 디스플레이된다(예컨대, 대화 트랜스크립트(3700)에 대응되는 메시징 세션과 연관된 대응되는 틱-택-토 애플리케이션 사용자 인터페이스(3782) 내에 디스플레이됨). 이에 응답하여, 디바이스(100-1)는 (디바이스가 정보를 수신한 때에 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3782)가 디스플레이되고 있었기 때문에) 도 37az의 틱-택-토 보드(3782) 상에 'X'(3794)를 디스플레이한다.
일부 실시예들에서, 대응되는 대화형 인터페이스가 타 디바이스 상에 디스플레이되지 않는 경우, 대응되는 대화형 사용자 인터페이스는 디바이스가 열릴 때 업데이트된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 (예컨대, 전체보다 작은) 서브셋을 수행하도록 구성된다(5034). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
도 50a 내지 도 50c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 50a 내지 도 50c에 관하여 위에 설명된 방법(700)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(5000)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 [접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들]의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 51은 위에 설명된 바와 같은 본 발명의 원리들에 따라 구성된 전자 디바이스(5100)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 51에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 51에 도시된 바와 같이, 전자 디바이스(5100)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(5102); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(5104); 및 디스플레이 유닛(5102) 및 터치 감응형 표면 유닛(5104)과 결합된 프로세싱 유닛(5106)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(5106)은 검출 유닛(5108), 디스플레이 인에이블 유닛(5110), 디스플레이 변경 유닛(5112) 및 전송 유닛(5114)을 포함한다.
프로세싱 유닛(5106)은 디스플레이 유닛(5102) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5110)을 이용함) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역 및 대화 트랜스크립트 내에서 디스플레이되는 대화형 애플리케이션에 대한 아이콘을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하고(예컨대, 검출 유닛(5108)을 이용함); 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 제1 상태로 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5110)을 이용함); 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 동안, 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출하고(예컨대, 검출 유닛(5108)을 이용함); 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 제1 사용자 입력을 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 제1 상태로부터 제2 상태로 변경하고(예컨대, 변경 유닛(5112)을 이용함), 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 대화형 애플리케이션에 대한 사용자 인터페이스 내에 제1 사용자 입력이 이루어졌다고 표시하는 정보를 전송하도록(예컨대, 전송 유닛(5114)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 제1 사용자 입력의 표지를 디스플레이한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 메시징 세션에 대응되는 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 대응 아이콘의 이동을 야기하는 정보를 포함한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 메시징 세션에 대응되는 대화 트랜스크립트의 제1 측으로부터 대화 트랜스크립트의 제2 측으로의 대화형 애플리케이션에 대한 대응 아이콘의 이동을 야기하는 정보를 포함한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 제1 사용자 입력이 메시징 세션에 대응되는 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 대응 아이콘 아래에서 이루어졌다고 표시하는 텍스트의 디스플레이를 야기하는 정보를 포함한다.
일부 실시예들에서, 제1 사용자 입력이 대화형 애플리케이션에 대한 사용자 인터페이스 내에서 이루어졌다고 표시하는 정보는 대화형 애플리케이션에 대한 대응 아이콘의 외관의 변경을 야기하는 정보를 포함한다.
일부 실시예들에서, 대화형 애플리케이션에 대한 사용자 인터페이스 내에 제1 사용자 입력이 이루어졌다고 표시하는 정보는 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 디스플레이를 제1 상태로부터 제2 상태로 변경하게 하는 정보를 포함한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 서브셋을 수행하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 일부분을 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리의 임시 저장용 전용 부분을 갖는다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 50a 내지 도 50c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 51에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(5006 및 5022)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 52a 내지 도 52c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법(5200)을 예시한 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(5200)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(5200)은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션의 대화형 애플리케이션을 보다 빠르고 보다 효율적으로 사용할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하고, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 메시지 입력 영역을 포함한다(5202). 예를 들어, 디바이스(100-2)(Abe에 의해 조작됨)는 대화 트랜스크립트(3700) 및 메시지 입력 영역(3502)을 포함하는 도 37j 및 도 37bd의 메시징 사용자 인터페이스(3500)를 디스플레이한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 메시징 세션에 포함된 다른 사용자에 대응되는 (제2) 전자 디바이스(예컨대, 도 37f 및 도 37av에서 Andrew에 의해 조작된 디바이스(100-1))로부터 명령어들을 수신하여, 대화형 애플리케이션에 대한 아이콘("대화형 애플리케이션 아이콘" 또는 "대화형 애플리케이션 객체")을 대화 트랜스크립트 내에 디스플레이한다(5204).
일부 실시예들에서, 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션의 세션이 메시징 세션 내에서 개시되었다는 정보(예컨대, 메타 메시지, 명령어들 또는 대화형 애플리케이션 아이콘/객체의 표현)를 메시징 세션에 포함된 다른 사용자에 대응되는 (제2) 전자 디바이스(예컨대, 도 37f 및 도 37av의 Andrew에 의해 조작된 디바이스(100-1))로부터 수신한다. 일부 실시예들에서, 정보는 전자 디바이스로 하여금 대화 트랜스크립트 내의 대화형 애플리케이션의 세션에 대한 아이콘을 디스플레이하게 한다.
예를 들어, 도 37f의 론칭 아이콘(3708) 상의 접촉(3710)을 포함하는 입력(예컨대, 탭 제스처)의 검출에 의해 야기된 대화형 예약 애플리케이션의 세션의 개시 시, 디바이스(100-1)는 대화형 예약 애플리케이션의 세션이 개시되었다는 정보를 디바이스(100-2)로 전송한다. 디바이스(100-2)는 도 37j의 정보를 수신한다. 다른 예로서, 대화형 틱-택-토 애플리케이션의 세션의 개시 시, 디바이스(100-2)는 도 37be의 디바이스(100-1)로부터 대화형 틱-택-토 애플리케이션의 세션(예컨대, 게임)이 개시되었다는 정보를 수신한다.
명령어들을 수신하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘(예컨대, 대화형 애플리케이션 객체)을 디스플레이한다(5208).
일부 실시예들에서, 대화형 애플리케이션의 세션이 메시징 세션 내에서 개시되었다는 정보를 수신하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내의 메시징 세션 내의 개시된 대화형 애플리케이션의 세션과 연관되는 대화형 애플리케이션에 대한 아이콘을 디스플레이한다.
예를 들어, 도 37j의 디바이스(100-2)로부터 정보를 수신하는 것에 응답하여, 디바이스(100-1)는 도 37k의 대화 트랜스크립트(3700) 내에 대화형 예약 애플리케이션 아이콘/객체(3730)를 디스플레이한다. 또 다른 예로서, 도 37be의 디바이스(10012)로부터 정보를 수신하는 것에 응답하여, 디바이스(100-1)는 도 37bf의 대화 트랜스크립트(3700) 내에 대화형 틱-택-토 애플리케이션 아이콘/객체(3705)를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다(5026). 일부 실시예들에서, 대화형 애플리케이션 아이콘들/객체들은 애플리케이션 아이콘/객체와 연관된 대화형 애플리케이션에 대한 사용자 인터페이스의 론칭을 인에이블함으로써 애플리케이션 론칭 아이콘들로서 기능한다.
일부 실시예들에서, 대화형 애플리케이션 아이콘/객체는 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다. 예를 들어, 도 37k에서, 대화형 예약 애플리케이션 아이콘/객체(3730)는 메시징 애플리케이션과 별개로 동작되는 예약 애플리케이션에 대응되는 동심원 기호를 디스플레이한다.
대화형 애플리케이션에 대한 아이콘을 대화 트랜스크립트 내에 디스플레이하는 동안, 디바이스는 대화형 애플리케이션에 대한 아이콘을 활성화하는(예컨대, 애플리케이션을 론칭하는) 입력(예컨대, 탭 제스처)을 검출한다(5212). 예를 들어, 디바이스(100-2)는 도 37p의 대화형 애플리케이션 아이콘/객체(3728) 상의 접촉(3738)을 포함하는 입력을 검출하며, 이는 대화형 예약 애플리케이션을 활성화한다. 다른 예에서, 디바이스(100-2)는 도 37bg의 대화형 애플리케이션 아이콘/객체(3705) 상의 접촉(3707)을 포함하는 입력을 검출하며, 이는 대화형 틱-택-토 애플리케이션을 활성화한다.
대화 트랜스크립트 내에 디스플레이된 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여(5212), 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있다는 결정에 따라, 디바이스는 대화형 애플리케이션에 대한 사용자 인터페이스("대화형 애플리케이션 사용자 인터페이스")를 디스플레이한다(5214).
예를 들어, 도 37p의 접촉(3738)을 포함하는 활성화 입력이 검출된 경우, 대화형 예약 애플리케이션이 디바이스에 저장되었기 때문에, 디바이스(100-2)는 도 37q의 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 적어도 일부분 위로 디스플레이된다. 예를 들어, 대화형 틱-택-토 애플리케이션에 대한 사용자 인터페이스(3782)는 도 37bk의 메시징 사용자 인터페이스(3500)의 일부분 위로 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 디스플레이를 대체한다. 예를 들어, 도 37q의 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)는 도 37p의 메시징 사용자 인터페이스의 디스플레이를 대체한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시지 트랜스크립트 내에 디스플레이된다. 예를 들어, 도 37ca의 트랜스크립트(3700) 내에 디스플레이된 피자 애플리케이션 객체(3735)는, 주문 중인 피자의 현재 상태를 디스플레이하기 때문에, 대화형 피자 주문 애플리케이션에 대한 사용자 인터페이스의 불연속적 부분이다.
대화 트랜스크립트 내에 디스플레이된 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여(5212), 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있지 않다는 결정에 따라, 디바이스는 원격 서버(예컨대, 메시징 애플리케이션에 대한 대화형 애플리케이션을 포함하는 온라인 애플리케이션 스토어의 일부인 서버)로부터 전자 디바이스의 메모리로 대화형 애플리케이션을 다운로드하고, 대화형 애플리케이션을 원격 서버로부터 다운로드한 후, 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이한다.
예를 들어, 디바이스(100-2)는 도 37bh의 다운로드 상태 표지(3709)에 의해 표시된 바와 같이, 도 37bg의 접촉(3707)을 포함하는 활성화 입력이 검출되었을 때 디바이스의 메모리에 애플리케이션이 저장되어 있지 않았기 때문에, 대화형 틱-택-토 애플리케이션 아이콘/객체(3705)에 대응되는 대화형 틱-택-토 애플리케이션을 다운로드한다.
일부 실시예들에서, 대화형 애플리케이션을 다운로드하는 것은 사용자 입력이 대화형 애플리케이션의 다운로드에 대한 승인을 표시하는 승인 단계를 포함한다(예컨대, 객체가 디스플레이되어 사용자에게 애플리케이션의 다운로드를 확인하고/하거나, 그들의 신원을 확인하도록 프롬프트함). 일부 실시예들에서, 다운로드는 사용자 인증을 요구하지 않고 배경에서 발생한다.
일부 실시예들에서, 다운로드는 메시징 사용자 인터페이스로부터 멀리 이격되어 내비게이션하지 않고 발생한다. 일부 실시예들에서, 다운로드는 메시징 사용자 인터페이스의 디스플레이를 유지하는 동안 발생한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 적어도 일부분 위로 디스플레이된다. 예를 들어, 대화형 틱-택-토 애플리케이션에 대한 사용자 인터페이스(3782)는 도 37bk의 메시징 사용자 인터페이스(3500)의 일부분 위로 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시징 사용자 인터페이스의 디스플레이를 대체한다. 예를 들어, 도 37q의 대화형 예약 애플리케이션에 대한 사용자 인터페이스(3712)는 도 37p의 메시징 사용자 인터페이스의 디스플레이를 대체한다.
일부 실시예들에서, 대화형 애플리케이션 사용자 인터페이스는 메시지 트랜스크립트 내에 디스플레이된다. 예를 들어, 도 37ca의 트랜스크립트(3700) 내에 디스플레이된 피자 애플리케이션 객체(3735)는, 주문 중인 피자의 현재 상태를 디스플레이하기 때문에, 대화형 피자 주문 애플리케이션에 대한 사용자 인터페이스의 불연속적 부분이다.
일부 실시예들(5232)에서, 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있지 않다는 결정에 따라, 대화형 애플리케이션에 대한 아이콘은 제1 외관을 가지며, 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있다는 결정에 따라, 대화형 애플리케이션에 대한 아이콘은 제1 외관과 상이한 제2 외관을 갖는다.
일부 실시예들에서, 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되지 않는다는 결정에 따라, 디바이스는 대화형 애플리케이션에 대한 아이콘 근처에(예컨대, 아래, 위, 옆 또는 근처에) 추가적인 정보를 디스플레이하여 대화형 애플리케이션이 디바이스의 메모리에 저장되어 있지 않다고 표시한다. 예를 들어, 디바이스(100-2)는 대응되는 대화형 틱-택-토 애플리케이션이 디바이스의 메모리에 저장되어 있지 않기 때문에, 도 37bf의 아이콘(3705) 아래에 추가적인 정보("Tap to download")를 디스플레이한다. 대조적으로, 디바이스(100-2)는 대응되는 대화형 틱-택-토 애플리케이션이 디바이스의 메모리에 다운로드된 후, 도 37bi의 아이콘(3705) 아래에 추가적인 정보("Your turn")을 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 (예컨대, 전체보다 작은) 서브셋을 수행하도록 구성된다(5216). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 (예컨대, 전체보다 작은) 일부분을 디스플레이한다(5218). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다(5220). 예를 들어, 도 37p의 대화형 예약 애플리케이션 아이콘(3728)에 대한 제1 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 내의 대화형 예약 애플리케이션을 론칭한다. 도 37p의 대화형 예약 애플리케이션 아이콘(3728)에 대한 제2(예컨대, 상이한) 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 외부의 예약 애플리케이션을 론칭한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다(5222). 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다(5224). 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하지 않다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리(5226)의 임시 저장용 전용 부분을 갖는다. 예를 들어, 일부 실시예들에서, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약들의 기록은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션을 사용하여 이루어진 예약들의 기록과는 상이한 메모리의 일부분에 저장된다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다(5228). 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션은 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약 기록에 액세스할 수 있다.
일부 실시예들에서, 디바이스는 대화형 애플리케이션의 종료를 검출하고, 대화형 애플리케이션의 종료를 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 중지하고, 대화 트랜스크립트를 포함하는 메시징 사용자 인터페이스를 디스플레이하며(예컨대, 부분 또는 완전한 디스플레이를 복원함), 대화형 애플리케이션에 대한 아이콘이 대화 트랜스크립트 내의 위치에 디스플레이된다(5232).
예를 들어, 디바이스(100-2)는 도 37ab의 종료(나가기) 어포던스(3714) 상의 접촉(3756)을 포함하는 종료 입력을 검출하는 것에 응답하여, 도 37ac의 트랜스크립트(3700) 내에 대화형 예약 애플리케이션 아이콘/객체(3728)를 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다.
다른 예에서, 디바이스(100-2)는, 도 37bn의 종료(나가기) 어포던스(3794) 상의 접촉(3717)을 포함하는 종료 입력을 검출하는 것에 응답하여, 도 37bo의 트랜스크립트(3700) 내의 대화형 틱-택-토 애플리케이션 아이콘/객체(3705)를 포함하는, 도 37bn의 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3782)의 디스플레이에 의해 가려져 있던 메시징 사용자 인터페이스(3500)의 부분적인 디스플레이를 도 37bo에서 복원한다.
일부 실시예들에서, 대화 트랜스크립트 내의 아이콘의 위치는 (예컨대, 다른 사용자가 대화형 애플리케이션의 세션을 요청한 경우) 아이콘을 디스플레이하기 위한 명령어들이 수신된 시간 순서에 의존적이다. 일부 실시예들에서, 대화 트랜스크립트 내의 아이콘의 위치는 사용자가 대화형 애플리케이션을 종료한(예컨대, 트랜스크립트에서 아이콘을 눌러 애플리케이션을 닫은) 시간 순서에 의존한다. 일부 실시예들에서, 아이콘의 위치는 (예컨대, 임의의 사용자에 의한) 최근 입력이 대화형 애플리케이션 내에서 이루어진 시간 순서에 의존한다.
도 52a 내지 도 52c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 52a 내지 도 52c에 관하여 위에 설명된 방법(700)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(5200)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5400, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 53은 위에 설명된 바와 같은 본 발명의 원리들에 따라 구성된 전자 디바이스(5300)의 기능 블록도를 도시한다. 디바이스의 기능 블록도들은 본 발명의 원리들을 실행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 도 53에 설명된 기능 블록들은 위에 설명된 바와 같이 본 발명의 원리들을 구현하기 위해 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서에서의 설명은 본 명세서에서 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원할 수 있다.
도 53에 도시된 바와 같이, 전자 디바이스(5300)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(5302); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(5304); 및 디스플레이 유닛(5302) 및 터치 감응형 표면 유닛(5304)과 결합된 프로세싱 유닛(5306)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(5306)은 검출 유닛(5308), 디스플레이 인에이블 유닛(5310), 중지 유닛(5312), 다운로드 유닛(5314) 및 수신 유닛(5316)을 포함한다.
프로세싱 유닛(5306)은 디스플레이 유닛(5302) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5310)을 이용함) - 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함함 -; 메시징 사용자 인터페이스를 디스플레이하는 동안, 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 대화 트랜스크립트 내의 대화형 애플리케이션에 대한 아이콘의 디스플레이를 야기하는 정보를 수신하고(예컨대, 수신 유닛(5316)을 이용함); 정보를 수신하는 것에 응답하여, 대화 트랜스크립트 내에 대화형 애플리케이션에 대한 아이콘의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5310)을 이용함); 대화 트랜스크립트 내에 대화형 애플리케이션에 대한 아이콘을 디스플레이하는 동안, 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하고(예컨대, 검출 유닛(5308)을 이용함); 대화 트랜스크립트 내에 디스플레이된 대화형 애플리케이션에 대한 아이콘을 활성화하는 입력을 검출하는 것에 응답하여: 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있다는 결정에 따라, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5310)을 이용함), 대화형 애플리케이션에 대한 아이콘에 대응되는 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있지 않다는 결정에 따라: 원격 서버로부터 전자 디바이스의 메모리로 대화형 애플리케이션을 다운로드하고(예컨대, 다운로드 유닛(5314)을 이용함); 원격 서버로부터 대화형 애플리케이션을 다운로드한 후, 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5310)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(5306)은: 대화형 애플리케이션의 종료를 검출하고(예컨대, 검출 유닛(5308)을 이용함), 대화형 애플리케이션의 종료를 검출하는 것에 응답하여, 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하는 것을 중지하고(예컨대, 중지 유닛(5312)을 이용함); 대화 트랜스크립트를 포함하는 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5310)을 이용함) 더 구성되며, 대화형 애플리케이션에 대한 아이콘은 대화 트랜스크립트 내의 위치에 디스플레이된다.
일부 실시예들에서, 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있지 않다는 결정에 따라, 대화형 애플리케이션에 대한 아이콘은 제1 외관을 가지며, 대화형 애플리케이션이 전자 디바이스의 메모리에 저장되어 있다는 결정에 따라, 대화형 애플리케이션에 대한 아이콘은 제1 외관과 상이한 제2 외관을 갖는다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 서브셋을 수행하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션 론칭 아이콘은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 일부분을 디스플레이한다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리의 임시 저장용 전용 부분을 갖는다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 52a 내지 도 52c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 53에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(5210 및 5234)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상에서의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트에 대응되는지 여부를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는, 옵션적으로, 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 54a 및 도 54c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법(5400)을 예시한 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(700)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(5400)은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션의 대화형 애플리케이션을 보다 빠르고 보다 효율적으로 사용할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 디스플레이의 제1 영역 내에 디스플레이된 대화 트랜스크립트, 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션 객체, 메시지 입력 영역, 및 디스플레이의 제2 영역 내에 디스플레이된 메시지 입력 영역과 구별되는 제1 대화형 애플리케이션에 대한 입력 영역을 포함하고, 제1 대화형 애플리케이션에 대한 입력 영역은 하나 이상의 입력 어포던스들을 포함한다(5402).
예를 들어, 도 37ca 및 도 37da에서, 디바이스들(100-2 및 100-1)은 각각 터치 스크린(112)의 상측부 내에 디스플레이된 대화 트랜스크립트(3700), 대화 트랜스크립트(3700) 내의 대화형 피자 주문 애플리케이션 객체(3735), 및 터치 스크린(112)의 하측부 내에 디스플레이된 대화형 피자 주문 애플리케이션 입력 영역(3731)을 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다. 대화형 피자 주문 입력 영역(3731)은 (예컨대, 주문을 위해) 생성 중인 피자에 토핑들을 추가하고, 피자로부터 토핑을 제거하고, 피자를 주문하기 위한 입력 어포던스들(3733-1, 3733-2 및 3733-3)을 각각 포함한다.
일부 실시예들에서, 대화형 애플리케이션 객체는 사용자 입력에 응답하여 대화형 애플리케이션의 출력을 디스플레이한다(예컨대, 대화형 애플리케이션의 출력이 대화형 애플리케이션 객체 상에 디스플레이됨). 예를 들어, 피자에 페퍼로니를 추가하는 도 37cb 및 도 37cd의 접촉들(3737 및 3739)을 포함하는 입력에 응답하여, 도 37ce의 대화형 피자 주문 애플리케이션 객체(3737) 상에 페퍼로니가 디스플레이된다.
일부 실시예들에서, 대화 트랜스크립트가 디스플레이의 제1 영역 내에 디스플레이되는 동안, 대화형 애플리케이션에 대한 입력 영역은 디스플레이의 제2 영역 내에 디스플레이된다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이는 (예컨대, 제1 대화형 애플리케이션 객체를 활성화하는 입력을 검출하는 것에 응답하여) 대화 트랜스크립트, 제1 대화형 애플리케이션 객체 및/또는 메시지 입력 영역의 디스플레이를 대체한다.
일부 실시예들에서, 디바이스(5404)는 콘텐츠가 게시된 시간 순서에 따라 대화 트랜스크립트 내의 메시징 세션에 게시된 콘텐츠를 디스플레이하며, 대화형 애플리케이션 객체는 대화형 애플리케이션의 세션이 개시된 시간 순서와 연관된 대화 트랜스크립트 내의 위치에 디스플레이된다. 예를 들어, 대화형 애플리케이션 객체는 사용자가 대화형 애플리케이션의 세션을 처음 메시징 세션에 게시한 시간 순서에 따라, 대화 트랜스크립트(예컨대, 메시지들, 멀티미디어 및 다른 콘텐츠)의 다른 객체들에 상대적으로 위치된다.
예를 들어, 도 37ce 및 도 37cf에서, 메시지(3798)는 메시징 세션에 첫 번째로(예컨대, 도 37bs의 9:36에) 게시되고, 애플리케이션 객체(3735)는 두 번째로(예컨대, 도 37ca의 9:37 PM에) 게시되고, 메시지(3741)는 최근에(예컨대, 도 37cv의 9:39 AM에) 게시되었기 때문에, 대화형 틱-택-토 애플리케이션 객체(3735)는 대화 트랜스크립트 내의 메시지들(3798와 3741) 사이에 위치된다.
일부 실시예들에서, 디바이스는 (예컨대, 새로운 콘텐츠가 메시징 세션에 게시됨에 따라) 대화 트랜스크립트 내에서 시간 순서대로 디스플레이되는 콘텐츠의 대화 트랜스크립트의 에지(예컨대, 대화 트랜스크립트의 상부)를 향한 동기적 이동을 디스플레이하고 - 디스플레이된 콘텐츠는 제1 대화형 애플리케이션 객체를 포함함 -, 제1 대화형 애플리케이션 객체가 대화 트랜스크립트의 에지에 대해 미리 결정된 거리 내에 있다는 결정에 따라, 디바이스는 제1 대화형 애플리케이션 객체를 디스플레이 상의 고정된 위치에(예컨대, 대화 트랜스크립트의 상측부에) 디스플레이한다(5406).
예를 들어, 도 37ce에서, 메시지(3798) 및 대화형 틱-택-토 애플리케이션 객체(3735)는 전술한 바와 같이, 그들이 메시징 세션에 게시된 시간 순서에 따라 디스플레이된다. 메시지(3741)가 메시징 세션에 게시되는 것에 응답하여, 디바이스(100-2)는 메시지(3798)를 터치 스크린(112)의 상부로 사라지게(off) 이동하고, 대화형 틱-택-토 애플리케이션 객체(3735)를 위로 대화 트랜스크립트(3700)의 상부를 향해 도 37ce의 위치(3735-a)로부터 도 37cf의 위치(3735)로 이동한다. 대화형 틱-택-토 애플리케이션 객체(3735)는 대화 트랜스크립트의 디스플레이된 부분의 상부 근처의 미리 정의된 위치(예컨대, 위치(3735-b))에 디스플레이되기 때문에, 메시지(3747)가 도 37cj의 메시징 세션에 게시되는 경우, 위로 이동하는 것을 계속하지 않는다(예컨대, 위치(3735-b)에 디스플레이된 채로 유지됨).
일부 실시예들에서, 디스플레이 상의 고정된 위치에 제1 대화형 애플리케이션 객체를 디스플레이하는 동안, 디바이스는 대화 트랜스크립트 내에서 시간 순서대로 디스플레이된 다른 콘텐츠의 동기적 이동을 디스플레이하는 것을 계속한다(5408).
예를 들어, 도 37ci 내지 도 37ck에서, 대화형 틱-택-토 애플리케이션 객체(3735)는 위치(3735-b)에서 고정된 디스플레이를 가지지만, 메시지(3741)는 도 37cj의 메시지(2747), 및 도 37ck의 메시지(3749)가 메시징 세션에 게시됨에 따라 터치 스크린(112) 상에서 스크롤 업하는 것을 계속한다.
일부 실시예들에서, 시간 순서대로 디스플레이된 다른 콘텐츠의 동기적 이동을 대화 트랜스크립트와 디스플레이하는 것을 계속하는 것은 디바이스가 다른 콘텐츠를 애니메이션화하여 다른 콘텐츠가 제1 대화형 애플리케이션 객체 뒤에서 이동하는 것처럼 보이도록 하는 것을 포함한다(5410)(예컨대, 제1 대화형 애플리케이션 UI는 대화 트랜스크립트 위로 호버하는 것처럼 보이고, 새로운 콘텐츠가 메시징 세션에 게시됨에 따라 상향으로 스크롤하는 것을 계속함).
예를 들어, 도 37ci 내지 도 37ck에서, 대화형 틱-택-토 애플리케이션 객체(3735)가 위치(3735-b)에 고정되는 동안, 메시지(3741)는 도 37cj의 메시지(2747) 및 도 37ck의 메시지(3749)가 메시징 세션에 게시됨에 따라 대화형 틱-택-토 애플리케이션 객체(3735) 뒤로 슬라이드되게 애니메이션화된다.
일부 실시예들에서, 디스플레이 상의 고정된 위치에 제1 대화형 애플리케이션 객체를 디스플레이하는 동안, 디바이스는 제1 대화형 애플리케이션을 닫으라는 요청(예컨대, 대화형 애플리케이션 객체를 디스플레이 상의 고정된 위치로부터 핀고정 해제하는 입력)을 검출하고, 제1 대화형 애플리케이션을 닫으라는(또는 디스플레이 상의 고정된 위치로부터 대화형 애플리케이션 객체를 핀고정 해제하라는) 요청을 검출하는 것에 응답하여, 디스플레이 상의 고정된 위치에 제1 대화형 애플리케이션 객체를 디스플레이하는 것을 중지하고, 대화형 애플리케이션의 세션이 개시된 시간 순서와 연관된 대화 트랜스크립트 내의 위치에 제1 대화형 애플리케이션 객체를 디스플레이한다(5418) (예컨대, 제1 대화형 애플리케이션 UI가 대화 트랜스크립트의 상부로부터 핀고정 해제되어, 다시 트랜스크립트 내의 그의 원래 위치로 이동함).
일부 실시예들에서, 대화형 애플리케이션 객체를 디스플레이 상의 고정된 위치로부터 핀고정 해제하는 입력은 대화형 애플리케이션 사용자 인터페이스의 디스플레이를 종료하지 않는다 (예컨대, 대화형 피자 주문 애플리케이션 객체(3735)는 대화형 피자 주문 애플리케이션 입력(3731)의 디스플레이를 종료하지 않으면서, 터치 스크린(112) 상의 고정된 위치로부터 핀고정 해제될 수 있음.
일부 실시예들에서, 대화형 애플리케이션 객체를 디스플레이 상의 고정된 위치(예컨대, 대화 트랜스크립트의 디스플레이된 부분)로부터 핀고정 해제하는 입력은 (예컨대, 터치 스크린(112)과 같은 터치 감응형 표면 상에서 검출된) 사용자 입력이다. 예를 들어, 애플리케이션 객체(3735)는 도 37di의 주문 어포던스(3773-3) 상의 접촉(3775)을 포함하는 피자를 주문하는(예컨대, 그리고 대화형 피자 주문 애플리케이션을 닫는) 입력에 응답하여, 도 37di의 대화 트랜스크립트(3700)의 고정된 위치(3735-b)로부터 도 37dj의 원래 위치(3735-a)(예컨대, 메시징 세션 내의 그의 원래 시간적 위치)로 이동한다.
일부 실시예들에서, 대화형 애플리케이션 객체를 디스플레이 상의 고정된 위치(예컨대, 대화 트랜스크립트의 디스플레이된 부분)로부터 핀고정 해제하는 입력은 메시징 세션에 포함된 다른 사용자에 대응되는 다른 전자 디바이스로부터의 입력(예컨대, 메타 메시지, 명령 또는 정보)이다. 예를 들어, 애플리케이션 객체(3735)는, 피자가 주문되었다는 정보를 디바이스(100-1)로부터 수신하는 것에 응답하여, 디바이스(100-2)의 터치 스크린(112) 상에서, 도 37cn의 대화 트랜스크립트(3700) 내의 고정된 위치(3735-b)로부터 도 37co의 원래 위치(3735-a)(예컨대, 메시징 세션 내의 그의 원래 시간적 위치)로 이동한다(도 37cq에서 입증된 바와 같음).
일부 실시예들에서, 대화형 애플리케이션 객체를 디스플레이 상의 고정된 위치(예컨대, 대화 트랜스크립트의 디스플레이된 부분)로부터 핀고정 해제하는 입력은 조건 선례(예컨대, 제1 대화형 애플리케이션의 타이밍 아웃)에 응답하여 생성된 자동으로 생성된 입력(예컨대, 커맨드)이다.
일부 실시예들에서, 대화형 애플리케이션 객체는 대화형 애플리케이션에 대한 디스플레이 및/또는 사용자 인터페이스이다.
일부 실시예들에서, 대화형 애플리케이션 객체는 메시징 세션 내의 개시된 대화형 애플리케이션의 세션에 대한 론칭 아이콘이다.
하나 이상의 입력 어포던스들을 포함하는 제1 대화형 애플리케이션에 대한 입력 영역을 포함하는 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 대화형 애플리케이션에 대한 입력 영역 내의 제1 입력 어포던스를 활성화하는 입력을 검출한다(5420). 예를 들어, 디바이스(100-2)는 도 37cb의 접촉(3737), 및 도 37cd의 접촉(3739)을 포함하는, 생성 중인 피자에 페퍼로니를 추가하기 위한 입력을 검출한다.
일부 실시예들에서, 제1 입력 어포던스를 활성화하는 입력을 검출한 후, 디바이스는 제1 입력 어포던스를 활성화하는 입력에 따라 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체를 업데이트하고(예컨대, 피자 상에 토핑을 추가함) 제1 입력 어포던스의 활성화와 연관된 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의(예컨대, 제2) 전자 디바이스들로 정보(예컨대, 메타 메시지, 명령어들, 또는 업데이트된 대화형 애플리케이션 객체의 표현)를 전송한다(5422) (예컨대, 메시징 세션의 대응 대화 트랜스크립트 내에 디스플레이된 제1 대화형 애플리케이션에 대응되는 대응 대화형 애플리케이션 객체를 업데이트하기 위한 명령어들 및/또는 피자에 페퍼로니가 추가되었다는 정보).
예를 들어, 디바이스(100-2)는 도 37ce에서 피자 상에 페퍼로니를 추가함으로써 대화형 피자 주문 애플리케이션 객체(3735)의 디스플레이를 업데이트하고, 9:38 AM에 페퍼로니가 피자에 추가되었다는 정보를 디바이스(100-1)로 전송한다. 디바이스(100-1)는 이어서 도 37cs에서 피자 상에 페퍼로니를 추가함으로써 대화형 피자 주문 애플리케이션 객체(3735)의 디스플레이를 업데이트한다.
일부 실시예들에서, 대화 트랜스크립트 내에 제1 대화형 애플리케이션 객체를 디스플레이하기 전에, 디바이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스를 디스플레이한다(5426) 예를 들어, 디바이스(100-1)는 도 37an의 대화 트랜스크립트(3700) 및 애플리케이션 어포던스(3508)를 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 애플리케이션 어포던스를 활성화하는 입력을 검출한다(예컨대, 애플리케이션 어포던스에 대응되는 위치에서 탭 제스처를 검출함). 예를 들어, 도 37ao에서 애플리케이션 어포던스(3508) 상의 접촉(3768)을 포함하는 입력.
애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트의 적어도 일부의 디스플레이를 디스플레이의 제1 영역 내에 유지하고, 복수의 대화형 애플리케이션 아이콘들 중 하나인 제2 대화형 애플리케이션 아이콘(예컨대, 제2 대화형 애플리케이션에 대한 론칭 아이콘)을 디스플레이의 제2 영역내에(예컨대, 스크롤가능한 대화형 애플리케이션 패널 내에) 디스플레이한다. 예를 들어, 디바이스(100-1)는 도 37ap의 애플리케이션 슬라이드 트레이(3892) 내에 대화형 예약 애플리케이션 론칭 아이콘(3708)을 디스플레이한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스를 활성화하기 전에 전자 키보드의 디스플레이를 포함하는 경우, 스크롤가능한 대화형 애플리케이션 패널의 디스플레이는 키보드의 디스플레이를 대체한다. 예를 들어, 도 37bw의 애플리케이션 슬라이드 트레이(3892)의 디스플레이는 도 37bv의 디지털 키보드(3501)의 디스플레이를 대체한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스를 활성화하기 전에 대화 트랜스크립트의 풀-스크린 디스플레이를 포함하는 경우, 스크롤가능한 대화형 애플리케이션 패널의 디스플레이는 메시지 트랜스크립트의 디스플레이의 일부분을 대체한다. 예를 들어, 도 37ao의 풀-스크린 모드로 디스플레이된 대화 트랜스크립트(3700)는 도 37ap의 애플리케이션 슬라이드 트레이(3892)의 디스플레이를 수용하기 위해 축소된다.
디스플레이의 제2 영역 내에 제2 대화형 애플리케이션 아이콘을 디스플레이하는 동안, 디바이스는 디스플레이의 제2 영역에 대응되는 위치에서 제1 접촉의 수평 이동을 포함하는 제1 스와이프 제스처를 검출한다. 예를 들어, 디바이스(100-1)는 도의 위치(3770)로부터 도 37ar의 위치(3770-b)로의 접촉(3770)의 이동(3772)을 포함하는 스와이프 제스처를 검출한다.
제1 스와이프 제스처가 하나 이상의 대화형 애플리케이션 아이콘 전환 기준들을 만족한다는 결정에 따라, 디바이스는 제2 대화형 애플리케이션 아이콘의 디스플레이를 디스플레이의 제2 영역 내의 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 아이콘의 디스플레이로 대체한다. 예를 들어, 디바이스(100-1)는 도 37aq의 슬라이드 트레이(3892) 내의 대화형 예약 애플리케이션 론칭 아이콘(3708)을 도 37as의 슬라이드 트레이(3892) 내의 대화형 틱-택-토 애플리케이션 론칭 아이콘(3774)으로 대체한다.
일부 실시예들에서, 대화형 애플리케이션 아이콘 전환 기준들은 제1 스와이프 제스처들의 수평 이동의 크기가 미리 결정된 이동 임계치를 만족하는 기준을 포함한다. 일부 실시예들에서, 미리 결정된 이동 임계치는 접촉의 이동 속력에 따라 변한다.
디스플레이의 제2 영역 내에 제1 대화형 애플리케이션 아이콘을 디스플레이하는 동안, 디바이스는 제1 대화형 애플리케이션 아이콘을 활성화하는 입력을 검출하고, 제1 대화형 애플리케이션 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내에서 제1 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이하고(예컨대, 제1 대화형 애플리케이션 객체를 디스플레이함) 제1 대화형 애플리케이션 아이콘을 디스플레이하는 것을 중지한다(예컨대, 제1 대화형 애플리케이션 아이콘의 디스플레이를 디스플레이의 제2 영역 내의 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이로 대체함). 예를 들어, 디바이스(100-2)는 대화형 피자 주문 애플리케이션 객체(3735)를 대화 트랜스크립트(3700) 내에 디스플레이하고, 도 37bz의 대화형 피자 주문 론칭 아이콘(3613)을 포함하는 애플리케이션 선택 트레이(3654)의 디스플레이를 도 37ca에서 대화형 피자 주문 애플리케이션 입력 영역(3731)으로 대체한다.
일부 실시예들에서, 대화 트랜스크립트 내의 제1 대화형 애플리케이션 객체를 디스플레이하기 전에, 디바이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스를 디스플레이한다(5428). 예를 들어, 디바이스(100-1)는 도 38aq의 대화 트랜스크립트(3503) 및 애플리케이션 어포던스(3508)를 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 애플리케이션 어포던스를 활성화하는 입력을 검출한다(예컨대, 애플리케이션 어포던스에 대응되는 위치에서 탭 제스처를 검출함). 예를 들어, 도 38ar의 애플리케이션 어포던스(3508) 상의 접촉(3876)을 포함하는 입력.
애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트의 적어도 일부분의 디스플레이를 디스플레이의 제1 영역 내에 유지하고, 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 포함하는 디스플레이의 제2 영역 내에 제1 대화형 애플리케이션에 대한 론칭 아이콘을 디스플레이한다. 예를 들어, 디바이스(100-1)는 대화 트랜스크립트(3503)의 디스플레이를 유지하고, 도 38as의 애플리케이션 선택 트레이(3654)를 디스플레이한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스의 활성화를 검출하기 전에 전자 키보드의 디스플레이를 포함하는 경우, 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이는 키보드의 디스플레이를 대체한다. 예를 들어, 도 38as의 애플리케이션 선택 트레이(3654)는 도 38ar의 디지털 키보드를 대체한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스의 활성화를 검출하기 전에 대화 트랜스크립트의 풀-스크린 디스플레이를 포함하는 경우, 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이는 메시지 트랜스크립트의 디스플레이의 일부분을 대체한다. 예를 들어, 도 37ao의 풀-스크린 모드로 디스플레이된 대화 트랜스크립트(3700)는 도 37ap의 애플리케이션 슬라이드 트레이(3892)의 디스플레이를 수용하기 위해 축소된다.
대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하는 동안, 디바이스는 제1 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출한다. 예를 들어, 도 37bz의 피자 주문 애플리케이션 론칭 아이콘(3613) 상의 접촉(3729)을 포함하는 입력.
제1 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출(예컨대, 제1 대화형 애플리케이션에 대한 론칭 아이콘에 대응되는 위치에서 탭 제스처를 검출)하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내에서 제1 대화형 애플리케이션에 대한 사용자 인터페이스를 디스플레이한다(예컨대, 제1 대화형 애플리케이션 객체를 디스플레이함). 예를 들어, 디바이스(100-2)는 도 37ca에서, 대화형 피자 주문 애플리케이션 객체(3735)를 트랜스크립트(3700) 내에 디스플레이한다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이를 디스플레이의 제2 영역 내의 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이로 대체한다(5426). 예를 들어, 도 37ca의 대화형 피자 주문 애플리케이션 입력 영역(3731)은 도 37bz의 애플리케이션 선택 트레이(3654)의 디스플레이를 대체한다.
도 54a 내지 도 54c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 54a 내지 도 54c에 관하여 위에 설명된 방법(700)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(5400)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5600, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 55는 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(5500)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 55에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 55에 도시된 바와 같이, 전자 디바이스(5500)는 디스플레이 유닛(5502), 터치 감응형 표면 유닛(5504) 및 디스플레이 유닛(5502) 및 터치 감응형 표면 유닛(5504)과 결합된 프로세싱 유닛(5510)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(5510)은 디스플레이 인에이블 유닛(5512), 검출 유닛(5514), 업데이트 유닛(5516), 전송 유닛(5518), 유지 유닛(5520) 및 대체 유닛(5522)을 포함한다.
프로세싱 유닛(5510)은 디스플레이 유닛(5502) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함) 구성되며, 메시징 사용자 인터페이스는: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 - 디스플레이의 제1 영역 내에 디스플레이됨 -, 대화 트랜스크립트 내에서 디스플레이되고 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체, 메시지 입력 영역, 및 메시지 입력 영역과 구별되고, 디스플레이의 제2 영역 내에 디스플레이되는 제1 대화형 애플리케이션에 대한 입력 영역을 포함하며, 제1 대화형 애플리케이션에 대한 입력 영역은 하나 이상의 입력 어포던스들을 포함한다. 프로세싱 유닛(5510)은 또한 대화형 애플리케이션에 대한 입력 영역의 제1 입력 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(5514)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 제1 입력 어포던스를 활성화하는 입력을 검출한 후: 제1 입력 어포던스를 활성화하는 입력에 따라 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체를 업데이트하고(예컨대, 업데이트 유닛(5516)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 정보를 전송하도록(예컨대, 전송 유닛(5518)을 이용함) 더 구성되며, 이는 메시징 세션의 대응 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션에 대응되는 대응 대화형 애플리케이션 객체의 업데이트를 야기한다(예컨대, 업데이트 유닛(5516)을 이용함).
일부 실시예들에서, 메시징 세션에 게시된 콘텐츠는 콘텐츠가 게시된 시간 순서에 따라 대화 트랜스크립트 내에서 디스플레이되며, 대화형 애플리케이션 객체는 대화형 애플리케이션의 세션이 개시된 시간 순서와 연관된 대화 트랜스크립트 내의 위치에 디스플레이된다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 대화 트랜스크립트 내에서 시간 순서대로 디스플레이된 콘텐츠의 대화 트랜스크립트의 에지를 향한 동기적 이동의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함) - 디스플레이된 콘텐츠는 제1 대화형 애플리케이션 객체를 포함함 -; 제1 대화형 애플리케이션 객체가 대화 트랜스크립트의 에지에 대해 미리 결정된 거리 내에 있다는 결정에 따라, 디스플레이 유닛(5502) 상의 고정된 위치에 제1 대화형 애플리케이션 객체의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 디스플레이 유닛(5502) 상의 고정된 위치에 제1 대화형 애플리케이션 객체를 디스플레이하는 동안, 대화 트랜스크립트 내에서 시간 순서대로 디스플레이된 다른 콘텐츠의 동기적 이동을 디스플레이하는 것을 계속하도록 더 구성된다.
일부 실시예들에서, 대화 트랜스크립트와 함께 시간 순서대로 디스플레이된 다른 콘텐츠의 동기적 이동을 디스플레이하는 것을 계속하는 것은 다른 콘텐츠가 제1 대화형 애플리케이션 객체의 뒤에서 이동하는 것처럼 보이도록 다른 콘텐츠를 애니메이션화하는 것을 포함한다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 디스플레이 유닛(5502) 상의 고정된 위치에 제1 대화형 애플리케이션 객체를 디스플레이하는 동안: 제1 대화형 애플리케이션을 닫으라는 요청을 검출하고(예컨대, 검출 유닛(5514)을 이용함); 제1 대화형 애플리케이션을 닫으라는 요청을 검출하는 것에 응답하여: 디스플레이 유닛(5502) 상의 고정된 위치에 제1 대화형 애플리케이션 객체를 디스플레이하는 것을 중지하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함); 대화형 애플리케이션의 세션이 개시된 시간 순서와 연관된 대화 트랜스크립트 내의 위치에 제1 대화형 애플리케이션 객체의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 대화 트랜스크립트 내에서 제1 대화형 애플리케이션 객체를 디스플레이하기 전에: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함); 메시징 사용자 인터페이스를 디스플레이하는 동안, 애플리케이션 어포던스를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(5514)을 이용함); 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디스플레이의 제1 영역 내에 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하고(예컨대, 유지 유닛(5520)을 이용함); 디스플레이의 제2 영역 내에 복수의 대화형 애플리케이션 아이콘들 중 하나인 제2 대화형 애플리케이션 아이콘의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함); 디스플레이의 제2 영역 내에 제2 대화형 애플리케이션 아이콘을 디스플레이하는 동안, 디스플레이의 제2 영역에 대응되는 위치에서 제1 접촉의 수평 이동을 포함하는 제1 스와이프 제스처를 검출하고(예컨대, 검출 유닛(5514)을 이용함); 제1 스와이프 제스처가 하나 이상의 대화형 애플리케이션 아이콘 전환 기준들을 만족한다는 결정에 따라, 제2 대화형 애플리케이션 아이콘의 디스플레이를 디스플레이의 제2 영역 내의 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 아이콘의 디스플레이로 대체하고(예컨대, 대체 유닛(5522)을 이용함); 제1 대화형 애플리케이션 아이콘을 디스플레이의 제2 영역 내에 디스플레이하는 동안, 제1 대화형 애플리케이션 아이콘을 활성화하는 입력을 검출하고(예컨대, 검출 유닛(5514)을 이용함); 제1 대화형 애플리케이션 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함); 제1 대화형 애플리케이션 아이콘을 디스플레이하는 것을 중지하도록(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 대화 트랜스크립트 내에서 제1 대화형 애플리케이션 객체를 디스플레이하기 전에: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함); 메시징 사용자 인터페이스를 디스플레이하는 동안, 애플리케이션 어포던스를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(5514)을 이용함); 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디스플레이의 제1 영역 내에 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하고(예컨대, 유지 유닛(5520)을 이용함), 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 포함하는 디스플레이의 제2 영역 내에 제1 대화형 애플리케이션에 대한 론칭 아이콘의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함); 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들을 디스플레이하는 동안, 제1 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하고(예컨대, 검출 유닛(5514)을 이용함); 제1 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 대화형 애플리케이션에 대한 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5512)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(5510)은: 제1 대화형 애플리케이션에 대한 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 대화형 애플리케이션들에 대한 복수의 론칭 아이콘들의 디스플레이를 디스플레이의 제2 영역 내의 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이로 대체하도록(예컨대, 대체 유닛(5522)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 54a 내지 도 54c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 55에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(5420 및 5428)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 56a 및 도 56b는 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 방법(5600)을 예시한 흐름도들이다. 방법(700)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(5600)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(5600)은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 대화형 애플리케이션을 사용하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션의 대화형 애플리케이션을 보다 빠르고 보다 효율적으로 사용할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 제1 대화형 애플리케이션(예컨대, 식사, 영화, 호텔 등을 예약하기 위한 대화형 애플리케이션)에 대응되는 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션 객체(예컨대, 예약 애플리케이션 객체) 및 메시지 입력 영역을 포함한다(5602). 예를 들어, 디바이스(100-2)는 도 37o에서 대화 트랜스크립트(3700), 대화형 예약 애플리케이션 객체(3728) 및 메시지 입력 영역(3502)을 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다.
디바이스는, 포커스 선택자가 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션 객체에 대응되는 터치 감응형 표면 상의 위치에 있는 동안, 제1 입력을 검출한다(5604)(예컨대, 터치 감응형 디스플레이 상의 제1 대화형 애플리케이션 객체의 위치에서 접촉에 의한 제스처를 검출하거나, 커서 또는 다른 포인터가 제1 대화형 애플리케이션 객체의 위치에 있는 동안 터치 감응형 표면 상의 접촉에 의한 제스처를 검출함). 예를 들어, 디바이스(100-2)는 도 37p의 트랜스크립트(3700) 내에 디스플레이된 대화형 예약 애플리케이션 객체(3728) 상의 접촉(3738)을 포함하는 입력을 검출한다.
제1 입력을 검출하는 것에 응답하여, 디바이스는 메시지 입력 영역과 구별되는 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하며, 제1 대화형 애플리케이션에 대한 입력 영역은 하나 이상의 입력 어포던스들(예컨대, 라디오 버튼들, 텍스트 입력 필드들, 체크 박스들, 풀다운 목록들 및/또는 양식 필드들)을 포함한다(5606). 예를 들어, 디바이스(100-2)는 도 37q의 입력 어포던스들(3740-1 및 3740-2)을 포함하는 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 디스플레이한다.
일부 실시예들에서, 제1 입력을 검출하는 것에 응답하여(예컨대, 제1 대화형 애플리케이션 객체를 활성화하는 입력을 검출하는 것에 응답하여), 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이는 대화 트랜스크립트, 제1 대화형 애플리케이션 객체 및/또는 메시지 입력 영역의 디스플레이를 대체한다(5608). 예를 들어, 도 37q의 대화형 예약 애플리케이션 사용자 인터페이스(3712)의 디스플레이는 도 37p의 대화 트랜스크립트(3700), 대화형 예약 애플리케이션 객체(3728) 및 메시지 입력 영역(3502)을 포함하는 메시징 사용자 인터페이스(3500)의 디스플레이를 대체한다.
제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 동안, 디바이스는 하나 이상의 입력 어포던스들 상에서 하나 이상의 입력들을 검출한다(5610). 예를 들어, 디바이스(100-2)는 도 37x의 입력 어포던스(3740-1) 상의 접촉(3752) 및 도 37z의 입력 어포던스(3740-1) 상의 접촉(3754)을 포함하는 입력들을 검출한다.
하나 이상의 입력 어포던스들 상에서 하나 이상의 입력들을 검출한 후, 디바이스는 제1 대화형 애플리케이션을 업데이트하고(예컨대, 대화 트랜스크립트 내의 예약 애플리케이션 객체 내의 필드를 업데이트함), 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의(예컨대, 제2) 전자 디바이스들로, 메시징 세션의 대응 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스를 업데이트하게 하는(예컨대, 대응되는 제1 대화형 애플리케이션 객체 또는 제1 대화형 애플리케이션에 대한 다른 사용자 인터페이스를 업데이트함) 명령어들(예컨대, 정보, 명령어들, 또는 업데이트된 대화형 애플리케이션 객체의 표현)을 전송하고, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지한다(5612).
예를 들어, 디바이스(100-2)는 도 37aa의 입력 어포던스(3740-1) 내의 예약 시간을 업데이트한다. 디바이스(100-2)는 또한 예약 시간이 8:00 PM으로 변경되었다는 정보를 디바이스(100-1)로 전송하며, 이는 디바이스(100-1)로 하여금 대화형 예약 애플리케이션 객체(3728)가 도 37al의 8:00 PM 예약 시간을 보이고, 트랜스크립트(3700) 내의 대화형 예약 애플리케이션 객체(3728)의 디스플레이를 도 37ak의 위치(3728-a)로부터 도 37al의 위치(3728-b)로 이동하고, 대화형 예약 애플리케이션 아카이브 아이콘(3756)을 트랜스크립트(3700) 내에(예컨대, 대화형 예약 애플리케이션 객체(3728)의 원래 위치(3728-b)에) 디스플레이하도록 업데이트하게 한다. 디바이스(100-2)는 또한 도 37ac에서 대화형 예약 애플리케이션 사용자 인터페이스를 디스플레이하는 것을 중지한다.
일부 실시예들에서, 대화 트랜스크립트, 제1 대화형 애플리케이션 객체 및/또는 메시지 입력 영역은 (예컨대, 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 것을 중지하라는 요청에 대응되는 입력을 검출하는 것에 응답하여) 재-디스플레이된다. 예를 들어, 디바이스(100-2)는 도 37ac에서 트랜스크립트(3700), 대화형 예약 애플리케이션 객체(3728) 및 메시지 입력 영역(3502)을 포함하는 메시징 사용자 인터페이스(3500)를 재-디스플레이한다.
일부 실시예들에서, 제1 대화형 애플리케이션을 업데이트하는 것은 입력 어포던스들 중 하나 상의 입력을 검출하는 것에 응답하여 발생한다(5614). 예를 들어, 도 37bl의 틱-택-토 보드(3791)(예컨대, 입력 어포던스) 상의 접촉(3713)을 포함하는 입력을 검출하는 것에 응답하여, 대화형 틱-택-토 애플리케이션 객체(3705)가 업데이트된다(예컨대, 도 37bl의 트랜스크립트(3700) 위치(3705-a)로부터 도 37bm의 트랜스크립트 위치(3705-b)로 이동함).
일부 실시예들에서, 제1 대화형 애플리케이션을 업데이트하는 것은 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 것을 중지하라는 요청에 대응되는 입력을 검출하는 것에 응답하여 발생한다(5616). 예를 들어, 대화형 예약 애플리케이션 객체(3728)는 도 37ab의 나가기 어포던스(3714) 상의 접촉(3756)을 포함하는 입력 - 이는 예약에 대한 변경을 확인하고 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 닫으라는 요청에 대응됨 - 을 검출하는 것에 응답하여 도 37ac에서 8:00 예약을 디스플레이하도록 업데이트된다. 또 다른 예에서, 대화형 피자 주문 애플리케이션 객체(3735)의 위치는 피자를 주문하고 대화형 피자 주문 애플리케이션에 대한 입력 영역(3731)을 닫으라는 요청에 대응되는 도 37di의 입력 어포던스(3773-3) 상의 접촉(3775)을 포함하는 입력에 응답하여, 도 37dj에서 업데이트된다.
일부 실시예들에서, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의{예컨대, 제2} 전자 디바이스들로 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스를 업데이트하기 위해 명령어들을 전송하는 것(예컨대, 정보, 명령어들 또는 대화형 애플리케이션 객체의 업데이트된 표현을 전송하는 것)은 입력 어포던스들 중 하나 상의 입력을 검출하는 것에 응답하여 발생한다(5618). 예를 들어, 디바이스(100-2)는 도 37bl의 틱-택-토 보드(3791)(예컨대, 입력 어포던스) 상의 접촉(3713)을 포함하는 입력을 검출하는 것에 응답하여 'X'(3794)가 틱-택-토 보드(3791) 상에 배치된 정보를 9:35 AM에 전송한다. 디바이스(100-1)는 정보를 수신하고 9:35 AM에 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3782)가 대응되는 틱-택-토 보드(3791) 상에 'X'(3794)를 디스플레이하도록 업데이트한다.
일부 실시예들에서, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 (예컨대, 제2) 전자 디바이스들로 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스를 업데이트하기 위해 명령어들(5620)을 전송하는 것(예컨대, 정보, 명령어들 또는 대화형 애플리케이션 객체의 업데이트된 표현을 전송하는 것)은 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 것을 중지하라는 요청에 대응되는 입력을 검출하는 것에 응답하여 발생한다. 예를 들어, 디바이스(100-2)는 도 37ab에서, 9:31 AM에 예약에 대한 변경을 확인하고 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 닫으라는 요청에 대응되는 접촉(3756)을 포함하는 나가기 어포던스(3714) 상의 입력을 검출하는 것에 응답하여, 예약이 8:00로 변경되었다는 정보를 디바이스(100-1)로 전송한다. 디바이스(100-1)는 정보를 수신하고, 도 37al에서, 9:31 AM에 트랜스크립트(3700) 내의 대화형 예약 애플리케이션 객체(3729)의 디스플레이를 업데이트한다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하는 것은 입력 어포던스들 중 하나 상의 입력을 검출하는 것에 응답하여 발생한다(5622). 예를 들어, 디바이스(100-1)는 피자를 주문하라는 요청에 대응되는 도 37di의 입력 어포던스(3773-3) 상의 접촉(3775)을 포함하는 입력에 응답하여, 도 37dj에서 대화형 피자 주문 애플리케이션 입력 영역(3731)을 디스플레이하는 것을 중지한다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하는 것은 나가기 어포던스 상의 입력을 검출하는 것에 응답하여 발생한다(5624). (예컨대, "완료", "저장" 또는 "나가기" 아이콘 상의, 또는 제1 대화형 애플리케이션에 대한 입력 영역 외부의 디스플레이 상의 영역 상의 탭 제스처를 검출하는 것). 예를 들어, 디바이스(100-2)는 도 37ab에서 나가기 어포던스(3714) 상의 접촉(3756)을 포함하는 입력을 검출하는 것에 응답하여, 도 37ac에서 대화형 예약 애플리케이션 사용자 인터페이스(3712)를 디스플레이하는 것을 중지한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 (예컨대, 전체보다 작은) 서브셋을 수행하도록 구성된다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 (예컨대, 전체보다 작은) 일부분을 디스플레이한다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다. 예를 들어, 도 37p의 대화형 예약 애플리케이션 론칭 아이콘(3728)에 대한 제1 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 내의 대화형 예약 애플리케이션을 론칭한다. 도 37p의 대화형 예약 애플리케이션 아이콘(3728)에 대한 제2(예컨대, 상이한) 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 외부의 예약 애플리케이션을 론칭한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다. 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다. 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하지 않다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리의 임시 저장용 전용 부분을 갖는다. 예를 들어, 일부 실시예들에서, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약들의 기록은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션을 사용하여 이루어진 예약들의 기록과는 상이한 메모리의 일부분에 저장된다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션은 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약 기록에 액세스할 수 있다.
일부 실시예들에서, 대화형 애플리케이션 아이콘/객체는 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다. 예를 들어, 도 37k에서, 대화형 예약 애플리케이션 아이콘/객체(3730)는 메시징 애플리케이션과 별개로 동작되는 예약 애플리케이션에 대응되는 동심원 기호를 디스플레이한다.
도 56a 및 도 56b에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 56a 및 도 56b에 관하여 위에 설명된 방법(4500)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(5600)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5800, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 57은 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(5700)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 57에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 57에 도시된 바와 같이, 전자 디바이스(5700)는 디스플레이 유닛(5702), 터치 감응형 표면 유닛(5704) 및 디스플레이 유닛(5702) 및 터치 감응형 표면 유닛(5704)과 결합된 프로세싱 유닛(5710)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(5710)은 디스플레이 인에이블 유닛(5712), 검출 유닛(5714), 업데이트 유닛(5716), 전송 유닛(5718) 및 대체 유닛(5720)을 포함한다.
프로세싱 유닛(5710)은 디스플레이 유닛(5702) 상의 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5712)을 이용함) 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 대화 트랜스크립트 내에서 디스플레이되고 제1 대화형 애플리케이션에 대응되는 제1 대화형 애플리케이션 객체, 및 메시지 입력 영역을 포함한다. 프로세싱 유닛(5710)은 또한 포커스 선택자가 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션 객체에 대응되는 터치 감응형 표면 유닛(5704) 상의 위치에 있는 동안, 제1 입력을 검출하도록(예컨대, 검출 유닛(5714)을 이용함) 구성된다. 제1 입력을 검출하는 것에 응답하여, 프로세싱 유닛(5710)은 메시지 입력 영역과 구별되는 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5712)을 이용함) 구성되며, 제1 대화형 애플리케이션에 대한 입력 영역은 하나 이상의 입력 어포던스들을 포함한다. 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 동안, 프로세싱 유닛(5710)은 하나 이상의 입력 어포던스들 상의 하나 이상의 입력들을 검출하도록(예컨대, 검출 유닛(5714)을 이용함) 구성된다. 하나 이상의 입력 어포던스들 상의 하나 이상의 입력들을 검출한 후, 프로세싱 유닛(5710)은: 제1 대화형 애플리케이션을 업데이트하고(예컨대, 업데이트 유닛(5716)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로, 메시징 세션의 대응 대화 트랜스크립트 내에서 디스플레이된 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 업데이트를 야기하는 정보를 전송하고(예컨대, 전송 유닛(5718)을 이용함); 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하도록(예컨대, 디스플레이 인에이블 유닛(5712)을 이용함) 구성된다.
일부 실시예들에서, 제1 입력 검출에 응답하여, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이는, 대화 트랜스크립트, 제1 대화형 애플리케이션 객체 및/또는 메시지 입력 영역의 디스플레이를 대체한다(예컨대, 대체 유닛(5720)을 이용함).
일부 실시예들에서, 제1 대화형 애플리케이션을 업데이트하는 것은 입력 어포던스들 중 하나 상의 입력을 검출하는 것에 응답하여 발생한다.
일부 실시예들에서, 제1 대화형 애플리케이션을 업데이트하는 것은 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 것을 중지하라는 요청에 대응되는 입력을 검출하는 것에 응답하여 발생한다.
일부 실시예들에서, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 업데이트를 야기하는 정보를 전송하는 것은 입력 어포던스들 중 하나 상의 입력을 검출하는 것에 응답하여 발생한다.
일부 실시예들에서, 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 제1 대화형 애플리케이션에 대한 대응되는 사용자 인터페이스의 업데이트를 야기하는 정보를 전송하는 것은, 제1 대화형 애플리케이션에 대한 입력 영역을 디스플레이하는 것을 중지하라는 요청에 대응되는 입력을 검출하는 것에 응답하여 발생한다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하는 것은 입력 어포던스들 중 하나 상의 입력을 검출하는 것에 응답하여 발생한다.
일부 실시예들에서, 제1 대화형 애플리케이션에 대한 입력 영역의 디스플레이를 중지하는 것은 나가기 어포던스 상의 입력을 검출하는 것에 응답하여 발생한다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 56a 및 도 56b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 57에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(5604 및 5610)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 58은 일부 실시예들에 따른, 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하는 방법(5800)을 예시하는 흐름도들이다. 방법(5800)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(5800)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(5800)은 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 대화형 애플리케이션의 사용을 인에이블하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션의 대화형 애플리케이션의 사용을 보다 빠르고 보다 효율적으로 인에이블할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
일부 실시예들에서, 디바이스는 하나 이상의 프로세서들, 메모리 및 디스플레이를 가지며, 메시징 애플리케이션 및 복수의 다른 애플리케이션들은 메모리에 저장되고, 복수의 다른 애플리케이션들 중 각자의 애플리케이션은 전자 디바이스 상의 정상 동작을 위한 정상 모드(예컨대, 메시징 애플리케이션과는 별개인 독립형 애플리케이션으로서) 및 전자 디바이스 상의 메시징 애플리케이션 내의 동작을 위한 내장 모드를 갖는다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면, 예컨대, 트랙 패드 또는 터치 감응형 디스플레이를 포함한다. 일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 상의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함한다.
디바이스(5802)는 복수의 토글 어포던스들을 디스플레이하며, 복수의 토글 어포던스들 중 각자의 토글 어포던스는 메모리에 저장된 복수의 다른 애플리케이션들 중 대응되는 애플리케이션을 가지고, 각자의 토글 어포던스는, 메시징 애플리케이션 내에서, 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 위한, 각자의 론칭 아이콘의 디스플레이를 인에이블하는 제1 상태를 가지고, 각자의 토글 어포던스는, 메시징 애플리케이션 내에서, 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 방지하기 위한, 각자의 론칭 아이콘의 디스플레이를 방지하는 제2 상태를 가지며, 복수의 토글 어포던스들은 제1 상태로 디스플레이되는 제1 애플리케이션에 대한 제1 토글 어포던스 및 제2 상태로 디스플레이되는 제2 애플리케이션에 대한 제2 토글 어포던스를 포함한다.
복수의 토글 어포던스들을 디스플레이하는 동안, 디바이스는 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출한다(5804)(예컨대, 디스플레이 상의 제1 토글 어포던스의 위치에 대응되는 터치 감응형 표면 상의 위치에서 탭 또는 스와이프 제스처를 검출함).
제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 제1 토글 어포던스를 제1 상태로부터 제2 상태로 변경하고, 메시징 애플리케이션 내의 제1 애플리케이션에 대한 대응되는 론칭 아이콘의 디스플레이를 방지한다(5806).
일부 실시예들에서, 복수의 토글 어포던스들을 디스플레이하는 동안, 디바이스(5808)는 제2 토글 어포던스에 대응되는 제2 위치에서 제2 사용자 입력을 검출하고 (예컨대, 디스플레이 상의 제2 토글 어포던스의 위치에 대응되는 터치 감응형 표면 상의 위치에서 탭 또는 스와이프 제스처를 검출함), 제2 토글 어포던스에 대응되는 제2 위치에서 제2 사용자 입력을 검출하는 것에 응답하여, 제2 토글 어포던스를 제2 상태로부터 제1 상태로 변경하며, 메시징 애플리케이션 내의 제2 애플리케이션에 대한 대응되는 론칭 아이콘의 디스플레이를 인에이블한다.
도 58에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 6000, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 58에 관하여 위에 설명된 방법(5800)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(5800)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 6000, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 59는 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(5900)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 59에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 59에 도시된 바와 같이, 전자 디바이스(5900)는 디스플레이 유닛(5902), 터치 감응형 표면 유닛(5904) 및 디스플레이 유닛(5902) 및 터치 감응형 표면 유닛(5904)과 결합된 프로세싱 유닛(5910)을 포함한다. 일부 실시예들에서, 메시징 애플리케이션 및 복수의 다른 애플리케이션들이 전자 디바이스(5900)의 메모리에 저장되고, 복수의 다른 애플리케이션들 중 각자의 애플리케이션은 전자 디바이스(5900) 상의 정상 동작을 위한 정상 모드 및 전자 디바이스(5900) 상의 메시징 애플리케이션 내의 동작을 위한 내장 모드를 갖는다. 일부 실시예들에서, 프로세싱 유닛(5910)은 디스플레이 인에이블 유닛(5912), 검출 유닛(5914), 및 변경 유닛(5916)을 포함한다.
프로세싱 유닛(5910)은 복수의 토글 어포던스들의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5912)을 이용함) 구성된다. 일부 실시예들에서, 복수의 토글 어포던스들 중 각자의 토글 어포던스는 메모리에 저장된 복수의 다른 애플리케이션들 중 대응되는 애플리케이션을 가지고; 각자의 토글 어포던스는, 메시징 애플리케이션 내에서, 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 위한, 각자의 론칭 아이콘의 디스플레이를 인에이블하는 제1 상태를 가지고; 각자의 토글 어포던스는, 메시징 애플리케이션 내에서, 메시징 애플리케이션 내의 대응되는 애플리케이션의 내장 모드에서의 동작을 방지하기 위한, 각자의 론칭 아이콘의 디스플레이를 방지하는 제2 상태를 가지며; 복수의 토글 어포던스들은 제1 상태로 디스플레이되는 제1 애플리케이션에 대한 제1 토글 어포던스 및 제2 상태로 디스플레이되는 제2 애플리케이션에 대한 제2 토글 어포던스를 포함한다. 복수의 토글 어포던스들을 디스플레이하는 동안, 프로세싱 유닛(5910)은 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하도록(예컨대, 검출 유닛(5914)을 이용함) 구성된다. 제1 토글 어포던스에 대응되는 제1 위치에서 제1 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛(5910)은 제1 토글 어포던스를 제1 상태로부터 제2 상태로 변경하고(예컨대, 변경 유닛(5916)을 이용함), 메시징 애플리케이션 내의 제1 애플리케이션에 대한 대응되는 론칭 아이콘의 디스플레이를 방지하도록(예컨대, 디스플레이 인에이블 유닛(5912)을 이용함) 구성된다.
일부 실시예들에서, 복수의 토글 어포던스들을 디스플레이하는 동안, 프로세싱 유닛(5910)은 제2 토글 어포던스에 대응되는 제2 위치에서 제2 사용자 입력을 검출하고(예컨대, 검출 유닛(5914)을 이용함); 제2 토글 어포던스에 대응되는 제2 위치에서 제2 사용자 입력을 검출하는 것에 응답하여, 제2 토글 어포던스를 제2 상태로부터 제1 상태로 변경하고(예컨대, 변경 유닛(5916)을 이용함), 메시징 애플리케이션의 제2 애플리케이션에 대한 대응되는 론칭 아이콘의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(5912)을 이용함) 더 구성된다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 58을 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 59에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(5802) 및 검출 동작(5804)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 60a 내지 도 60d는 일부 실시예들에 따른, 연관된 애플리케이션들을 갖는 메시징 애플리케이션 내의 내비게이션하는 방법(6000)을 예시하는 흐름도들이다. 방법(6000)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(6000)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(5000)은 연관된 애플리케이션들을 갖는 메시징 애플리케이션 내에서 내비게이션하기 위한 직관적인 방법을 제공한다. 본 방법은 연관된 애플리케이션들을 갖는 메시징 애플리케이션 내에서 내비게이션하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스에 대해, 사용자로 하여금 연관된 애플리케이션들을 갖는 메시징 애플리케이션 내의 보다 빠르고 보다 효율적으로 내비게이션할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 (예컨대, 메시징 애플리케이션의) 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, 메시지 입력 영역, 디지털 이미지 어포던스, 디지털 터치 어포던스, 및 애플리케이션 어포던스를 포함한다(6002). 일부 실시예들에서, 메시징 사용자 인터페이스는 또한 예컨대, 디스플레이의 제2 영역 내에 디스플레이된 키보드를 포함한다.
예를 들어, 도 38a에서, 디바이스(100-1)는 메시징 사용자 인터페이스(3500)를 터치 스크린(112) 상에 디스플레이한다. 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3503), 디지털 이미지 어포던스(3504), 디지털 캔버스 어포던스(3506), 애플리케이션 어포던스(3508) 및 메시지 입력 영역(3502)을 포함한다. 도 38av에서, 메시징 사용자 인터페이스는 또한 디지털 키보드(3501)를 포함한다.
일부 실시예들에서, 메시징 사용자 인터페이스는 또한 활성화 시, 전자 디바이스 상에 사운드 레코딩을 인에이블하도록 구성된 마이크로폰 어포던스를 포함한다(6004). 예를 들어, 도 38a의 마이크로폰 어포던스(3802).
일부 실시예들에서, 메시징 사용자 인터페이스는 또한 메시징 세션에 포함된 제1 타 사용자에 대응되는 적어도 하나의 아바타를 포함하고, 전자 디바이스로 하여금, 활성화될 때, 메시징 사용자 인터페이스 상에 오버레이된 적어도 하나의 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하게 인에이블하도록 구성된다(6006).
예를 들어, 도 38a 및 도 38aw에서, 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 아바타들의 스택(3892) 내에 디스플레이된 아바타(예컨대, "Abe"에 대한 아바타(3510))에 의해 표현된다. 도 38aw의 접촉(3880)을 포함하는 입력에 의한 Abe의 아바타(3510)의 활성화 시, 디바이스는 도 38ax에서 활성화가능한 메뉴 아이템들(3884)을 포함하는 메뉴(3882)를 디스플레이한다.
일부 실시예들에서, 적어도 하나의 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는, 활성화될 때, 제1 타 사용자와 함께 디지털 터치 액션을 개시하는 메뉴 아이템(예컨대, 도 38ax의 메뉴 아이템(3884-5)), 활성화될 때, 오직 제1 타 사용자와 함께 메시징을 개시하는 메뉴 아이템(예컨대, 메시징 메뉴 아이템을 선택하는 것은 전자 디바이스로 하여금 전자 디바이스의 사용자와 제1 타 사용자 사이에 비공개 메시징 사용자 인터페이스를 디스플레이하게 함)(예컨대, 도 38ax의 메뉴 아이템(3884-3)), 활성화될 때, 제1 타 사용자와 함께 이메일을 개시하는 메뉴 아이템(예컨대, 도 38ax의 메뉴 아이템(3884-4)), 활성화될 때, 제1 타 사용자와 함께 전화통화를 개시하는 메뉴 아이템(예컨대, 도 38ax의 메뉴 아이템(3884-1)), 활성화될 때, 제1 타 사용자와 함께 화상 회의를 개시하는 메뉴 아이템(예컨대, 도 38ax의 메뉴 아이템(3884-2)), 및/또는, 활성화될 때, 제1 타 사용자와 함께 결제 액션을 개시하는 메뉴 아이템(예컨대, 도 38ax의 메뉴 아이템(3884-6))을 포함한다(6008).
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 터치 감응형 표면 상의 제1 입력을 검출한다(6010)(예컨대, 터치 감응형 디스플레이를 갖는 전자 디바이스에 대해, 탭 제스처를 검출함). 예를 들어, 도 38b의 디지털 이미지 어포던스(3504) 상의 접촉(3804), 도 38aa의 디지털 캔버스 어포던스(3506) 상의 접촉(3852) 및 도 38aj의 애플리케이션 어포던스(3508) 상의 접촉(3868) 중 하나를 포함하는 입력.
제1 입력을 검출하는 것에 응답하여, 디바이스는 포커스 선택자가 디지털 이미지 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 복수의 디지털 이미지들(예컨대, 도 38c의 디지털 이미지 트레이(3806)의 디지털 이미지들(3514 및 3518))을 디스플레이하고; 포커스 선택자가 디지털 캔버스 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 디지털 그리기 캔버스(예컨대, 도 38ah의 디지털 터치 트레이(3854)의 디지털 그리기 캔버스(3858))를 디스플레이하고; 포커스 선택자가 애플리케이션 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내의 (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들(예컨대, 도 38ak의 애플리케이션 스와이프 트레이(3892) 내의 애플리케이션 론칭 아이콘(3708) 또는 도 38an의 애플리케이션 선택 트레이(3654) 내의 애플리케이션 론칭 아이콘들(3601, 3603, 3605, 3607, 3609, 3611, 3613 및 3615))을 디스플레이한다(6012).
일부 실시예들에서, 메시징 사용자 인터페이스 내에 복수의 디지털 이미지들을 디스플레이하는 것은: 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었다는 결정에 따라, 키보드의 디스플레이를 복수의 디지털 이미지들의 디스플레이로 대체하고 - 복수의 디지털 이미지들은 디지털 카메라로부터의 라이브 미리보기 이미지를 포함함 -, 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 대화 트랜스크립트를 디스플레이의 제1 영역 내에 디스플레이하고 복수의 디지털 이미지들을 디스플레이의 제2 영역 내에 디스플레이하는 것을 포함하며, 복수의 디지털 이미지들은 디지털 카메라로부터의 라이브 미리보기 이미지를 포함한다(6014).
예를 들어, 도 38c에서, 대화 트랜스크립트(3503)의 크기는, 광 센서(164)로부터의 라이브 미리보기 이미지(3514) 및 이전에 캡처된 디지털 이미지들(3518)을 포함하는 디지털 이미지 트레이(3806)의 디스플레이를 수용하기 위해 도 38b의 대화 트랜스크립트(3503)의 크기에 대해 축소된다.
다른 예에서, 도 38x의 디지털 키보드(3501)의 디스플레이는 도 38y의 광 센서(164)로부터의 라이브 미리보기 이미지(3514) 및 이전에 캡처된 디지털 이미지들(3518)을 포함하는 디지털 이미지 트레이(3806)의 디스플레이로 대체된다.
일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드 위로 복수의 디지털 이미지들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드를 디스플레이하는 것을 중지하고 키보드가 디스플레이되었던 곳에 복수의 디지털 이미지들을 디스플레이하는 것을 포함한다(예컨대, 도 38x 및 도 38y에서와 같음).
일부 실시예들에서, 복수의 디지털 이미지들은 디지털 이미지의 스크롤가능한 배열이다. 예를 들어, 디지털 이미지 트레이(3806)는 도 38e에서 스크롤되어 추가적인 디지털 이미지들(3518-6 및 3518-7)을 노출한다.
일부 실시예들에서, 복수의 디지털 이미지들은 최근에 공유된 이미지, 최근에 수신된 이미지, (예컨대, 안면 인식에 의해 식별된 바와 같은) 대화 내의 참여자를 포함하는 이미지, 디바이스의 전방 대향 디지털 카메라로부터의 실시간 이미지 또는 디바이스의 후방 대향 디지털 카메라로부터의 실시간 이미지를 포함한다.
일부 실시예들에서, 복수의 디지털 이미지들은 디지털 카메라로부터의 라이브 미리보기 이미지(예컨대, 도 38c의 라이브 미리보기 이미지(3514)) 및 메시징 세션 동안 캡처된 복수의 디지털 이미지들로 이루어진다.
일부 실시예들에서, 제2 입력이 검출된 시간에 대화 트랜스크립트가 최대화되어 있었던 경우, 대화 트랜스크립트의 디스플레이는 복수의 디지털 이미지들의 디스플레이로 부분적으로 대체된다. 예를 들어, 대화 트랜스크립트(3503)의 디스플레이는 도 38c의 디지털 이미지 트레이(3806)로 부분적으로 대체된다.
일부 실시예들에서, 복수의 디지털 이미지들을 디스플레이하는 동안, 디바이스는 복수의 디지털 이미지들 중 디지털 이미지를 선택하는 입력(예컨대, 도 35d의 라이브 미리보기 이미지(3514) 상의 접촉(3512)을 포함하는 입력)을 검출하고, 복수의 디지털 이미지들 중 디지털 이미지를 선택하는 입력을 검출한 후, 대화 트랜스크립트 내에 선택된 디지털 이미지를 디스플레이하고(예컨대, 도 35g 및 도 35i의 대화 트랜스크립트(3503)에서 캡처된 디지털 이미지(3518-5)의 디스플레이), 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 선택된 디지털 이미지의 표현을 송신하며, 하나 이상의 전자 디바이스들은 선택된 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다(6016).
일부 실시예들에서, 디지털 이미지는 선택 시 메시징 세션에 자동으로 게시된다. 예를 들어, 디지털 이미지(3518-5)는 도 35h 및 도 35i의 접촉(3524)을 포함하는 입력에 응답하여 도 35i의 메시징 세션에 자동으로 게시된다.
일부 실시예들에서, 디지털 이미지는 메시지 입력 영역 내에 디스플레이되고, 사용자는 (예컨대, 탭 제스처로 전송 아이콘을 활성화시킴으로써) 이미지를 메시징 세션에 게시한다. 예를 들어, 디지털 이미지(3518-5)는 도 35d에서 접촉(3512)을 포함하는 입력을 검출하는 것에 응답하여, 도 35e에서 메시지 입력 영역(3502) 내에 디스플레이된다. 디지털 이미지(3518-5)는 이어서, 도 35f에서 게시 어포던스(3520) 상의 접촉(3522)을 포함하는 입력을 검출하는 것에 응답하여, 도 35g에서 메시징 세션에 게시된다.
일부 실시예들에서, 디바이스는 복수의 디지털 이미지들 내에 디스플레이된 라이브 이미지를 선택하는 입력을 검출하고(예컨대, 터치 감응형 디스플레이를 갖는 전자 디바이스에 대해, 라이브 이미지 상의 탭 제스처를 검출함), 라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트의 디스플레이를 유지하는 동안, 디지털 카메라를 이용하여 디지털 이미지를 캡처한다(6018). 예를 들어, 도 35d에서 라이브 미리보기 이미지(3514) 상에 디스플레이된 캡처 어포던스(3516) 상의 접촉(3512)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스는 도 35e에서 대화 트랜스크립트(3503)의 디스플레이를 유지하는 동안 디지털 이미지(3518-5)를 캡처한다.
일부 실시예들에서, 디지털 이미지를 캡처한 후, 디바이스는 디지털 카메라에 의해 캡처된 디지털 이미지를 대화 트랜스크립트 내에 디스플레이하고, 캡처된 디지털 이미지의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 캡처된 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다(6020). 예를 들어, 캡처된 이미지(3518-5)는 도 35g 및 도 35i의 대화 트랜스크립트(3503) 내에 디스플레이된다.
일부 실시예들에서, 캡처된 이미지는 라이브 이미지의 선택 시 메시징 세션에 자동으로 게시된다. 예를 들어, 캡처된 디지털 이미지(3518-5)는 도 35h 및 도 35i의 접촉(3524)을 포함하는 입력에 응답하여 도 35i의 메시징 세션에 자동으로 게시된다.
일부 실시예들에서, 캡처된 이미지는 메시지 입력 영역 내에 디스플레이되고, 사용자는 (예컨대, 탭 제스처를 이용해 전송 아이콘을 활성화시킴으로써) 이미지를 메시징 세션에 게시한다. 예를 들어, 캡처된 디지털 이미지(3518-5)는 도 35d에서 접촉(3512)을 포함하는 입력을 검출하는 것에 응답하여, 도 35e에서 메시지 입력 영역(3502) 내에 디스플레이된다. 캡처된 디지털 이미지(3518-5)는 이어서, 도 35f에서 게시 어포던스(3520) 상의 접촉(3522)을 포함하는 입력을 검출하는 것에 응답하여, 도 35g에서 메시징 세션에 게시된다.
일부 실시예들에서, 메시징 사용자 인터페이스 내에 디지털 그리기 캔버스를 디스플레이하는 것은, 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었다는 결정에 따라, 키보드의 디스플레이를 디지털 그리기 캔버스의 디스플레이로 대체하는 단계, 및 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 대화 트랜스크립트를 디스플레이의 제1 영역 내에 디스플레이하는 단계 및 복수의 디지털 터치 액션들을 디스플레이의 제2 영역 내에 디스플레이하는 것을 포함한다(6022).
예를 들어, 도 38ab에서, 디지털 그리기 캔버스(3858)를 포함하는 디지털 터치 트레이(3854)의 디스플레이를 수용하기 위해, 대화 트랜스크립트(3503)의 크기는, 도 38aa의 대화 트랜스크립트(3503)의 크기에 대해 축소된다.
다른 예에서, 도 38g의 디지털 키보드(3501)의 디스플레이는 도 38ah의 디지털 그리기 캔버스(3858)를 포함하는 디지털 터치 트레이(3854)의 디스플레이로 대체된다.
일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드 위로 디지털 그리기 캔버스를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드를 디스플레이하는 것을 중지하고, (예컨대, 도 38ag 및 도 38ah에 예시된 바와 같이) 키보드가 디스플레이되었던 곳에 디지털 그리기 캔버스를 디스플레이하는 것을 포함한다.
일부 실시예들에서, 제2 입력이 검출된 시간에 대화 트랜스크립트가 최대화되어 있었던 경우, 대화 트랜스크립트의 디스플레이는 디지털 그리기 캔버스의 디스플레이에 의해 부분적으로 대체된다(예컨대, 도 38aa 및 도 38ab에 예시된 바와 같음).
일부 실시예들에서, 메시징 사용자 인터페이스 내의 (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 것은: 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었다는 결정에 따라, 키보드의 디스플레이를 (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들의 디스플레이로 대체하고, 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 디스플레이의 제1 영역 내에 대화 트랜스크립트를 디스플레이하고, 디스플레이의 제2 영역 내에 (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 것을 포함한다(6024).
예를 들어, 도 38ak에서, 대화형 예약 애플리케이션 론칭 아이콘(3708)을 포함하는 애플리케이션 스와이프 트레이(3893)의 디스플레이를 수용하기 위해, 대화 트랜스크립트(3503)의 크기는 도 38aj의 대화 트랜스크립트(3503)의 크기에 대해 축소된다.
다른 예에서, 도 38ar의 디지털 키보드(3501)의 디스플레이는 도 38as의 애플리케이션 론칭 아이콘들(3601, 3603, 3605, 3607, 3609, 3611, 3613 및 3615)을 포함하는 애플리케이션 선택 트레이(3654)의 디스플레이로 대체된다.
일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드 위로 하나 이상의 론칭 아이콘들을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 키보드의 디스플레이를 대체하는 것은 키보드를 디스플레이하는 것을 중지하고, (예컨대, 도 38ar 및 도 38as에 예시된 바와 같이) 키보드가 디스플레이되었던 곳에 하나 이상의 론칭 아이콘들을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 하나 이상의 론칭 아이콘은 론칭 아이콘들의 스크롤가능한 목록 내의 단일 론칭 아이콘이다(예컨대, 도 37aq의 애플리케이션 스와이프 트레이(3892) 내의 대화형 예약 애플리케이션 론칭 아이콘(3708)).
일부 실시예들에서, 하나 이상의 론칭 아이콘은, 예컨대, 미니 스프링보드(springboard) 내에 디스플레이된 복수의 론칭 아이콘들이다(예컨대, 도 38an의 애플리케이션 선택 트레이(3654) 내에 디스플레이된 애플리케이션 론칭 아이콘들(3601, 3603, 3605, 3607, 3609, 3611, 3613 및 3615)).
일부 실시예들에서, 제2 입력이 검출된 시간에 대화 트랜스크립트가 최대화되어 있었던 경우, 대화 트랜스크립트의 디스플레이는 하나 이상의 론칭 아이콘의 디스플레이에 의해 부분적으로 대체된다(예컨대, 도 38aj 및 도 38ak에 예시된 바와 같음).
일부 실시예들에서, (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 동안, 디바이스(6026)는 (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들 중의 론칭 아이콘을 활성화하는 입력(예컨대, 도 37f의 접촉(3710), 도 37at의 접촉(3776) 및 도 37bz의 접촉(3729) 중 하나를 포함하는 입력)을 검출한다.
일부 실시예들에서, (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들 중의 론칭 아이콘을 활성화하는 입력을 검출한 후, 디바이스는 메시지 입력 영역과 구별되는 (예컨대, 대화형) 애플리케이션에 대한 활성화된 론칭 아이콘에 대응되는 (예컨대, 대화형) 애플리케이션에 대한 제1 입력 영역을 디스플레이하며, 제1 대화형 애플리케이션에 대한 입력 영역은 하나 이상의 입력 어포던스들(예컨대, 라디오 버튼들, 텍스트 입력 필드들, 체크 박스들, 풀다운 목록들 및/또는 양식 필드들)을 포함한다. 예를 들어, 도 37g의 대화형 예약 애플리케이션 사용자 인터페이스(3712), 도 37av의 대화형 틱-택-토 애플리케이션 입력 영역(3778), 도 37aw의 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3784), 또는 도 37ca의 대화형 피자 주문 애플리케이션 입력 영역(3731).
일부 실시예들에서, 제1 입력 영역은 메시징 사용자 인터페이스 위로 디스플레이되거나 메시징 사용자 인터페이스의 일부분의 디스플레이를 대체한다. (예컨대, 도 37g의 대화형 예약 애플리케이션 사용자 인터페이스(3712)).
일부 실시예들에서, 제1 입력 영역은 (예컨대, 대화형) 애플리케이션에 대한 하나 이상의 론칭 아이콘들의 디스플레이를 대체한다(예컨대, 도 37av의 대화형 틱-택-토 애플리케이션 입력 영역(3778) 또는 도 37ca의 대화형 피자 주문 애플리케이션 입력 영역(3731)).
일부 실시예들에서, 제1 입력 영역은 전체 메시징 사용자 인터페이스 위로 디스플레이되거나 전체 메시징 사용자 인터페이스의 디스플레이를 대체한다(예컨대, 도 37g의 대화형 예약 애플리케이션 사용자 인터페이스(3712) 또는 도 37aw의 대화형 틱-택-토 애플리케이션 사용자 인터페이스(3784)).
일부 실시예들에서, (예컨대, 대화형) 애플리케이션에 대한 제1 입력 영역은 (예컨대, 대화형) 애플리케이션의 세션을 동작하기 위한(예컨대, X 또는 O로서 틱-택-토를 플레이하기 위한) 방법에 관한 선택들을 포함하는 메뉴이다. 예를 들어 도 37av의 대화형 틱-택-토 애플리케이션 입력 영역(3778).
일부 실시예들에서, (예컨대, 대화형) 애플리케이션에 대한 제1 입력 영역은 (예컨대, 대화형) 애플리케이션에 대한 사용자 인터페이스이다.
일부 실시예들에서, 디바이스는 활성화된 론칭 아이콘에 대응되는 (예컨대, 대화형) 애플리케이션에 대응되는 대화 트랜스크립트 내에서 제1 (예컨대, 대화형) 애플리케이션 객체를 디스플레이한다. 예를 들어, 도 37f의 론칭 아이콘(3708)으로부터 론칭된 대화형 예약 애플리케이션에 대응되는 도 37i의 대화형 예약 애플리케이션 객체(3728). 다른 예는 도 37at의 론칭 아이콘(3774)으로부터 론칭된 대화형 틱-택-토 애플리케이션에 대응되는 도 37aw의 대화형 틱-택-토 애플리케이션 객체(3728)이다. 다른 예는 도 37bz의 론칭 아이콘(3613)으로부터 론칭된 대화형 피자 주문 애플리케이션에 대응되는 도 37ca의 대화형 피자 주문 애플리케이션 객체(3725)이다.
일부 실시예들에서, (예컨대, 대화형) 애플리케이션에 대한 제1 입력 영역이 디스플레이되는 동안 대화 트랜스크립트의 적어도 일부분의 디스플레이가 유지되는 경우, 대화형 애플리케이션 객체는 대화 트랜스크립트 내에 즉시 디스플레이된다(예컨대, 도 37aw의 대화형 틱-택-토 애플리케이션 객체(3728) 및 도 37ca의 대화형 피자 주문 애플리케이션 객체(3725)).
일부 실시예들에서, (예컨대, 대화형) 애플리케이션에 대한 제1 입력 영역의 디스플레이가 대화 트랜스크립트의 디스플레이를 대체하는 경우, 대화형 애플리케이션 객체는 제1 입력 영역의 디스플레이가 종료된 후에 디스플레이된다(예컨대, 도 37i의 대화형 예약 애플리케이션 객체(3728)).
일부 실시예들에서, 활성화된 론칭 아이콘에 대응되는 (예컨대, 대화형) 애플리케이션에 대응되는 제2 (예컨대, 대화형) 애플리케이션 객체의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내에 제2 (예컨대, 대화형) 애플리케이션 객체의 표현을 디스플레이한다.
예를 들어, 디바이스(100-2)는 도 37k에서, 대응되는 대화형 예약 애플리케이션의 세션이 대화 트랜스크립트(370)에 대응되는 메시징 세션 내에서 개시되었다는 정보를 디바이스(100-1)로부터 수신하는 것에 응답하여, 대화형 예약 애플리케이션 객체(3728)를 디스플레이한다.
다른 예에서, 디바이스(100-2)는 도 37bf에서, 대응되는 대화형 틱-택-토 애플리케이션의 세션이 대화 트랜스크립트(3700)에 대응되는 메시징 세션 내에서 개시되었다는 정보를 디바이스(100-1)로부터 수신하는 것에 응답하여, 대화형 틱-택-토 애플리케이션 객체(3705)를 디스플레이한다.
다른 예에서, 디바이스(100-1)는 도 37cr에서, 대응되는 피자 주문 애플리케이션의 세션이 대화 트랜스크립트(3700)에 대응되는 메시징 세션과 함께 개시되었다는 정보를 디바이스(100-2)로부터 수신하는 것에 응답하여, 대화형 피자 주문 애플리케이션 객체(3735)를 디스플레이한다.
일부 실시예들에서, 제2 (예컨대, 대화형) 애플리케이션 객체는 예컨대, 표준 메시지 애플리케이션에 대한 제1 (예컨대, 대화형) 애플리케이션 객체와 동일하다. 일부 실시예들에서, 제2 (예컨대, 대화형) 애플리케이션 객체는 타 사용자가 사용하기 위해 다운로드해야 할 수 있는 예컨대 제3 자 메시지 애플리케이션에 대한 제1 (예컨대, 대화형) 애플리케이션 객체와 상이하다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션의 기능들의 (예컨대, 전체보다 작은) 서브셋을 수행하도록 구성된다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 의해 디스플레이된 콘텐츠의 (예컨대, 전체보다 작은) 일부분을 디스플레이한다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션은 예약을 하는 것을 허용하도록 구성되지만, 사용자들이 레스토랑에 대해 코멘트하는 것을 허용하도록 구성되지는 않는다. 대조적으로, 메시징 애플리케이션 외부에서 동작가능한 대응되는 예약 애플리케이션은 예약을 하고 레스토랑에 코멘트하는 것을 허용하도록 구성된다.
일부 실시예들에서, 대화형 애플리케이션은 디바이스로 하여금 미리 정의된 입력의 검출 시 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션을 론칭하게 한다. 예를 들어, 도 37p의 대화형 예약 애플리케이션 론칭 아이콘(3728)에 대한 제1 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 내의 대화형 예약 애플리케이션을 론칭한다. 도 37p의 대화형 예약 애플리케이션 아이콘(3728)에 대한 제2(예컨대, 상이한) 입력(예컨대, 탭, 누르기, 깊게 누르기, 길게 누르기 또는 멀티 손가락 제스처)에 응답하여, 디바이스는 메시징 애플리케이션 외부의 예약 애플리케이션을 론칭한다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 별개로 동작된다. 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션과 함께 동작된다. 예를 들어, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭된 대화형 예약 애플리케이션은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션이 실행되지 않는 경우에 동작가능하지 않다.
일부 실시예들에서, 대화형 애플리케이션은 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 메모리의 임시 저장용 전용 부분과 상이한 메모리의 임시 저장용 전용 부분을 갖는다. 예를 들어, 일부 실시예들에서, 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고, 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약들의 기록은 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션을 사용하여 이루어진 예약들의 기록과는 상이한 메모리의 일부분에 저장된다.
일부 실시예들에서, 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션은 대화형 애플리케이션에 대한 메모리의 임시 저장용 전용 부분을 액세스하도록 구성된다. 예를 들어, 일부 실시예들에서, 메시징 애플리케이션 외부에서 동작되는 대응되는 예약 애플리케이션은 도 37p의 아이콘(3728)의 활성화에 응답하여 론칭되고 메시징 애플리케이션 내에서 동작되는 대화형 예약 애플리케이션을 사용하여 이루어진 예약 기록에 액세스할 수 있다.
일부 실시예들에서, 대화형 애플리케이션 아이콘/객체는 메시징 애플리케이션과 별개로 동작되는 대응되는 애플리케이션에 대한 식별자를 디스플레이한다. 예를 들어, 도 37k에서, 대화형 예약 애플리케이션 아이콘/객체(3730)는 메시징 애플리케이션과 별개로 동작되는 예약 애플리케이션에 대응되는 동심원 기호를 디스플레이한다.
일부 실시예들에서, 메시지 입력 영역을 디스플레이하는 동안, 디바이스는 메시지 입력 영역을 활성화하는 제2 입력을 검출한다(6028)(예컨대, 도 38an의 접촉(3872), 도 38au의 접촉(3878), 도 35l의 접촉(3528) 중에 하나를 포함하는 입력).
일부 실시예들에서, 메시지 입력 영역을 활성화하는 입력을 검출하는 것에 응답하여, 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었고, 세 개의 활성화가능한 어포던스들의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 디바이스는 메시지 입력 영역 내에 프롬프트를 디스플레이한다.
일부 실시예들에서, 메시지 입력 영역을 활성화하는 입력을 검출하는 것에 응답하여, 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이 및 세 개의 활성화가능한 어포던스들을 포함하고 있었다는 결정에 따라, 디바이스는 세 개의 활성화가능한 어포던스들을 디스플레이하는 것을 중지하고, 애플리케이션 확장 어포던스를 디스플레이하고, 애플리케이션 확장 어포던스를 디스플레이하고, 메시지 입력 영역의 디스플레이를 확장하고, 메시지 입력 영역 내에서 프롬프트를 디스플레이한다.
일부 실시예들에서, 메시지 입력 영역을 활성화하는 입력을 검출하는 것에 응답하여, 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하지 않고 있었으며, 세 개의 활성화가능한 어포던스들의 디스플레이를 포함하고 있었다는 결정에 따라, 디바이스는 세 개의 활성화가능한 어포던스들을 디스플레이하는 것을 중지하고, 애플리케이션 확장 어포던스를 디스플레이하고, 메시지 입력 영역의 디스플레이를 확장하고, 메시지 입력 영역 내에서 프롬프트를 디스플레이하며, 키보드를 디스플레이한다.
일부 실시예들에서, 메시지 입력 영역을 활성화하는 입력을 검출하는 것에 응답하여, 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하지 않고 있었으며, 세 개의 활성화가능한 어포던스들의 디스플레이를 포함하고 있었다는 결정에 따라, 디바이스는: 메시지 입력 영역 내에서 프롬프트를 디스플레이하고, 키보드를 디스플레이한다.
도 60a 내지 도 60d에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6200, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 60a 내지 도 60d에 관하여 위에 설명된 방법(6000)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(6000)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6200, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 61은 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(6100)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 61에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 61에 도시된 바와 같이, 전자 디바이스(6100)는 디스플레이 유닛(6102), 터치 감응형 표면 유닛(6104), 디지털 카메라 유닛(6106) 및 디스플레이 유닛(6102), 터치 감응형 표면 유닛(6104) 및 디지털 카메라 유닛(6106)과 결합된 프로세싱 유닛(6110)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(6110)은: 디스플레이 인에이블 유닛(6112), 검출 유닛(6114), 대체 유닛(6116), 송신 유닛(6118), 캡처 유닛(6120) 및 확장 유닛(6122)을 포함한다.
프로세싱 유닛(6110)은 디스플레이 유닛(6102) 상에 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함) 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역, 디지털 이미지 어포던스, 디지털 터치 어포던스 및 애플리케이션 어포던스를 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6110)은 터치 감응형 표면 상의 제1 입력을 검출하도록(예컨대, 검출 유닛(6114)을 이용함) 구성된다. 제1 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6110)은: 포커스 선택자가 디지털 이미지 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 복수의 디지털 이미지들의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함); 포커스 선택자가 디지털 캔버스 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 메시징 사용자 인터페이스 내에 디지털 그리기 캔버스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함); 포커스 선택자가 애플리케이션 어포던스에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 제1 입력이 이루어진다는 결정에 따라, 애플리케이션에 대한 하나 이상의 론칭 아이콘들의 디스플레이를 메시징 사용자 인터페이스 내에 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함) 구성된다.
일부 실시예들에서, 메시징 사용자 인터페이스 내에 복수의 디지털 이미지들을 디스플레이하는 것은: 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었다는 결정에 따라, 키보드의 디스플레이를 복수의 디지털 이미지들의 디스플레이로 대체하고(예컨대, 대체 유닛 6116)을 이용함) - 복수의 디지털 이미지들은 디지털 카메라 유닛(6106)으로부터의 라이브 미리보기 이미지를 포함함 -, 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 디스플레이의 제1 영역 내에 대화 트랜스크립트를 디스플레이하고 디스플레이의 제2 영역 내에 복수의 디지털 이미지들을 디스플레이하는 것(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함)을 포함하며, 복수의 디지털 이미지들은 디지털 카메라 유닛(6106)으로부터 라이브 미리보기 이미지를 포함한다.
일부 실시예들에서, 복수의 디지털 이미지들을 디스플레이하는 동안, 프로세싱 유닛(6110)은 복수의 디지털 이미지들 중 디지털 이미지를 선택하는 입력을 검출하고(예컨대, 검출 유닛(6114)을 이용함); 복수의 디지털 이미지들 중 디지털 이미지를 선택하는 입력을 검출한 후: 대화 트랜스크립트 내에 선택된 디지털 이미지의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 선택된 디지털 이미지의 표현을 송신하도록(예컨대, 송신 유닛(6118)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 선택된 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에서, 프로세싱 유닛(6110)은: 복수의 디지털 이미지들 내에서 디스플레이된 라이브 이미지를 선택하는 입력을 검출하고(예컨대, 검출 유닛(6114)을 이용함); 라이브 이미지를 선택하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트의 디스플레이를 유지하는 동안, 디지털 카메라 유닛(6106)을 이용해 디지털 이미지를 캡처한다(예컨대, 캡처 유닛(6120)을 이용함).
일부 실시예들에서, 디지털 이미지를 캡처한 후, 프로세싱 유닛(6110)은: 디지털 카메라 유닛(6106)에 의해 캡처된 디지털 이미지의 디스플레이를 대화 트랜스크립트 내에 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 캡처된 디지털 이미지의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하도록(예컨대, 송신 유닛(6118)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 캡처된 디지털 이미지의 표현을 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이한다.
일부 실시예들에서, 메시징 사용자 인터페이스 내에 디지털 그리기 캔버스를 디스플레이하는 것은: 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었다는 결정에 따라, 키보드의 디스플레이를 디지털 그리기 캔버스의 디스플레이로 대체하고(예컨대, 대체 유닛(6116)을 이용함), 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 디스플레이의 제1 영역 내에 대화 트랜스크립트를 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함) 디스플레이의 제2 영역 내에 복수의 디지털 터치 액션들을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 메시징 사용자 인터페이스 내에서 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 것은: 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었다는 결정에 따라, 키보드의 디스플레이를 애플리케이션에 대한 하나 이상의 론칭 아이콘들의 디스플레이로 대체하고(예컨대, 대체 유닛(6116)을 이용함); 제1 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 디스플레이의 제1 영역 내에 대화 트랜스크립트를 디스플레이하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함) 디스플레이의 제2 영역 내에 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 애플리케이션에 대한 하나 이상의 론칭 아이콘들을 디스플레이하는 동안, 프로세싱 유닛(6110)은 애플리케이션에 대한 하나 이상의 론칭 아이콘들 중의 론칭 아이콘을 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(6114)을 이용함) 더 구성되고; 애플리케이션에 대한 하나 이상의 론칭 아이콘들 중의 론칭 아이콘을 활성화하는 입력을 검출한 후, 프로세싱 유닛(6110)은: 애플리케이션에 대한 활성화된 론칭 아이콘에 대응되는 애플리케이션에 대한 제1 입력 영역의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함) - 제1 입력 영역은 메시지 입력 영역과 구별되며, 제1 대화형 애플리케이션에 대한 입력 영역은 하나 이상의 입력 어포던스들을 포함함 -; 활성화된 론칭 아이콘에 대응되는 애플리케이션에 대응되는 대화 트랜스크립트 내의 제1 애플리케이션 객체의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함); 활성화된 론칭 아이콘에 대응되는 애플리케이션에 대응되는 제2 애플리케이션 객체의 표현을 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 송신하도록(예컨대, 송신 유닛(6118)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 메시징 세션에 대응되는 대화 트랜스크립트 내의 제2 애플리케이션 객체의 표현을 디스플레이한다.
일부 실시예들에서, 메시지 입력 영역을 디스플레이하는 동안, 프로세싱 유닛(6110)은 메시지 입력 영역을 활성화하는 제2 입력을 검출하고(예컨대, 검출 유닛(6114)을 이용함); 메시지 입력 영역을 활성화하는 입력을 검출하는 것에 응답하여, 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있었고, 세 개의 활성화가능한 어포던스들의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 메시지 입력 영역 내에 프롬프트의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함); 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이 및 세 개의 활성화가능한 어포던스들을 포함하고 있었다는 결정에 따라, 세 개의 활성화가능한 어포던스들을 디스플레이하는 것을 중지하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 애플리케이션 확장 어포던스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 애플리케이션 확장 어포던스를 디스플레이하고, 메시지 입력 영역의 디스플레이를 확장하고(예컨대, 확장 유닛(6122)을 이용함), 메시지 입력 영역 내에 프롬프트의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함); 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하지 않고 있었으며 세 개의 활성화가능한 어포던스들의 디스플레이를 포함하고 있었다는 결정에 따라, 세 개의 활성화가능한 어포던스들을 디스플레이하는 것을 중지하고(예컨대, 디스플레이 인에이블 유닛을 이용함), 애플리케이션 확장 어포던스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 메시지 입력 영역의 디스플레이를 확장하고(예컨대, 확장 유닛(6122)을 이용함), 메시지 입력 영역 내에 프롬프트의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 키보드의 디스플레이를 인에이블하며(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 제2 입력이 검출된 시간에 메시징 사용자 인터페이스가 키보드의 디스플레이를 포함하고 있지 않았으며 세 개의 활성화가능한 어포던스들의 디스플레이를 포함하고 있지 않았다는 결정에 따라, 메시지 입력 영역 내에 프롬프트의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함), 키보드의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(6112)을 이용함) 더 구성된다.
일부 실시예들에서, 메시징 사용자 인터페이스는 또한 활성화 시, 전자 디바이스 상에 사운드 레코딩을 인에이블하도록 구성된 마이크로폰 어포던스를 포함한다.
일부 실시예들에서, 메시징 사용자 인터페이스는 또한 메시징 세션에 포함된 제1 타 사용자에 대응되는 적어도 하나의 아바타를 포함하고, 전자 디바이스로 하여금, 활성화될 때, 메시징 사용자 인터페이스 상에 오버레이된 적어도 하나의 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하게 인에이블하도록 구성된다.
일부 실시예들에서, 적어도 하나의 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는: 활성화될 때 제1 타 사용자와 디지털 터치 액션을 개시하는 메뉴 아이템, 활성화될 때 다만 제1 타 사용자와만 메시징을 개시하는 메뉴 아이템, 활성화될 때 제1 타 사용자와 이메일을 개시하는 메뉴 아이템, 활성화될 때 제1 타 사용자와 통화를 개시하는 메뉴 아이템, 활성화될 때 제1 타 사용자와 화상 회의를 개시하는 메뉴 아이템, 및/또는 활성화될 때 제1 타 사용자와 결제 액션을 개시하는 메뉴 아이템을 포함한다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 60a 내지 도 60d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 61에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(6002) 및 검출 동작(6010)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
스티커의 추가 및 조작(Adding and manipulating stickers)
도 62a 내지 도 62c는 일부 실시예들에 따른, 메시징 트랜스크립트에 스티커를 추가하는 방법(6200)을 예시하는 흐름도들이다. 방법(6200)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(6200)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(6200)은 메시징 트랜스크립트에 스티커를 추가하기 위한 직관적인 방법을 제공한다. 방법은 스티커를 메시징 트랜스크립트에 추가하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우, 사용자로 하여금 메시징 트랜스크립트에 스티커를 보다 빠르고 보다 효율적으로 추가할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, 복수의 전자 스티커들(예컨대, 디스플레이의 제2 영역 내에 디스플레이된 스티커 팩) 및 메시지 입력 영역을 포함한다(6202). 예를 들어, 도 39c에서, 디바이스(100-1)는 대화 트랜스크립트(3700), 전자 스티커들(3906, 3908 및 3910)을 갖는 스티커 팩(3892), 및 메시지 입력 영역(3502)을 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 시작하는 {예컨대, 터치 감응형 표면 상의 제1 접촉에 의한} 제1 드래그 제스처 - 제1 드래그 제스처는 포커스 선택자를 제1 방향으로 이동함 - 를 검출한다(6204); (예컨대, 제1 전자 스티커에서 시작하여 제1 방향으로 이동하는 터치 감응형 디스플레이 상의 접촉에 의한 드래그 제스처를 검출하거나, 커서 또는 다른 포인터가 디스플레이 상의 제1 전자 스티커에 있는 동안 시작하고, 포인터를 디스플레이 상의 제1 방향으로 이동하는 터치 감응형 표면 상의 접촉에 의한 드래그 제스처를 검출함). 예를 들어, 디바이스(100-1)는 도 39h의 위치(3906-a)로부터, 전자 눈사람 스티커(3906) 위를 지나 도 39i의 위치(3906-b)로의 접촉(3906)의 이동(3918)을 포함하는 드래그 제스처를 검출한다. 다른 예에서, 디바이스(100-1)는 도 39k의 위치(3920-a)로부터, 전자 썰매 스티커(3910) 위를 지나, 도 39l의 위치(3920-b)로의 접촉(3920)의 이동(3922)을 포함하는 드래그 제스처를 검출한다. 다른 예에서, 디바이스(100-1)는 도 39n의 위치(3924-a)로부터, 전자 눈송이 스티커(3908) 위를 지나, 도 39o의 위치(3924-b)로의 접촉(3925)의 이동(3926)을 포함하는 드래그 제스처를 검출한다.
디바이스는 제1 드래그 제스처의 이동에 따라 제1 전자 스티커를 제1 방향으로 이동한다(6206). 예를 들어, 전자 눈사람 스티커는 이동(3918)에 따라, 도 39h의 위치(3906-a)로부터 도 39i의 위치(3906-b)로 이동한다. 다른 예에서, 전자 썰매 스티커(3910)는 이동(3922)에 따라, 도 39k의 위치(3910-a)로부터 도 39l의 위치(3910-b)로 이동한다. 다른 예에서, 전자 눈송이 스티커(3908)는 이동(3926)에 따라, 도 39n의 위치(3908-a)로부터 도 39o의 위치(3908-c)로 이동한다.
일부 실시예들에서, 복수의 전자 스티커들은 디지털 이미지(예컨대, TV 또는 영화 프레임, 디지털 코믹 일러스트레이션, 디지털 비디오로부터의 프레임, 또는 다른 디지털 이미지) 내에 포함된 복수의 객체들이고, 여기서 제1 전자 스티커는 제1 드래그 제스처가 시작한 때에(at the start of) 제1 위치에 디스플레이된 객체에 대응되며(예컨대, 디지털 이미지 내의 임의의 객체 상에 탭하는 것은 그 객체의 디지털 스티커를 생성함), 제1 전자 스티커를 이동하는 것은 디지털 이미지로부터 제1 전자 스티커를 떼어내는 애니메이션을 디스플레이하는 것을 포함한다(6208)(예컨대, 사용자가 디지털 이미지로부터 제1 전자 스티커를 떼어내는 것처럼 보임).
디바이스는 포커스 선택자가 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안(예컨대, 터치 감응형 디스플레이 상의 접촉이 제2 위치에 있는 동안 또는 커서 또는 다른 포인터가 제2 위치에 있는 동안), 제1 드래그 제스처의 종료를 검출한다(6210). 예를 들어, 디바이스(100-1)는 접촉(3916)이 도 39i의 위치(3916-b)에 있을 때, 드래그 제스처의 종료(예컨대, 도 39j에 예시된 바와 같이, 접촉(3916)의 리프트 오프)를 검출한다. 다른 예에서, 디바이스(100-1)는 접촉(3920)이 도 39l의 위치(3920-b)에 있을 때, 드래그 제스처의 종료(예컨대, 도 39m에 예시된 바와 같이, 접촉(3920)의 리프트 오프)를 검출한다. 다른 예에서, 디바이스(100-1)는 접촉(3924)이 도 39o의 위치(3924-b)에 있을 때, 드래그 제스처의 종료(예컨대, 도 39p에 예시된 바와 같이, 접촉(3924)의 리프트 오프)를 검출한다.
제1 드래그 제스처의 종료를 검출(예컨대, 드래그 제스처에서 접촉의 리프트 오프를 검출)하는 것에 응답하여, 디바이스는: 제2 위치가 대화 트랜스크립트 내에 있다는(예컨대, 스티커가 트레이로부터 대화 트랜스크립트 내로 드래그되었다는) 결정에 따라, 제2 위치 상에 기초한 위치에서 대화 트랜스크립트 내에 전자 스티커를 배치한다(6212). 예를 들어, 도 39j에서, 드래그 제스처가 트랜스크립트 내에서(예컨대, 위치(3916-b)에서) 종료되었기 때문에, 전자 눈사람 스티커(3906)는 대화 트랜스크립트(3700) 내에 배치된다. 다른 예에서, 도 39p에서, 드래그 제스처가 트랜스크립트 내에서(예컨대, 위치(3916-b)에서) 종료되었기 때문에, 전자 눈송이 스티커(3908)는 대화 트랜스크립트(3700) 내에 배치된다.
제1 드래그 제스처의 종료를 검출(예컨대, 드래그 제스처에서 접촉의 리프트 오프를 검출)하는 것에 응답하여, 디바이스는: 제2 위치가 대화 트랜스크립트 내에 있지 않다는(즉, 스티커가 대화 트랜스크립트 내로 드래그되지 않았다는) 결정에 따라, 디스플레이 상의 제2 위치에 전자 스티커를 디스플레이하는 것을 중지한다(6212). 예컨대, 스티커가 대화 트랜스크립트로 완전히 드래그되지 않은 경우, 제스처를 종료하는 것은 스티커로 하여금 스티커 팩으로 복귀하게 한다. 예를 들어, 도 39m에서, 디바이스(100-1)는 대화 트랜스크립트(3700)의 외부에(예컨대, 위치(3920-b)에) 있는 동안 접촉(3920)의 리프트 오프(예컨대, 드래그 제스처의 종료)를 검출하는 것에 응답하여, 전자 썰매 스티커(3910)를 위치(3910-b)에 디스플레이하는 것을 중지한다,
일부 실시예들에서, 전자 디바이스는 사용자로 하여금 트랜스크립트 내의 사용자 선택 위치에 스티커를 배치하는 것을 허용하는 입력과 트랜스크립트 내의 디폴트 위치에 스티커를 배치하는 입력 사이를 차별한다. 예를 들어, 드래그 제스처는 트랜스크립트 내의 사용자 선택 위치에 스티커를 배치하는 한편(예컨대, 눈사람 스티커(3906)는 도 39h 내지 도 39j의 위치(3906-b)로 드래그 및 배치됨), (탭, 가볍게 누르기 또는 깊게 누르기와 같은) 고정 제스처는 트랜스크립트 내의 (예컨대, 주변 메시지 버블이 있거나 없는) 사용자 메시지에 대해 지정된 다음 기본 위치에 스티커를 배치한다. 예를 들어, 눈송이 스티커(3908)는 도 39d의 접촉(3912)을 포함하는 스티커 상의 탭 제스처를 검출한 후, 트랜스크립트(3700) 내에서 대화 트랜스크립트 내의 다음 시간적 위치에 대응되는 도 39g의 위치(3908-a)에 배치된다.
일부 실시예들에서, 디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, 복수의 전자 스티커들(예컨대, 디스플레이의 제2 영역 내에 디스플레이된 스티커 팩) 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 제1 전자 스티커의 디스플레이에 대응되는 위치에서 제1 사용자 입력을 검출한다. 제1 사용자 입력을 검출하는 것에 응답하여: 제1 사용자 입력이, 제1 전자 스티커의 디스플레이에 대응되는 위치에서 시작하고, 대화 트랜스크립트의 디스플레이에 대응되는 위치에서 종료하는 드래그 제스처를 포함한다는 결정에 따라, 전자 스티커를 대화 트랜스크립트 내에 배치한다(예컨대, 스티커를 대화 트랜스크립트 내로 드래그함). 예를 들어, 눈사람 스티커(3906)는 도 39j 내지 도 39j의 대화 트랜스크립트(3700) 내로 드래그된다. 제1 사용자 입력은 탭 제스처 기준들을 만족한다는 결정(예컨대, 실질적으로 동일한 위치에서 미리 정의된 세기 임계치에 도달하지 않는 특성 세기를 갖는 사용자 접촉의 개시와 종료의 검출)에 따라, 전자 스티커를 메시지 입력 영역 내에 디스플레이한다(예컨대, 이는 사용자가 스티커를 다음 메시지에 대응되는 위치에 트랜스크립트에 게시하는 것을 허용함). 예를 들어, 눈송이 스티커(3908)는 도 39d 내지 도 39f의 메시지 입력 영역(3502) 상에 탭되고, 입력 영역 내에 배치된다.
일부 실시예들에서, 제2 위치에 기초한 위치는 제2 위치이다(6214). 예를 들어, 스티커는 (예컨대, 드래그 제스처에 대응되는 접촉의 사용자에 의한 리프트 오프, 또는 미리 정의된 시간 기간 동안 상대적으로 안정된 위치를 유지함에 의한 드래그 제스처의 타이밍 아웃으로 인해) 트랜스크립트 내에 드래그 제스처가 종료된 위치에 배치된다. 예를 들어, 도 39j에서, 전자 눈사람 스티커(3906)는 디바이스가 접촉(3916)을 포함하는 드래그 제스처의 종료(예컨대, 리프트 오프)를 검출했을 때 디스플레이되었던 트랜스크립트(3700) 내의 위치(3906-b)에 배치된다.
일부 실시예들에서, 대화 트랜스크립트는 메시징 세션에 게시된 하나 이상의 객체들(예컨대, 메시지 버블들, 대화형 애플리케이션에 대한 아이콘들 및/또는 멀티미디어 콘텐츠)의 디스플레이를 포함하며, 제2 위치에 기초한 위치는 메시징 세션에 게시된 하나 이상의 객체들의 위치들에 의해 정의되는 복수의 위치들 중 가장 가까운 위치이다(6216). 예를 들어, 전자 눈송이 스티커(3908)가 도 39o에서 위치(3908-c) 내에 디스플레이되는 경우, 디바이스(100-1)는 대화 트랜스크립트 내의 위치(3924-b)에서 접촉(3924)을 포함하는 드래그 제스처의 종료를 검출한다. 이에 응답하여, 도 39p에서 눈송이 스티커(3908)는 메시지 객체(예컨대, 메시지 구역(3749)) 상의 가장 가까운 포인트에 대응되는 위치(3908-d)에 배치(예컨대, 디스플레이)된다.
일부 실시예들에서, 복수의 위치들은 메시징 세션에 게시된 하나 이상의 객체들의 외부 테두리에 의해 정의되는 위치들을 포함한다 (예컨대, 하나 이상의 객체들의 윤곽들을 정의하는 모든 위치, 윤곽들 상의 위치들(예컨대, 각각의 객체의 상부, 하부, 우측 및 좌측 테두리들 상의 수평 및 수직 방향 중간 포인트들)의 설정 개수, 외부 테두리를 따라 균일하게 이격된 위치들(예컨대, 모든 X 픽셀들 또는 각각의 객체 상에 Y 위치들을 제공하도록 이격됨)).
일부 실시예들에서, 복수의 위치들은 메시징 세션에 게시된 하나 이상의 객체들의 표면적에 의해 정의되는 위치들을 포함한다 (예컨대, 객체의 테두리 내의 모든 위치(포괄적 또는 배타적), 각각의 객체 내의 위치들의 설정 개수(예컨대, 각각의 객체 내의 사분면 중간 포인트들), 각각의 객체 내의 균일하게 이격된 위치들(예컨대, (X, Y) 픽셀들이거나 각각의 객체 내에 Z 위치들을 제공하도록 이격됨)).
일부 실시예들에서, 복수의 위치들은 두 개의 인접한 물체들 사이의 관계에 의해 정의되는 하나 이상의 위치들(예컨대, 두 개의 객체들 사이의 중간 포인트에 의해 정의된 위치들)을 포함한다.
일부 실시예들에서, 제1 드래그 제스처의 종료를 검출하는 것에 응답하여, 제2 위치가 대화 트랜스크립트 내에 있다는 결정에 따라, 디바이스는 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상(예컨대, 적어도 제2)의 전자 디바이스들로 전자 스티커를 표현하는 정보를 송신하며, 하나 이상의 전자 디바이스들은 대응되는 대화 트랜스크립트 내의 대응되는 위치 내에 전자 스티커의 대응되는 표현을 디스플레이한다(6218).
일부 실시예들에서, 전자 디바이스의 사용자로부터 전송된 메시지들 및 타 사용자들로부터 수신된 메시지들이 대화 트랜스크립트의 반대측들 상에 디스플레이되는 경우, 대응되는 위치는 스티커가 전송 사용자의 전자 디바이스 상에 디스플레이되는 위치의 미러 이미지인 위치이다(예컨대, 위치의 미러 이미지 또는 위치 및 스티커의 미러 이미지).
일부 실시예들에서, 디바이스는 포커스 선택자가 복수의 전자 스티커들 중 제2 전자 스티커에 대응되는 제3 위치에 있는 동안(예컨대, 터치 감응형 디스플레이 상의 접촉이 제2 전자 스티커에 있는 동안 또는 커서 또는 다른 포인터가 제2 전자 스티커에 있는 동안) 사용자 입력을 검출한다(6220). 예를 들어, 도 39d의 접촉(3912) 및 도 39z의 접촉(3932) 중 하나를 포함하는 입력,
포커스 선택자가 제3 위치에 있는 동안 사용자 입력을 검출하는 것에 응답하여, 사용자 입력이 (예컨대, 스티커-게시-기준들과 구별되는) 하나 이상의 스티커-선택-기준들을 만족한다는 결정에 따라, 디바이스는 메시지 입력 영역 내에 제2 전자 스티커를 디스플레이 한다(예컨대, 눈송이 스티커(3908)가 도 39f의 메시지 입력 영역(3502) 내에 디스플레이됨.
일부 실시예들에서, 스티커-선택-기준들은 입력의 접촉의 특성 세기가 제1 세기 임계치 미만으로 유지되는 경우에 충족되도록 구성된 기준을 포함한다.
일부 실시예들에서, 스티커-선택-기준들은 입력의 접촉의 특성 세기가 제1 세기 임계치를 충족하는 경우에 만족되는 기준을 포함한다(예컨대, 스티커는 메시지 입력 영역 내에 디스플레이되지만, 더 강하게 누름으로써 트랜스크립트를 통해 푸시될 수 있음).
일부 실시예들에서, 스티커는 이어서, 디스플레이 상의 전송 아이콘에 대응되는 위치에서 탭 제스처와 같은 메시지 입력 영역 내의 콘텐츠를 게시하라는 요청에 대응되는 제2 사용자 입력에 의해 메시징 세션에 게시될 수 있다. 예를 들어, 눈송이 스티커(3908)는 도 39f의 전송 어포던스(3520) 상의 접촉(3914)을 포함하는 탭 제스처에 응답하여, 도 39g의 대화 트랜스크립트(3700) 내에 디스플레이된다.
포커스 선택자가 제3 위치에 있는 동안 사용자 입력을 검출하는 것에 응답하여, 사용자 입력이 하나 이상의 스티커-게시-기준들을 만족한다는 결정에 따라, 스티커를 대화 트랜스크립트 내의 다음 메시지 삽입 지점에 대응되는 위치에 디스플레이한다. 예를 들어, 눈사람 스티커(3906)는 접촉(3932)을 포함하는 깊게 누르기 제스처를 검출하는 것에 응답하여, 도 39aa에서 메시징 세션에 직접 게시된다(예컨대, 트랜스크립트(3700) 내에 디스플레이됨).
일부 실시예들에서, 스티커-게시-기준들은 입력의 접촉의 특성 세기가 제2 세기 임계치를 초과하는 경우에 충족되는 기준을 포함한다.
일부 실시예들에서, 다음 메시징 버블이 위치될 위치에, 예컨대 도 39g의 위치(3908-b) 또는 도 39aa의 위치(3906-c)에 메시징 세션에 스티커를 게시.
일부 실시예들에서, 하나 이상의 스티커-게시-기준들은, 트랜스크립트-영역-디스플레이 기준들이 충족되기 위해 터치 감응형 표면 상의 제1 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하며, 이는 제1 접촉의 특성 세기가 제2 세기 임계치와 제3 세기 임계치 사이에 있는 경우 충족되고; 하나 이상의 스티커-선택-기준들은, 선택 기준들이 충족되려면 터치 감응형 표면 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는다.
일부 실시예들에서, 디바이스는 포커스 선택자가 복수의 전자 스티커들 중 제3 전자 스티커에 대응되는 제4 위치에 있는 동안(예컨대, 터치 감응형 디스플레이 상의 접촉이 제3 전자 스티커에 있는 동안, 또는 커서 또는 다른 포인터가 제3 전자 스티커에 있는 동안) 사용자 입력을 검출하며, 제3 전자 스티커는 스티커 애니메이션과 연관된다(6222). 예를 들어, 도 39q 내지 도 39x에서, 눈사람 스티커(3906)는 애니메이션 상태들(3930-a, 3930-b 및 3930-c)을 순환하는 눈사람의 빗자루의 상향 및 하향 이동을 포함하는 애니메이션과 연관된다. 디바이스(100-1)는 스티커 팩(3904) 내의 눈사람 스티커(3906) 상의 접촉(3928)을 포함하는 입력을 검출한다.
일부 실시예들에서, 스티커 애니메이션은 메시징 세션에 스티커가 게시되는 경우에 루프(loop)로 디스플레이된다. 일부 실시예들에서, 스티커 애니메이션은 메시징 세션에 게시된 후 미리 정의된 횟수로 디스플레이된다. 일부 실시예들에서, 스티커 애니메이션은 대응되는 대화 트랜스크립트 내에서 사용자에 의한 활성화 시 디스플레이된다. 일부 실시예들에서, 스티커 애니메이션은 스티커 팩에 자동적으로 디스플레이된다.
포커스 선택자가 제4 위치에 있는 동안 사용자 입력을 검출하는 것에 응답하여, 사용자 입력이 하나 이상의 애니메이션 미리보기 기준들(예컨대, 깊게 누르기 기준들)을 만족한다는 결정에 따라, 디바이스는 제3 전자 스티커와 연관된 스티커 애니메이션을 미리보기한다(예컨대, 사용자가 스티커 팩의 고양이 스티커를 누를 때 고양이 스티커가 울음). 예를 들어, 디바이스(100-1)는 도 39-v 내지 도 39x에서 스티커 팩(3904) 내에 디스플레이된 눈사람 스티커에 대한 애니메이션의 미리보기를 디스플레이한다.
일부 실시예들에서, 애니메이션 미리보기 기준들은 입력의 접촉의 특성 세기가 세기 임계치를 만족하는 경우에 충족되는 기준을 포함한다. 일부 실시예들에서, 프레스 앤 홀드(press and hold) 제스처는 애니메이션 미리보기 기준들을 만족한다. 일부 실시예들에서, 깊게 누르기 제스처는 애니메이션 미리보기 기준들을 만족한다. 일부 실시예들에서, 가볍게 누르기는 애니메이션 미리보기를 만족하지 않는다. 일부 실시예들에서, 가볍게 누르기 제스처는 전자 스티커로 하여금 메시지 입력 영역 내에 디스플레이되게 하여, 제3 전자 스티커와 연관된 스티커 애니메이션을 미리보기한다(예컨대, 사용자가 스티커 팩 내의 고양이 스티커를 누를 때 고양이 스티커가 울음).
일부 실시예들에서, 복수의 전자 스티커들을 디스플레이하기 전에, 디바이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스(예컨대, 도 39a의 사용자 인터페이스(3500))를 디스플레이한다(6224).
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 애플리케이션 어포던스를 활성화하는 입력을 검출한다. 예를 들어, 도 39b에서 애플리케이션 어포던스(3508) 상의 접촉(3902)을 포함하는 입력(예컨대, 애플리케이션 어포던스에 대응되는 위치에서 탭 제스처를 검출).
애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 디스플레이의 제1 영역 내에 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지한다(예컨대, 도 39c는 도 39c에 디스플레이된 대화 트랜스크립트(3700)의 일부분을 포함함. 디바이스는 디스플레이의 제2 영역 내에(예컨대, 도 39c의 스티커 팩(3904) 내에) 복수의 전자 스티커들을 디스플레이한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스를 활성화하기 전에 전자 키보드의 디스플레이를 포함하는 경우, 복수의 전자 스티커들의 디스플레이는 키보드의 디스플레이를 대체한다(예컨대, 스티커 팩(3904)의 디스플레이는 디지털 키보드(3501)의 디스플레이를 대체할 것임).
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스를 활성화하기 전에 대화 트랜스크립트의 풀-스크린 디스플레이를 포함하는 경우, 복수의 전자 스티커들의 디스플레이는 메시지 트랜스크립트의 디스플레이의 일부분을 대체한다. 예를 들어, 도 39b에서, 대화 트랜스크립트(3700)는 풀-스크린 모드로 디스플레이된다. 도 39b의 접촉(3902)을 포함하는 입력에 의한 스티커 팩(3892)의 활성화에 응답하여, 대화 트랜스크립트(3700)의 디스플레이는 도 39c의 스티커 팩의 디스플레이를 수용하기 위해 축소된다.
일부 실시예들에서, 복수의 전자 스티커들을 디스플레이하기 전에: 디바이스는 전자 디바이스의 사용자와 (예컨대, 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스를 디스플레이한다(6226). 예를 들어, 도 39ab의 메시징 사용자 인터페이스(3500).
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 애플리케이션 어포던스를 활성화하는 입력을 검출한다. 예를 들어, 도 39ab에서, 접촉(3934)을 포함하는 입력은 애플리케이션 어포던스(3508)를 활성화한다.
애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 디스플레이의 제1 영역 내의 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하며(예컨대, 디바이스(100-1)는 도 39ac의 대화 트랜스크립트(3700)의 디스플레이를 유지함), 디바이스는 디스플레이의 제2 영역 내에(예컨대, 스크롤가능한 대화형 애플리케이션 패널 내에) 복수의 대화형 애플리케이션 아이콘들 중 하나인 제1 대화형 애플리케이션 아이콘(예컨대, 제1 대화형 애플리케이션에 대한 아이콘)을 디스플레이한다. 예를 들어, 대화형 예약 애플리케이션 론칭 아이콘(3708)은 도 39ac에서 애플리케이션 슬라이드 트레이(3892) 내에 디스플레이된다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스를 활성화하기 전에 전자 키보드의 디스플레이를 포함하는 경우, 스크롤가능한 대화형 애플리케이션 패널의 디스플레이는 키보드의 디스플레이를 대체한다(예컨대, 애플리케이션 슬라이드 트레이(3892)는 디지털 키보드(3501)의 디스플레이를 대체할 수 있음).
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스를 활성화하기 전에 대화 트랜스크립트의 풀-스크린 디스플레이를 포함하는 경우, 스크롤가능한 대화형 애플리케이션 패널의 디스플레이는 메시지 트랜스크립트의 디스플레이의 일부분을 대체한다. 예를 들어, 도 39ac에서, 애플리케이션 슬라이드 트레이(3892)는 도 39ab의 풀-스크린 모드로 디스플레이된 트랜스크립트(3700)의 일부분을 대체한다.
디스플레이의 제2 영역 내에 제1 대화형 애플리케이션 아이콘을 디스플레이하는 동안, 디스플레이의 제2 영역에 대응되는 위치에서 제1 접촉의 수평 이동을 포함하는 제1 스와이프 제스처를 검출한다. 예를 들어, 디바이스(100-1)는 도 39ad의 위치(3936-a)로부터 도 39ae의 위치(3936-b)로의 접촉(3936)의 이동(3938)을 포함하는 스와이프 제스처를 검출한다.
제1 스와이프 제스처가 하나 이상의 대화형 애플리케이션 아이콘 전환 기준들을 만족한다는 결정에 따라, 디바이스는 제1 대화형 애플리케이션 아이콘의 디스플레이를 디스플레이의 제2 영역 내의 복수의 전자 스티커들의 디스플레이로 대체한다. 예를 들어, 도 39af에서, 스티커 팩(3904)은 접촉(3936)의 이동(3938)에 따라 도 39ad의 대화형 예약 애플리케이션 론칭 아이콘(3708)의 디스플레이를 대체한다.
일부 실시예들에서, 대화형 애플리케이션 아이콘 전환 기준들은 제1 스와이프 제스처의 수평 이동의 크기가 미리 결정된 이동 임계치를 만족하는 기준을 포함한다. 일부 실시예들에서, 미리 결정된 이동 임계치는 접촉의 이동 속력에 따라 변한다.
일부 실시예들에서, 복수의 전자 스티커들을 디스플레이하기 전에, 디바이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스(예컨대, 도 39au의 메시징 사용자 인터페이스(3500))를 디스플레이한다(6228).
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 애플리케이션 어포던스를 활성화하는 입력을 검출한다(예컨대, 애플리케이션 어포던스에 대응되는 위치에서 탭 제스처를 검출함). 예를 들어, 도 39au에서, 접촉(3952)을 포함하는 입력은 애플리케이션 어포던스(3508)를 활성화한다.
애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 디바이스는 디스플레이의 제1 영역 내의 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하고(예컨대, 디바이스(100-1)는 도 39av의 대화 트랜스크립트(3700)의 디스플레이를 유지함), (예컨대, 하나 이상의 대화형 애플리케이션들에 대한 론칭 아이콘들; 예컨대, 도 39av의 애플리케이션 선택 트레이(3654)를 포함하는) 복수의 애플리케이션 론칭 아이콘들을 포함하는 디스플레이의 제2 영역 내에 스티커 팩에 대한 애플리케이션 론칭 아이콘(예컨대, 도 39av의 애플리케이션 선택 트레이(3654) 내의 스티커 팩 론칭 아이콘(3609))을 디스플레이한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스의 활성화를 검출하기 전에 전자 키보드의 디스플레이를 포함하는 경우, 복수의 애플리케이션 론칭 아이콘들의 디스플레이는 키보드의 디스플레이를 대체한다. 예를 들어, 도 36y의 애플리케이션 선택 트레이(3654)의 디스플레이는 도 36x의 디지털 키보드(3501)를 대체한다.
일부 실시예들에서, 메시징 사용자 인터페이스가 애플리케이션 어포던스의 활성화를 검출하기 전에 대화 트랜스크립트의 풀-스크린 디스플레이를 포함하는 경우, 복수의 애플리케이션 론칭 아이콘들의 디스플레이는 메시지 트랜스크립트의 디스플레이의 일부분을 대체한다. 예를 들어, 도 39av의 애플리케이션 선택 트레이(3654)는 도 39au의 풀-스크린 모드로 디스플레이된 트랜스크립트(3700)의 일부분을 대체한다.
복수의 애플리케이션 론칭 아이콘들을 디스플레이하는 동안, 디바이스는 스티커 팩에 대한 애플리케이션 론칭 아이콘을 활성화하는 입력을 검출한다. 예를 들어, 디바이스(100-1)는 도 39av의 스티커 팩 론칭 아이콘(3609) 상의 접촉(3954)을 포함하는 입력을 검출한다.
스티커 팩에 대한 애플리케이션 론칭 아이콘을 활성화하는 입력을 검출(예컨대, 스티커 팩에 대한 론칭 아이콘에 대응되는 위치에서 탭 제스처를 검출)하는 것에 응답하여, 디바이스는 복수의 애플리케이션 론칭 아이콘들의 디스플레이를 제2 영역 내의 복수의 전자 스티커들의 디스플레이로 대체한다. 예를 들어, 도 39av에서 접촉(3954)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 도 39av의 애플리케이션 선택 트레이(3954)의 디스플레이를 도 39aw의 스티커 팩(3904)의 디스플레이로 대체한다.
도 62a 내지 도 62c의 동작들이 설명된 특정 순서는 단지 예시적인 것이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6400, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 62a 내지 도 62c에 관하여 위에 설명된 방법(6200)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(6200)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6400, 6600, 6800 및 7000))을 참조하여 본 명세서에서 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 63은 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(6300)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 63에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 63에 도시된 바와 같이, 전자 디바이스(6300)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(6302); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(6304); 및 디스플레이 유닛(6302) 및 터치 감응형 표면 유닛(6304)과 결합된 프로세싱 유닛(6306)을 포함한다. 프로세싱 유닛(6306)은 인에이블 유닛(6308), 검출 유닛(6310), 이동 유닛(6312), 배치 유닛(6314), 중지 유닛(6316), 미리보기 유닛(6318), 유지 유닛(6320) 및 대체 유닛(6322)을 포함한다. 프로세싱 유닛(6306)은 디스플레이 유닛(6302) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록 구성되며(예컨대, 인에이블 유닛(6308)을 이용함), 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 복수의 전자 스티커들 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6306)은 포커스 선택자가 메시징 사용자 인터페이스 내의 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 제1 위치에 있는 동안 시작하는 제1 드래그 제스처 - 제1 드래그 제스처는 포커스 선택자를 제1 방향으로 이동함 - 를 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 프로세싱 유닛(6306)은 제1 드래그 제스처의 이동에 따라 제1 방향으로 제1 전자 스티커를 이동하도록(예컨대, 이동 유닛(6312)을 이용함) 구성된다. 프로세싱 유닛(6306)은 포커스 선택자가 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안, 제1 드래그 제스처의 종료를 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 제1 드래그 제스처의 종료를 검출하는 것에 응답하여: 제2 위치가 대화 트랜스크립트 내에 있다는 결정에 따라, 프로세싱 유닛(6306)은 전자 스티커를 대화 트랜스크립트의 제2 위치에 기초한 위치에 배치하도록(예컨대, 배치 유닛(6314)을 이용함) 구성되며, 제2 위치가 대화 트랜스크립트 내에 있지 않다는 결정에 따라, 프로세싱 유닛(6306)은 디스플레이 유닛(6302) 상의 제2 위치에 전자 스티커를 디스플레이하는 것을 중지하도록(예컨대, 중지 유닛(6316)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(6306)은 제1 드래그 제스처의 종료를 검출하는 것에 응답하여, 제2 위치가 대화 트랜스크립트 내에 있다는 결정에 따라: 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 전자 스티커를 표현하는 정보를 송신하도록(예컨대, 송신 유닛(6317)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 대응되는 대화 트랜스크립트 내의 대응되는 위치에 전자 스티커의 대응되는 표현을 디스플레이한다.
일부 실시예들에서, 제2 위치에 기초한 위치는 제2 위치이다.
일부 실시예들에서, 대화 트랜스크립트는 메시징 세션에 게시된 하나 이상의 객체들의 디스플레이를 포함하며, 제2 위치에 기초한 위치는 메시징 세션에 게시된 하나 이상의 객체들의 위치들에 의해 정의되는 복수의 위치들 중 가장 가까운 위치이다.
일부 실시예들에서, 프로세싱 유닛(6306)은: 포커스 선택자가 복수의 전자 스티커들 중 제2 전자 스티커에 대응되는 제3 위치에 있는 동안 사용자 입력을 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 더 구성된다. 포커스 선택자가 제3 위치에 있는 동안 사용자 입력을 검출하는 것에 응답하여: 사용자 입력이 하나 이상의 스티커-게시-기준들을 만족한다는 결정에 따라, 제2 전자 스티커의 디스플레이를 메시지 입력 영역 내에 인에이블하고(예컨대, 인에이블 유닛(6308)을 이용함); 사용자 입력이 하나 이상의 스티커-게시-기준들을 만족한다는 결정에 따라, 스티커의 디스플레이를 대화 트랜스크립트 내의 다음 메시지 삽입 지점에 대응되는 위치에 인에이블한다(예컨대, 인에이블 유닛(6308)을 이용함).
일부 실시예들에서, 프로세싱 유닛(6306)은: 포커스 선택자가 복수의 전자 스티커들 중 제3 전자 스티커에 대응되는 제4 위치에 있는 동안 사용자 입력을 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 더 구성되며, 제3 전자 스티커는 스티커 애니메이션과 연관된다. 포커스 선택자가 제4 위치에 있는 동안 사용자 입력을 검출하는 것에 응답하여, 사용자 입력이 하나 이상의 애니메이션 미리보기 기준들을 만족한다는 결정에 따라, 제3 전자 스티커와 연관된 스티커 애니메이션을 미리보기한다(예컨대, 미리보기 유닛(6318)을 이용함).
일부 실시예들에서, 프로세싱 유닛(6306)은: 복수의 전자 스티커들을 디스플레이하기 전에: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6308)을 이용함) 더 구성된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6306)은 애플리케이션 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6306)은: 디스플레이의 제1 영역 내의 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하고(예컨대, 유지 유닛(6320)을 이용함), 디스플레이의 제2 영역 내에 복수의 전자 스티커들의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6308)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(6306)은: 복수의 전자 스티커들을 디스플레이하기 전에: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6308)을 이용함) 더 구성된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6306)은 애플리케이션 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6306)은: 디스플레이의 제1 영역 내의 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하고(예컨대, 유지 유닛(6320)을 이용함), 디스플레이의 제2 영역 내의 복수의 대화형 애플리케이션 아이콘들 중 하나인 제1 대화형 애플리케이션 아이콘의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6308)을 이용함) 구성된다. 디스플레이의 제2 영역 내에 제1 대화형 애플리케이션 아이콘을 디스플레이하는 동안, 프로세싱 유닛(6306)은 디스플레이의 제2 영역에 대응되는 위치에서 제1 접촉의 수평 이동을 포함하는 제1 스와이프 제스처를 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 제1 스와이프 제스처가 하나 이상의 대화형 애플리케이션 아이콘 전환 기준들을 만족한다는 결정에 따라, 프로세싱 유닛(6306)은 제1 대화형 애플리케이션 아이콘의 디스플레이를 디스플레이의 제2 영역 내의 복수의 전자 스티커들의 디스플레이로 대체하도록(예컨대, 대체 유닛(6322)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(6306)은: 복수의 전자 스티커들을 디스플레이하기 전에: 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 애플리케이션 어포던스를 포함하는 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6308)을 이용함) 더 구성된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6306)은 애플리케이션 어포던스를 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 애플리케이션 어포던스를 활성화하는 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6306)은: 디스플레이의 제1 영역 내의 대화 트랜스크립트의 적어도 일부분의 디스플레이를 유지하고(예컨대, 유지 유닛(6320)을 이용함), 복수의 애플리케이션 론칭 아이콘들을 포함하는 디스플레이의 제2 영역 내에, 스티커 팩에 대한 애플리케이션 론칭 아이콘의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6308)을 이용함) 구성된다. 복수의 애플리케이션 론칭 아이콘들을 디스플레이하는 동안, 프로세싱 유닛(6306)은 스티커 팩에 대한 애플리케이션 론칭 아이콘을 활성화하는 입력을 검출하도록(예컨대, 검출 유닛(6310)을 이용함) 구성된다. 프로세싱 유닛(6306)은 스티커 팩에 대한 애플리케이션 론칭 아이콘을 활성화하는 입력을 검출하는 것에 응답하여, 복수의 애플리케이션 론칭 아이콘들의 디스플레이를 디스플레이의 제2 영역 내의 복수의 전자 스티커들의 디스플레이로 대체하도록(예컨대, 대체 유닛(6322)을 이용함) 구성된다.
일부 실시예들에서, 복수의 전자 스티커들은 디지털 이미지 내에 포함된 복수의 객체들이며: 제1 전자 스티커는 제1 드래그 제스처가 시작한 때에 제1 위치에 디스플레이된 객체들에 대응되고; 제1 전자 스티커들을 이동하는 것은 디지털 이미지로부터 제1 전자 스티커들을 떼어내는 애니메이션을 디스플레이하는 것을 포함한다.
위에 설명된 정보 프로세싱 방법들에서의 동작들은 옵션적으로(예컨대, 도 1a 및 도 3과 관련하여 위에 설명된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 62a 내지 도 62c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 63에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작(6204) 및 이동 동작(6206)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 64a 내지 도 64c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 전자 스티커들의 디스플레이를 수정하는 방법(6400)을 예시하는 흐름도들이다. 방법(6400)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(6400)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법 6400은 메시징 애플리케이션 내의 전자 스티커들의 디스플레이를 수정하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션 내의 전자 스티커들의 디스플레이를 수정하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우 사용자가 메시징 애플리케이션 내의 전자 스티커들의 디스플레이를 보다 빠르고 보다 효율적으로 수정할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, 복수의 전자 스티커들(예컨대, 디스플레이의 제2 영역 내에 디스플레이된 스티커 팩) 및 메시지 입력 영역을 포함한다(6402). 예를 들어, 도 39af에서, 디바이스(100-1)는 대화 트랜스크립트(3700), 전자 스티커들(3906, 3908 및 3910)을 포함하는 전자 스티커 팩(3892) 및 메시지 입력 영역(3502)을 포함하는 메시징 사용자 인터페이스(3500)를 디스플레이한다.
메시징 사용자 인터페이스(예컨대, 사용자 인터페이스(3500))를 디스플레이하는 동안, 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안, 디바이스는 (예컨대, 드래그 제스처 또는 탭 제스처와 같은 터치 감응형 표면 상의 제1 접촉에 의한) 제1 사용자 입력을 검출한다(6404)(예컨대, 제1 전자 스티커에서 시작하여 제1 방향으로 이동하는 터치 감응형 디스플레이 상의 접촉에 의한 드래그 제스처를 검출하거나, 커서 또는 다른 포인터가 디스플레이 상의 제1 전자 스티커에 있는 동안 시작해서 포인터를 디스플레이 상의 제1 방향으로 이동하는 터치 감응형 표면 상의 접촉에 의한 드래그 제스처를 검출함). 일부 실시예들에서, 제1 전자 스티커는 처음에는 대화 트랜스크립트 내에 있지 않다(예컨대, 제1 전자 스티커는 디스플레이의 제2 영역 내에 디스플레이된 스티커 팩 내에 있음).
예를 들어, 디바이스(100-1)는 입력을 검출하며, 입력은: 위치(3940-a)로부터 도 39ag의 스티커 팩(3904) 내에 디스플레이된 전자 눈사람 스티커(3906) 위를 거쳐, 도 39ah의 위치(3940-b)를 통과하여, 도 39ai의 위치(3940-c)로의 접촉(3940)의 이동(3942)을 포함하는 드래그 제스처; 각각 도 39ag 및 도 39ah와 도 39ah 및 도 39ai 사이의 접촉(3940)의 특성 세기의 증가; 도 39ai와 도 39aj 사이의 접촉(3940)의 특성 세기의 감소; 및 도 39ak의 배향(예컨대, 위치)(3940-c)으로부터 도 39al의 배향(예컨대, 위치)(3940-d)으로의 접촉(3940)의 회전(3944)을 포함하는 회전 제스처를 포함한다.
제1 사용자 입력을 검출하는 것에 응답하여, 디바이스(6406)는 대화 트랜스크립트 내에 제1 전자 스티커를 배치 및 디스플레이한다. 예를 들어, 디바이스(100-1)는 도 39am의 위치(예컨대, 위치 및 배향)(3906-f)에 전자 스티커(3906)를 디스플레이한다.
제1 전자 스티커가 대화 트랜스크립트 내에 디스플레이되는 동안, 디바이스(6408)는 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제2 사용자 입력을 검출한다(6408) (예컨대, 트랜스크립트 내의 제1 전자 스티커의 위치에서 시작하는 터치 감응형 디스플레이 상의 접촉에 의한 드래그 제스처, 디핀치 제스처의 일부분 또는 회전 제스처를 검출하거나, 커서 또는 다른 포인터가 트랜스크립트 내의 제1 전자 스티커의 위치에 있는 동안 시작하는 터치 감응형 표면 상의 접촉에 의한 드래그 제스처, 디핀치 제스처의 일부분 또는 회전 제스처를 검출함).
예를 들어, 디바이스(100-1)는 입력을 검출하며, 입력은: 대화 트랜스크립트(3700) 내에서, 도 39an의 위치(3946-a)로부터 도 39ao의 위치(3946-b)로의 접촉(3946)의 이동(3948); 도 39ao와 도 39ap 사이의 접촉(3946)의 특성 세기의 증가; 및 도 39aq의 배향(예컨대, 위치)(3946-b)으로부터, 도 39r의 배향(예컨대, 위치)(3946-c)으로의 접촉(3946)의 회전(3950)을 포함한다.
일부 실시예들에서, 제1 및 제2 사용자 입력들은 단일 연속 입력의 제1 및 제2 부분들로서, 예컨대, 동일한 접촉으로 이루어진 드래그 제스처와 뒤이어 핀치 또는 회전 제스처이다.
제2 사용자 입력을 검출하는 것에 응답하여, 디바이스는 대화 트랜스크립트 내의 제1 전자 스티커의 위치, 크기 및/또는 회전을 변경한다(6408). (예컨대, 제1 전자 스티커 뒤에 대화 트랜스크립트의 일정한 디스플레이를 유지하는 동안).
예를 들어, 디바이스(100-1)는 전자 눈사람 스티커(3906)를 도 39an의 위치(3906-f)로부터 도 39ao의 위치(3906-g)로 이동한다. 다른 예에서, 디바이스(100-1)는 도 39ao와 도 ap 사이에서, 트랜스크립트(3700) 내에 디스플레이된 전자 눈사람 스티커(3906)의 크기를 증가시킨다. 다른 예에서, 디바이스(100-1)는 전자 눈사람 스티커(3906)를 도 39aq의 배향(예컨대, 위치)(3906-g)으로부터 도 39ar의 배향(예컨대, 위치)(3906-h)으로 회전시킨다.
일부 실시예들에서, 제1 전자 스티커의 크기는 제2 접촉을 향한 제1 접촉의 이동을 포함하는 핀치 제스처를 검출하는 것에 응답하여 축소되며, 핀치 제스처는 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 시작되었다(6410) (예컨대, 전자 스티커 위에 있는 동안 핀치하는 것은 대화 트랜스크립트의 디스플레이 크기를 변경하지 않고 스티커의 디스플레이 크기를 축소함).
일부 실시예들에서, 제2 접촉으로부터 멀어지는 제1 접촉의 이동을 포함하는 디핀치 제스처를 검출하는 것에 응답하여, 제1 전자 스티커의 크기가 증가되며, 디핀치 제스처는 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 시작하였다(예컨대, 전자 스티커 위에 있는 동안 디핀치하는 것은 대화 트랜스크립트의 디스플레이 크기를 변경하지 않고 스티커의 디스플레이 크기를 증가시킴)(6412).
일부 실시예들에서, 제1 전자 스티커의 크기는 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 이루어진 접촉의 특성 세기(예컨대, 그것의 변동)에 따라 증가된다(6414). 예를 들어, 전자 눈사람 스티커(3906)의 크기는 도 39ag와 도 39ah, 도 39ah와 도 39ai, 그리고 도 39ao와 도 39ap 사이에서 각각 증가된다.
일부 실시예들에서, 제1 전자 스티커의 크기는 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 이루어진 접촉의 특성 세기(예컨대, 그것의 변동)에 따라 감소된다. 예를 들어, 전자 눈사람 스티커(3906)의 크기는 도 39ai와 도 39aj 사이에서 감소된다.
일부 실시예들에서, 제1 전자 스티커의 배향은 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 시작한 회전 제스처를 검출하는 것에 응답하여 변경된다(6416). 예를 들어, 전자 눈사람 스티커(3906)의 배향(예컨대, 위치)은 도 39ak의 배향(3906-e)으로부터 도 39al의 배향(3906-f)으로 회전된다. 다른 예에서, 전자 눈사람 스티커(3906)의 배향(예컨대, 위치)은 도 39aq의 배향(3906-g)으로부터 도 39ar의 배향(3906-h)으로 회전된다.
일부 실시예들에서, 회전 제스처는 단일 사용자 접촉의 회전을 포함한다. 일부 실시예들에서, 회전 제스처는 제2 접촉에 상대적인 제1 접촉의 회전을 포함한다.
일부 실시예들에서, 제1 사용자 입력을 검출한 후, 디바이스는 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의(예컨대, 제2) 전자 디바이스들로 제1 전자 스티커를 표현하는 정보를 송신하며, 하나 이상의 전자 디바이스들은 대응되는 대화 트랜스크립트(예컨대, 메시징 세션에 대응함) 내의 대응되는 위치(예컨대, 대응되는 위치, 크기 및 회전) 내에 제1 전자 스티커의 대응되는 표현을 디스플레이한다(6418).
일부 실시예들에서, (예컨대, 도 39am의 접촉(3940)의 리프트 오프의 검출 시) 제1 사용자 입력을 검출하는 것에 응답하여 제1 전자 스티커를 표현하는 정보가 전송되고, (예컨대, 도 39as의 접촉(3946)의 리프트 오프의 검출 시) 스티커의 후속 이동, 크기 변경 및/또는 회전은 디바이스로 하여금 제1 전자 스티커(예컨대, 위치, 크기 및/또는 배향을 포함하는 위치)를 표현하는 후속 정보를 전송하게 한다.
일부 실시예들에서, 제1 전자 스티커를 표현하는 정보는 사용자가 대화 트랜스크립트 내의 스티커를 (예컨대, 제2 사용자 입력을 이용해) 최종적으로 위치 결정, 크기 결정 및/또는 회전시킬 때까지 전송되지 않는다. 예를 들어, 정보는 도 39as의 접촉(3946)의 리프트 오프의 검출 시에 전송되지만, 도 39am의 접촉(3940)의 리프트 오프의 검출 시에는 전송되지 않는다.
일부 실시예들에서, 사용자가 전자 스티커를 배치하고, 크기를 결정하고/하거나 회전하면, 트랜스크립트 내의 스티커에 대한 추가 수정들은 이루어질 수 없다 (예컨대, 도 39an의 제2 접촉(3946)을 포함하는 제2 입력의 검출은 디바이스(100-1)로 하여금 대화 트랜스크립트(3700) 내의 전자 눈사람 스티커(3906)를 이동하거나, 크기 변경하거나 회전하게 하지 않을 것임).
일부 실시예들에서, 일단 사용자가 전자 스티커를 배치하고, 크기를 결정하고/하거나 회전하면, 트랜스크립트 내의 스티커에 대한 추가의 수정들은 대화 트랜스크립트 내에 스티커를 배치하는 제1 입력의 종료 시부터 시작되는 미리 결정된 시간 주기 내에서만 이루어질 수 있다(예컨대, 추가 수정들의 개시). 예를 들어, 도 39an의 제2 접촉(3946)을 포함하는 제2 입력의 검출은 제2 입력이 미리 정의된 시간 주기 내에서 처음 검출된 경우에만 디바이스(100-1)로 하여금 대화 트랜스크립트(3700) 내의 전자 눈사람 스티커(3906)를 이동하거나, 크기 변경하거나, 회전하게 할 것이다.
일부 실시예들에서, 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후, 디바이스는 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스의 제3 위치에 있는 동안 제3 사용자 입력을 검출한다(6420). 제3 사용자 입력을 검출하는 것에 응답하여: 대화 트랜스크립트 내의 제1 전자 스티커의 위치를 두 번째로 변경하고; 대화 트랜스크립트 내의 제1 전자 스티커의 위치가 변경되었다는 정보를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 전송하며, 하나 이상의 전자 디바이스들은 대응되는 변화들을 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 위치에 가한다 (예컨대, 제1 사용자의 대화 트랜스크립트 내에 변화들을 일치시키거나 반영함).
일부 실시예들에서, 메시징 세션에 스티커를 게시한 사용자만이 스티커의 위치, 크기 또는 회전을 변경할 수 있다. 일부 실시예들에서, 메시징 세션에 포함된 임의의 사용자는 스티커의 위치, 크기 및/또는 회전을 변경할 수 있다. 일부 실시예들에서, 어떠한 사용자도 메시징 세션에 게시된 스티커의 위치, 크기 및/또는 회전을 변경할 수 없다.
일부 실시예들에서, 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후, 디바이스는 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스의 제3 위치에 있는 동안 제3 사용자 입력을 검출하고, 제3 사용자 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 전자 스티커의 회전(예컨대, 배향)을 두 번째로 변경하고, 대화 트랜스크립트 내의 제1 전자 스티커의 회전(예컨대, 배향)이 변경되었다는 정보를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 전송하며, 하나 이상의 전자 디바이스들은 대응되는 변화들을 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 회전(예컨대, 배향)에 가한다(6422) (예컨대, 제1 사용자의 대화 트랜스크립트 내에 변화들을 일치시키거나 반영함).
일부 실시예들에서, 메시징 세션에 스티커를 게시한 사용자만이 스티커의 위치, 크기 또는 회전을 변경할 수 있다. 일부 실시예들에서, 메시징 세션에 포함된 임의의 사용자는 스티커의 위치, 크기 및/또는 회전을 변경할 수 있다. 일부 실시예들에서, 어떠한 사용자도 메시징 세션에 게시된 스티커의 위치, 크기 및/또는 회전을 변경할 수 없다.
일부 실시예들에서, 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후, 디바이스는 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스의 제3 위치에 있는 동안 제3 사용자 입력을 검출하고, 제3 사용자 입력을 검출하는 것에 응답하여: 대화 트랜스크립트 내의 제1 전자 스티커의 크기를 두 번째로 변경하고, 대화 트랜스크립트 내의 제1 전자 스티커의 크기가 변경되었다는 정보를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 전송하며, 하나 이상의 전자 디바이스들은 대응되는 변화들을 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 크기에 가한다(6424) (예컨대, 제1 사용자의 대화 트랜스크립트 내에 변화들을 일치시키거나 반영함).
일부 실시예들에서, 메시징 세션에 스티커를 게시한 사용자만이 스티커의 위치, 크기 또는 회전을 변경할 수 있다. 일부 실시예들에서, 메시징 세션에 포함된 임의의 사용자는 스티커의 위치, 크기 및/또는 회전을 변경할 수 있다. 일부 실시예들에서, 어떠한 사용자도 메시징 세션에 게시된 스티커의 위치, 크기 및/또는 회전을 변경할 수 없다.
일부 실시예들에서, 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후, 디바이스는 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 대응되는 표현의 위치, 크기 및/또는 배향이 변경되었다는 정보를 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 수신하고, 이에 응답하여, 대화 트랜스크립트 내의 제1 전자 스티커의 위치, 크기 및/또는 배향을 변경한다. 예를 들어, 디바이스(100-1)는 9:56 AM에 디바이스(100-2)로부터 정보를 수신하고, 이에 응답하여, 전자 눈사람 스티커(3906)의 위치, 크기 및 배향을 도 39as의 위치(3906-h)로부터 도 39at의 위치(3906-i)로 변경한다.
일부 실시예들에서, 제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 제1 전자 스티커의 위치를 변경한다(6426)(예컨대, 스티커의 크기, 위치 및 배향은 스티커 팩 내에 여전히 디스플레이되는 동안 및/또는 대화 트랜스크립트 내로 드래그되는 동안 변경될 수 있음). 예를 들어, 도 39ag의 위치(3906-a)로부터, 도 39ah의 위치(3906-d)를 통해, 도 39ai의 위치(3906-e)로의 전자 눈사람 스티커(3906)의 이동.
일부 실시예들에서, 제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 제1 전자 스티커의 크기를 변경한다(6428)(예컨대, 스티커의 크기, 위치 및 배향은 스티커 팩 내에 여전히 디스플레이되는 동안 및/또는 대화 트랜스크립트 내로 드래그되는 동안 변경될 수 있음). 예를 들어, 전자 눈사람 스티커(3906)의 크기는 각각 도 39ag와 도 39ah, 그리고 도 39ah와 도 39ai 사이에서 증가된다. 다른 예에서, 전자 눈사람 스티커(3906)의 크기는 도 39ai와 도 39aj 사이에서 감소된다.
일부 실시예들에서, 제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 제1 전자 스티커의 회전을 변경한다(6430)(예컨대, 스티커의 크기, 위치 및 배향은 스티커 팩 내에 여전히 디스플레이되는 동안 및/또는 대화 트랜스크립트 내로 드래그되는 동안 변경될 수 있음). 예를 들어, 전자 눈사람 스티커(3906)는 도 39ak의 배향(예컨대, 위치)(3906-e)으로부터 도 39al의 배향(예컨대, 위치)(3906-f)으로 회전된다.
도 64a 내지 도 64c에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6600, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 64a 내지 도 64c에 관하여 위에 설명된 방법(6400)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(6400)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6600, 6800 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 65는 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(6500)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 65에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 65에 도시된 바와 같이, 전자 디바이스(6500)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(6502); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(6504); 및 디스플레이 유닛(6502) 및 터치 감응형 표면 유닛(6504)과 결합된 프로세싱 유닛(6506)을 포함한다. 프로세싱 유닛(6506)은 인에이블 유닛(6508), 검출 유닛(6510), 배치 유닛(6512), 변경 유닛(6514), 송신 유닛(6516), 및 전송 유닛(6518)을 포함한다.
프로세싱 유닛(6506)은: 디스플레이 유닛(6502) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록 구성되며(예컨대, 인에이블 유닛(6508)을 이용함), 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 복수의 전자 스티커들 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6506)은 포커스 선택자가 복수의 전자 스티커들 중 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 제1 사용자 입력을 검출하도록(예컨대, 검출 유닛(6510)을 이용함) 구성된다. 제1 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6506)은 대화 트랜스크립트 내에 제1 전자 스티커를 배치하고(예컨대, 배치 유닛(6512)을 이용함), 대화 트랜스크립트 내의 제1 전자 스티커의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6508)을 이용함) 구성된다. 제1 전자 스티커가 대화 트랜스크립트 내에 디스플레이되는 동안, 프로세싱 유닛(6506)은 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안 제2 사용자 입력을 검출하도록(예컨대, 검출 유닛(6510)을 이용함) 구성된다. 제2 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6506)은 대화 트랜스크립트 내의 제1 전자 스티커의 위치, 크기 및/또는 회전을 변경하도록(예컨대, 변경 유닛(6514)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(6506)은 제1 사용자 입력을 검출한 후, 제1 전자 스티커를 표현하는 정보를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스로 송신하도록(예컨대, 송신 유닛(6516)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 대응되는 대화 트랜스크립트 내의 대응되는 위치에 제1 전자 스티커의 대응되는 표현을 디스플레이한다.
일부 실시예들에서, 프로세싱 유닛(6506)은: 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후, 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제3 위치에 있는 동안 제3 사용자 입력을 검출하도록(예컨대, 검출 유닛(6510)을 이용함) 더 구성된다. 제3 사용자 입력을 검출하는 것에 응답하여, 프로세싱 유닛(6506)은 대화 트랜스크립트 내의 제1 전자 스티커의 위치를 두 번째로 변경하고(예컨대, 변경 유닛(6514)을 이용함); 대화 트랜스크립트 내의 제1 전자 스티커의 위치가 변경되었다는 정보를 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 전송하도록(예컨대, 전송 유닛(6518)을 이용함) 구성되며, 하나 이상의 전자 디바이스들은 대응되는 변화들을 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 위치에 가한다.
일부 실시예들에서, 프로세싱 유닛(6506)은: 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후: 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제3 위치에 있는 동안 제3 사용자 입력을 검출하고(예컨대, 검출 유닛(6510)을 이용함); 제3 사용자 입력을 검출하는 것에 응답하여: 대화 트랜스크립트 내의 제1 전자 스티커의 회전을 두 번째로 변경하고(예컨대, 변경 유닛(6514)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스로, 대화 트랜스크립트 내의 제1 전자 스티커의 회전이 변경되었다는 정보를 전송하도록(예컨대, 전송 유닛(6518)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 대응되는 변화들을 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 회전에 가한다.
일부 실시예들에서, 프로세싱 유닛(6506)은: 제1 전자 스티커를 표현하는 정보를 하나 이상의 전자 디바이스들로 송신한 후: 포커스 선택자가 대화 트랜스크립트 내의 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 제3 위치에 있는 동안 제3 사용자 입력을 검출하고(예컨대, 검출 유닛(6510)을 이용함); 제3 사용자 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 제1 전자 스티커의 크기를 두 번째로 변경하고(예컨대, 변경 유닛(6514)을 이용함); 메시징 세션에 포함된 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 대화 트랜스크립트 내의 제1 전자 스티커의 크기가 변경되었다는 정보를 전송하도록(예컨대, 전송 유닛(6518)을 이용함) 더 구성되며, 하나 이상의 전자 디바이스들은 대응되는 변화들을 대응되는 대화 트랜스크립트 내의 제1 전자 스티커의 크기에 가한다.
일부 실시예들에서, 프로세싱 유닛(6506)은: 제1 사용자 입력을 검출하는 것에 응답하여, 제1 전자 스티커의 위치를 변경하도록(예컨대, 변경 유닛(6514)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(6506)은: 제1 사용자 입력을 검출하는 것에 응답하여, 제1 전자 스티커의 크기를 변경하도록(예컨대, 변경 유닛(6514)을 이용함) 더 구성된다.
일부 실시예들에서, 프로세싱 유닛(6506)은: 제1 사용자 입력을 검출하는 것에 응답하여, 제1 전자 스티커의 회전을 변경하도록(예컨대, 변경 유닛(6514)을 이용함) 더 구성된다.
일부 실시예들에서, 제1 전자 스티커의 크기는 제2 접촉을 향한 제1 접촉의 이동을 포함하는 핀치 제스처를 검출하는 것에 응답하여 축소되며, 핀치 제스처는 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 시작되었다.
일부 실시예들에서, 제1 전자 스티커의 크기는 제2 접촉으로부터 멀어지는 제1 접촉의 이동을 포함하는 디핀치 제스처를 검출하는 것에 응답하여 증가되며, 디핀치 제스처는 포커스 선택자는 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 시작되었다.
일부 실시예들에서, 제1 전자 스티커의 크기는 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 이루어진 접촉의 특성 세기에 따라 증가된다.
일부 실시예들에서, 제1 전자 스티커의 배향은 포커스 선택자가 제1 전자 스티커에 대응되는 메시징 사용자 인터페이스 내의 위치에 있는 동안 시작한 회전 제스처를 검출하는 것에 응답하여 변경된다.
도 64a 내지 도 64c를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 65에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(6404 및 6408)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
결제(Making payments)
도 66은 일부 실시예들에 따른, 메시징 애플리케이션으로부터 결제하는 방법(6600)을 예시하는 흐름도이다. 방법(6600)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(6600)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(6600)은 메시징 애플리케이션으로부터 결제하기 위한 직관적인 방법을 제공한다. 방법은 메시징 애플리케이션으로부터 결제하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우, 사용자가 메시징 애플리케이션으로부터 보다 빠르고 보다 효율적으로 결제할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함하고, 메시징 세션에 포함된 타 사용자들 각각은 대응되는 (예컨대, 디스플레이의 제2 영역 내에 디스플레이된) 아바타를 갖는다(6602). 예를 들어, 도 40f의 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3503), 메시지 입력 영역(3502)을 포함한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 도 40f에서 아바타들의 스택(4002) 내에 디스플레이된 아바타(예컨대, "Mary Todd"에 대한 아바타(4008))에 의해 표현된다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 메시징 세션에 포함된 제1 타 사용자의 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안, 제1 사용자 입력(예컨대, 터치 감응형 표면 상의 접촉에 의한 탭, 가볍게 누르기 또는 깊게 누르기 제스처)을 검출한다(6604) (예컨대, 제1 타 사용자의 아바타의 위치에서 터치 감응형 디스플레이 상의 접촉에 의한 제스처를 검출하거나, 커서 또는 다른 포인터가 제1 타 사용자의 아바타의 위치에 있는 동안 터치 감응형 표면 상의 접촉에 의한 제스처를 검출함). 예를 들어, 디바이스(100-1)는 도 40g에서 Mary Todd의 아바타(4010) 상의 접촉(4010)을 포함하는 입력을 검출한다.
제1 사용자 입력을 검출하는 것에 응답하여, 디바이스는 메시징 사용자 인터페이스 상에 오버레이된 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하며, 디스플레이된 메뉴는 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템(예컨대, 결제하기 위한, 또는 제1 타 사용자로부터의 결제를 요청하기 위한 메뉴 아이템)을 포함한다(6006). 예를 들어, 미리 정의된 세기 임계치를 충족하는, 접촉(4010)의 특성 세기의 증가를 포함하는 입력을 검출하는 것에 응답하여, 디바이스는, 도 40h에서 메시징 세션에 포함된 다른 사용자(예컨대, Mary Todd)에게 결제하기 위한 활성화가능한 액션(3884-6)을 포함하는 액션 메뉴(3882)를 디스플레이한다.
제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴(예컨대, 도 40j의 액션 메뉴(3882))를 디스플레이하는 동안, 포커스 선택자가 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템(예컨대, 도 40j에서 결제를 위한 활성화가능한 메뉴 액션(3884-6))에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안, 디바이스는 (예컨대, 도 40j의 접촉(4012)을 포함하는 입력과 같은, 터치 감응형 표면 상의 접촉에 의한) 제2 사용자 입력을 검출한다(6008). 예를 들어, 디바이스는 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템의 위치에서 터치 감응형 디스플레이 상의 접촉에 의한 제스처를 검출하거나, 커서 또는 다른 포인터가 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템의 위치에 있는 동안, 터치 감응형 표면 상의 접촉에 의한 제스처를 검출한다.
제2 사용자 입력을 검출하는 것에 응답하여, 디바이스는 제1 타 사용자에게 결제금 전송 및/또는 제1 타 사용자로부터의 결제금 요청을 개시하도록 구성된 사용자 인터페이스를 디스플레이한다(6610). 예를 들어, 도 40j에서 활성화가능한 결제 액션(3884-6) 상의 접촉(4012)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 도 40k에서 결제 사용자 인터페이스(4014)를 디스플레이한다.
도 66에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6800 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 66에 관하여 위에 설명된 방법(6600)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(6600)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6800 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 67은 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(6700)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 67에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 67에 도시된 바와 같이, 전자 디바이스(6700)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(6702); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(6704); 및 디스플레이 유닛(6702) 및 터치 감응형 표면 유닛(6704)과 결합된 프로세싱 유닛(6706)을 포함한다. 프로세싱 유닛(6706)은 인에이블 유닛(6708) 및 검출 유닛(6710)을 포함한다.
프로세싱 유닛(6706)은 디스플레이 유닛(6702) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6708)을 이용함) 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트 및 메시지 입력 영역을 포함하고, 메시징 세션에 포함된 타 사용자들 각각은 대응되는 아바타를 갖는다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6706)은 포커스 선택자가 메시징 세션에 포함된 제1 타 사용자의 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 제1 사용자 입력을 검출하도록(예컨대, 검출 유닛(6710)을 이용함) 구성된다. 제1 사용자 입력을 검출하는 것에 응답하여, 메시징 사용자 인터페이스 상에 오버레이된 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴의 디스플레이를 인에이블하며(예컨대, 인에이블 유닛(6708)을 이용함), 디스플레이된 메뉴는 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템들을 포함한다. 제1 타 사용자와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이하는 동안, 포커스 선택자가 제1 타 사용자와 결제 액션을 개시하기 위한 활성화가능한 메뉴 아이템에 대응되는 메시징 사용자 인터페이스 내의 제2 위치에 있는 동안, 제2 사용자 입력을 검출한다(예컨대, 검출 유닛(6710)을 이용함). 제2 사용자 입력을 검출하는 것에 응답하여, 제1 타 사용자로의 결제금 전송 및/또는 제1 타 사용자로부터의 결제금 요청을 개시하도록 구성된 사용자 인터페이스의 디스플레이를 인에이블한다(예컨대, 인에이블 유닛(6708)을 이용함).
도 66을 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 67에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(6604 및 6608)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
그룹 메시징 세션 내 아바타와의 상호작용(Interacting with avatars in a group messaging session)
도 68a 및 도 68b는 일부 실시예들에 따른, 그룹 메시징 세션에 포함된 단일 사용자와 상호작용하는 방법(6800)을 예시하는 흐름도들이다. 방법(6800)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(6800)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(6800)은 그룹 메시징 세션에 포함된 단일 사용자와 상호작용하기 위한 직관적인 방법을 제공한다. 방법은 그룹 메시징 세션에 포함된 단일 사용자와 상호작용하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우, 사용자로 하여금 그룹 메시징 세션에 포함된 단일 사용자와 보다 빠르고 보다 효율적으로 상호작용할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 각자의 다른 전자 디바이스들의) 복수의 타 사용자들 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트, 메시지 입력 영역 및 복수의 아바타들을 포함하고, 복수의 아바타들 중 각자의 아바타 각각은 메시징 세션에 포함된 복수의 타 사용자들 중 각자의 타 사용자에 대응되고, 복수의 아바타들은 (예컨대, 중첩된) 아바타들의 스택으로서 디스플레이되며, 복수의 아바타들 중 제1 아바타는 아바타들의 스택의 상부 상에 디스플레이된다(6802). 예를 들어, 도 40s의 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3503) 및 메시지 입력 영역(3502)을 포함한다. 대화 트랜스크립트(3503)는 휴대용 다기능 디바이스(100-1)의 사용자 및 메시징 세션에 포함된 타 사용자들을 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자들 각각은 도 40s에서 아바타들의 스택(4002)의 상부에 디스플레이되는 아바타(예컨대, "Abe"에 대한 아바타(3510))에 의해 표현된다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 포커스 선택자가 제1 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안 터치 감응형 표면 상의 제1 접촉에 의한 입력을 검출한다 (예컨대, 제1 아바타의 위치에서 터치 감응형 디스플레이 상의 접촉에 의한 제스처를 검출하거나, 커서 또는 다른 포인터가 제1 아바타의 위치에 있는 동안 터치 감응형 표면 상의 접촉에 의한 제스처를 검출함). 예를 들어, 디바이스(100-1)는 도 40s에서, (예컨대, 아바타들(4002)의 스택의 상부 상에 디스플레이된) Abe의 아바타 상의 접촉(4030)을 포함하는 입력을 검출한다. 다른 예에서, 디바이스(100-1)는 도 40u에서 Mary Todd의 아바타(4008) 상의 접촉(4038)을 포함하는 입력을 검출한다.
제1 접촉에 의한 입력을 검출하는 것에 응답하여: 입력이 메뉴-활성화-기준들을 충족한다는 결정에 따라 - 메뉴-활성화-기준들은 메뉴-활성화-기준들이 충족되기 위해 터치 감응형 표면 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구함 -, 디바이스는 메시징 사용자 인터페이스 상에 오버레이된 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이한다(6806). 예를 들어, 도 40u와 도 40v 사이에서, 미리 결정된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하는 Mary Todd의 아바타(4008) 상의 접촉(4038)의 특성 세기의 증가를 검출하는 것에 응답하여, 디바이스(100-1)는 도 40v에서 Mary Todd와 직접 상호작용(예컨대, Mary Todd와만 상호작용)하기 위한 액션들(3884)들을 포함하는 액션 메뉴(3882)를 디스플레이한다.
제1 접촉에 의한 입력을 검출하는 것에 응답하여, 입력이 아바타-확산-기준들을 충족한다는 결정에 따라 - 아바타-확산-기준들은 선택 기준들이 충족되기 위해 터치 스크린상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않음 -, 디바이스는 복수의 아바타들을 어레이(예컨대, 실질적으로 또는 완전히 중첩되지 않는 어레이)로서 디스플레이한다(6906). 예를 들어, 접촉(4030)의 특성 세기가 미리 결정된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하지 않는 도 40s의 Abe의 아바타(3510) 상의 접촉(4030)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 도 40t에서 아바타 스택(4002) 내의 아바타들 - 예컨대, Abe의 아바타(3510), Mary Todd의 아바타(4008), Chuck의 아바타(4032), Issac의 아바타(4034) 및 Edwin의 아바타(4036) - 의 어레이를 디스플레이한다.
일부 실시예들에서, 제1 접촉의 특성(예컨대, 최대) 세기가 미리 정의된 세기 임계치를 충족했다는(예컨대, 제1 세기 임계치와 제2 세기 임계치 사이였다는) 결정에 따라, 디바이스는 아바타들의 스택의 상부 상의 제1 아바타의 디스플레이를 아바타들의 스택 상부 상의 복수의 아바타들의 제2 아바타의 디스플레이로 대체한다. 예를 들어, 도 40d와 도 40e 사이에서, 미리 결정된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하는 Abe의 아바타(3510) 상의 접촉(4006)의 특성 세기의 증가를 검출하는 것에 응답하여, 디바이스(100-1)는 도 40e 및 도 40f의 아바타들(4002)의 스택의 상부 상에 Mary Todd의 아바타(4008)를 디스플레이하기 위해 아바타들(4002)의 스택을 순환(예컨대, 전환 또는 셔플)한다(예컨대, Mary Todd의 아바타(4008)가 아바타들(4002)의 스택의 상부 상의 Abe의 아바타(3510)를 대체함).
일부 실시예들에서, 제1 접촉의 특성(예컨대, 최대) 세기가 미리 결정된 세기 임계치를 충족하지 못했다는(예컨대, 제2 세기 임계치와 제3 세기 임계치 사이였다는) 결정에 따라, 디바이스는 메시징 사용자 인터페이스 상에 오버레이된 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴를 디스플레이한다. 예를 들어, 접촉(4004)의 특성 세기가 미리 결정된 세기 임계치(예컨대, ITL 또는 ITD)를 충족하지 않는 도 40b의 Abe의 아바타(3510) 상의 접촉(4004)을 포함하는 입력을 검출하는 것에 응답하여, 도 40c에서, 디바이스(100-1)는 Abe와 직접 상호작용(예컨대, Abe와만 상호작용)하기 위한 액션들(3884)을 포함하는 액션 메뉴(3882)를 디스플레이한다.
일부 실시예들에서, 제2 세기 임계치는 제1 세기 임계치 초과이고, 제3 세기 임계치는 제2 세기 임계치 초과이다(예컨대, 아바타들을 순환하기 위한 탭 및 스택의 상부에 아바타에 대한 빠른 액션 메뉴를 호출하기 위한 가볍게 누르기 또는 깊게 누르기).
일부 실시예들에서, 제2 세기 임계치는 제1 세기 임계치 미만이고, 제3 세기 임계치는 제2 세기 임계치 미만이다(예컨대, 아바타들을 순환하기 위한 깊게 누르기 또는 가볍게 누르기 및 스택의 상부에 아바타에 대한 빠른 액션 메뉴를 호출하기 위한 탭).
일부 실시예들에서, 터치 감응형 표면 상의 탭 제스처의 검출 시 아바타-확산-기준들이 충족된다(6810). 예를 들어, 도 40s에 디스플레이된 아바타 스택(4002) 내의 아바타들(3510, 4008, 4032, 4034 및 4036)은 도 40s의 Abe의 아바타(3510) 상의 접촉(4030)을 포함하는 탭 제스처를 검출하는 것에 응답하여, 도 40t에서 확산된 어레이(예컨대, 실질적으로, 또는 완전히 중첩되지 않는 어레이)로서 디스플레이된다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴(예컨대, 도 40v의 액션 메뉴(3882))는 활성화될 때, 타 사용자와 디지털 그림들을 공유하기 위한 캔버스를 개시하는 메뉴 아이템(예컨대, 도 40v의 디지털 터치 액션(3884-5))을 포함한다(6812).
일부 실시예들에서, 제1 아바타(예컨대, 도 40v의 액션 메뉴(3882))와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 다만 제1 타 사용자와만 메시징을 개시하는 메뉴 아이템(도 40v의 메시지 액션(3884-3))을 포함한다(6814).
예를 들어, 일부 실시예들에서, 메시징 메뉴 아이템(예컨대, 활성화가능한 액션(3884-3))을 선택하는 것은 전자 디바이스로 하여금 전자 디바이스의 사용자와 제1 타 사용자 사이의 비공개 메시징 사용자 인터페이스를 디스플레이하게 한다. 예를 들어, 메시징 사용자 인터페이스(3500)가 디바이스(100-1)의 사용자(예컨대, "Andrew")와 복수의 타 사용자들 사이의 메시징 세션에 대응되는 대화 트랜스크립트(3503)를 디스플레이하는 동안 - 각각 도 38ay에서 아바타들(4002)의 스택 내의 아바타에 의해 표현됨 -, 도 38ay에서 활성화가능한 메시지 액션(3884-3) 상의 접촉(3886)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 도 38ay의 대화 트랜스크립트(3503)의 디스플레이를 도 38az에서 오직 Abe와 Andrew 사이의 메시징 세션에 대응되는 대화 트랜스크립트(3700)로 대체한다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴(예컨대, 도 40v의 액션 메뉴(3882))는 활성화될 때, 제1 타 사용자와 이메일을 개시하는 메뉴 아이템(예컨대, 도 40v의 메일 액션(3884-4))을 포함한다(6816).
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴(예컨대, 도 40v의 액션 메뉴(3882))는 활성화될 때, 제1 타 사용자와 전화 통화를 개시하는 메뉴 아이템(예컨대, 도 40v의 전화 통화 액션(3884-1))을 포함한다(6818).
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는(예컨대, 도 40v의 액션 메뉴(3882)) 활성화될 때, 제1 타 사용자와 화상 회의를 개시하는 메뉴 아이템(예컨대, 도 40v의 비디오 호출 액션(3884-2))을 포함한다(6820).
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴(예컨대, 도 40v의 액션 메뉴(3882))는 활성화될 때, 제1 타 사용자와 결제 액션을 개시하는 메뉴 아이템(예컨대, 도 40v의 결제 액션(3884-6))을 포함한다(6822).
도 68a 및 도 68b에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600 및 7000))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 68a 및 도 68b에 관하여 위에 설명된 방법(6800)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(6800)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600 및 7000))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 69는 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(6900)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 69에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 69에 도시된 바와 같이, 전자 디바이스(6900)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(6902); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(6904); 및 디스플레이 유닛(6902) 및 터치 감응형 표면 유닛(6904)과 결합된 프로세싱 유닛(6906)을 포함한다. 프로세싱 유닛(6906)은: 인에이블 유닛(6908) 및 검출 유닛(6910)을 포함함.
프로세싱 유닛(6906)은: 디스플레이 유닛(6902) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6908)을 이용함) 구성되며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 복수의 타 사용자들 사이의 메시징 세션의 대화 트랜스크립트, 메시지 입력 영역 및 복수의 아바타들을 포함하고, 복수의 아바타들 중 각자의 아바타 각각은 메시징 세션에 포함된 복수의 타 사용자들 중 각자의 타 사용자에 대응되고, 복수의 아바타들은 아바타들의 스택으로서 디스플레이되며, 복수의 아바타들 중 제1 아바타는 아바타들의 스택의 상부 상에 디스플레이된다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(6906)은 포커스 선택자가 제1 아바타에 대응되는 메시징 사용자 인터페이스 내의 제1 위치에 있는 동안, 터치 감응형 표면 유닛(6904) 상의 제1 접촉에 의한 입력을 검출하도록(예컨대, 검출 유닛(6910)을 이용함) 구성된다. 제1 접촉에 의한 입력을 검출하는 것에 응답하여: 입력이 메뉴-활성화-기준들을 충족한다는 결정에 따라 - 메뉴-활성화-기준들은 메뉴-활성화-기준들이 충족되기 위해 터치 감응형 표면 유닛(6904) 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구함 -, 프로세싱 유닛(6906)은 메시징 사용자 인터페이스 상에 오버레이된 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6908)을 이용함) 구성된다. 입력이 아바타-확산-기준들을 충족한다는 결정에 따라 - 아바타-확산-기준들은 선택 기준들이 충족되기 위해 터치 스크린 상의 접촉의 특성 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않음 -, 프로세싱 유닛(6906)은 복수의 아바타들의 어레이로서의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(6908)을 이용함) 구성된다.
일부 실시예들에서, 아바타-확산-기준들은 터치 감응형 표면 유닛 상의 탭 제스처의 검출 시 충족된다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 다른 사용자와 디지털 그림들을 공유하기 위한 캔버스를 개시하는 메뉴 아이템을 포함한다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 다만 제1 타 사용자와만 메시징을 개시하는 메뉴 아이템을 포함한다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 제1 타 사용자와 이메일을 개시하는 메뉴 아이템을 포함한다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 제1 타 사용자와 전화 통화를 개시하는 메뉴 아이템을 포함한다.
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 제1 타 사용자와 화상 회의를 개시하는 메뉴 아이템을 포함하고/하거나,
일부 실시예들에서, 제1 아바타와 연관된 활성화가능한 메뉴 아이템들을 포함하는 메뉴는 활성화될 때, 제1 타 사용자와 결제 액션을 개시하는 메뉴 아이템을 포함한다.
도 68a 및 도 68b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 69에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작(6804) 및 디스플레이 동작(6806)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
메시징 세션 내의 제안하기(Making suggestions in a messaging session)
도 70a 및 도 70b는 일부 실시예들에 따른, 메시징 세션 내의 추가적인 정보를 디스플레이하는 방법(7000)을 예시하는 흐름도들이다. 방법(7000)은 디스플레이, 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들을 구비한 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(7000)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
아래에서 설명되는 바와 같이, 방법(7000)은 메시징 세션 내의 추가적인 정보를 디스플레이하기 위한 직관적인 방법을 제공한다. 방법은 메시징 세션 내의 추가적인 정보를 디스플레이하는 경우에 사용자로부터의 입력들의 수, 범위 및/또는 성질을 감소시킴으로써 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스의 경우, 사용자가 메시징 세션 내의 추가적인 정보를 보다 빠르고 보다 효율적으로 디스플레이할 수 있게 함으로써 전력을 절약하며 배터리 충전 간격을 증가시킨다.
디바이스는 디스플레이 상에 메시징 애플리케이션의 메시징 사용자 인터페이스를 디스플레이하고, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 (예컨대, 다른 전자 디바이스의) 적어도 하나의 타 사용자 사이의 메시징 세션의 (예컨대, 디스플레이의 제1 영역 내에 디스플레이된) 대화 트랜스크립트 및 메시지 입력 영역을 포함한다(7002). 예를 들어, 도 41a 및 도 41c의 메시징 사용자 인터페이스(3500)는 대화 트랜스크립트(3503) 및 메시지 입력 영역(3502)을 포함한다.
메시징 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 (예컨대, 제2) 전자 디바이스로부터 제1 메시지를 수신한다(7004). 예를 들어, 도 41a에서 디바이스(100-1)는 Mary Todd로부터 메시지(4102)를 수신한다.
제1 메시지를 수신하는 것에 응답하여, 디바이스는: 디스플레이 상의 대화 트랜스크립트 내의 제1 메시지 구역(예컨대, 버블) 내에 제1 메시지를 디스플레이한다(7006)(예컨대, 메시지(4102)는 도 41a의 트랜스크립트(3503) 내의 메시지 구역 내에 디스플레이됨).
제1 메시지를 수신하는 것에 응답하여, 디바이스는: 제1 메시지 내에서, 인터넷 상에서 이용가능한 추가적인 콘텐츠(예컨대, 검출된 비즈니스/레스토랑, 음악, 영화, 텔레비전 쇼, 현재 이벤트, 공인 인물, 정치가, 유명 인사, 대학, 운동 선수, 스포츠 이벤트 또는 스포츠 리그/팀에 관한 정보)와 연관된 단어 또는 구문을 검출한다(7006). 예를 들어, 디바이스(100-1)는 도 41a에서 구문 "Meteorite Catcher"(4101)를 영화의 제목으로 인식한다. 일부 실시예들에서, 디바이스는 디바이스의 메모리에 저장되고/되거나, 원격으로 저장된 데이터 검출기를 사용한다. 일부 실시예들에서, 디바이스는 수신된 메시지들의 단어/구문을 메모리 또는 디바이스 내에 저장되고/되거나 원격으로 저장된 단어 및/또는 구문의 미리 정의된 목록과 비교한다.
인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하는 것에 응답하여, 디바이스는: 단어 또는 구문과 연관된 추가적인 콘텐츠가 이용가능하다는 선택가능한 표시(예컨대, "see local show times,", "make a reservation now"와 같은 추가적인 콘텐츠와 관련되는 선택가능한 텍스트)를 제1 메시지 구역에 근접하게(예컨대, 버블; 예를 들어, 메시지 바로 위 또는 아래) 디스플레이한다(7006). 예를 들어, 영화의 제목으로 "Meteorite Catcher"(4101)라는 구문을 인식 하는 것에 응답하여, 디바이스(100-1)는 도 41a에서 메시지(4102) 아래에 선택가능한 표시(4104)("See movie info")를 디스플레이한다.
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 영화와 연관되며(예컨대, 영화 제목, 영화에 나온 구별되는 또는 컨텍스트 식별가능한 등장인물 이름, 또는 "show me the money"와 같은 영화의 유명한 대사), 추가적인 콘텐츠는 영화에 대한 바이오그래피 데이터(예컨대, 배우/여배우의 이름, 영화의 길이, 영화가 발매된 해, 또는 영화를 제작 및/또는 배포한 영화사), 영화의 로컬 공연에 대한 정보(예컨대, 쇼 타임, 극장 정보 또는 티켓 구매 링크), 영화에 대한 평점 정보(예컨대, 개별적이거나 컴파일링된 평론 또는 사용자 기여 평점), 및/또는 영화에 대한 멀티미디어 콘텐츠(예컨대, 무비 클립, 스트리밍 수행 또는 오디오 클립)를 포함한다(7008).
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 텔레비전 쇼와 연관되며(예컨대, 쇼 제목, 쇼에서 나온 구별되는 또는 컨텍스트 식별가능한 등장인물 이름, 또는 "don't have a cow, man"과 같은 식별가능한 캐치 프레이즈), 추가적인 콘텐츠는 쇼에 대한 바이오그래피 데이터(예컨대, 배우/여배우의 이름, 시리즈의 길이, 네트워크에 대한 정보, 채널 및/또는 쇼가 방송되는 시간; 또는 쇼를 제작한 네트워크), 쇼에 대한 평점 정보(예컨대, 개별적이거나 컴파일링된 평론 또는 사용자 기여 평점 및/또는 쇼에 대한 멀티미디어 콘텐츠(예컨대, 쇼 클립, 스트리밍 수행 또는 오디오 클립)를 포함한다(7010).
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 노래 또는 앨범과 연관되며(예컨대, 노래 또는 앨범 제목, 아티스트 이름, 또는 "bye, bye, Miss American Pie"와 같은 노래 또는 앨범으로부터의 식별가능한 글귀), 추가적인 콘텐츠는 노래 또는 앨범에 대한 바이오그래피 데이터(예컨대, 노래 또는 앨범의 아티스트, 작곡가 또는 제작자의 이름, 노래 또는 앨범의 길이, 앨범 상의 노래들, 노래 또는 앨범이 발매된 해, 또는 노래 또는 앨범을 제작 및/또는 배포한 스튜디오), 노래 또는 앨범에 대한 등급 정보(예컨대, 개별적이거나 컴파일링된 평론 또는 사용자 기여 평점) 및/또는 노래 또는 앨범에 관한 멀티미디어 콘텐츠(예컨대, 오디오 클립 또는 스트리밍 수행)를 포함한다(7012).
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 비즈니스와 연관되며(예컨대, 레스토랑, 스토어, 살롱 또는 골프 코스와 같은 특정 유형의 비즈니스, 비즈니스 이름, 구별되는 또는 콘텍스트 식별가능한 고용인/고용주 이름, 또는 "pizza, pizza"와 같은 식별가능한 슬로건), 추가적인 콘텐츠는 비즈니스에 대한 바이오그래피 데이터(예컨대, 주소, 지역 거리 지도, 전화 번호, 이메일 주소 또는 비즈니스 시간), 비즈니스에 대한 등급 정보(예컨대, 평론 또는 사용자 기여 평점(개별적 또는 컴파일링됨)) 및/또는 비즈니스에 대한 대화형 콘텐츠(예컨대, 웹사이트, 대화형 주문 플랫폼 또는 비즈니스와 연관된 대화형 애플리케이션)를 포함한다(7014). 일부 실시예들에서, 비즈니스는 특정 비즈니스, 예컨대, 특정 레스토랑이다. 일부 실시예들에서, 비즈니스는 비즈니스 클래스, 예컨대, 레스토랑이다.
일부 실시예들에서, 디바이스(7016)는 선택가능한 표시를 활성화하는 입력을 검출하고(예컨대, 선택가능한 표시 상의 탭 제스처를 검출함), 선택가능한 표시를 활성화하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내의 추가적인 콘텐츠를 디스플레이한다(예컨대, 메시지 버블 아래에 인터넷으로부터의 추가적인 콘텐츠를 갖는 드롭 다운 창을 디스플레이함). 예를 들어, 도 41b에서 선택가능한 표시(4104) 상의 접촉(4106)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 인터넷 상에서 이용가능한 영화 "Meteorite Catcher"에 관한 추가적인 정보(예컨대, 영화 포스터(4110) 및 바이오그래피 정보(4112))를 포함하는 영역(4108)을 디스플레이한다(예컨대, 디바이스(100-1)는 검출된 구문과 관련된 선택된 인터넷 검색 결과를 디스플레이함).
일부 실시예들에서, 추가적인 콘텐츠는 검출된 단어 또는 구문과 연관된 웹 콘텐츠에 대한 링크(예컨대, 대화 트랜스크립트 내에서 뷰잉할 수 있고/있거나 게시될 수 있는 영화 웹사이트에 대한 링크 또는 디지털 비디오에 대한 링크)를 포함한다.
일부 실시예들에서, 활성화가능한 표시는 수신된 메시지의 디스플레이 내의 인식된 단어 또는 구문의 양식화된 디스플레이(예컨대, 인식된 단어 또는 구문의 하이라이팅 또는 채색)이다.
일부 실시예들에서, 디바이스는 인터넷 상에서 이용가능한 추가적인 콘텐츠(예컨대, 검출된 비즈니스/레스토랑, 음악, 영화, 텔레비전 쇼, 현재 이벤트, 공인 인물, 정치가, 유명 인사, 대학, 운동 선수, 스포츠 이벤트 또는 스포츠 리그/팀에 관한 정보)와 연관된 단어 또는 구문을 제1 메시지 내에서 검출한다. 예를 들어, 디바이스(100-1)는 도 41d에서 수신된 메시지(4114) 내의 구문 "Astron Omer"(4103)를 배우의 이름으로 인식한다. 일부 실시예들에서, 디바이스는 디바이스의 메모리에 저장되고/되거나, 원격으로 저장된 데이터 검출기를 사용한다. 일부 실시예들에서, 디바이스는 수신된 메시지들의 단어/구문을 메모리 또는 디바이스 내에 저장되고/되거나 원격으로 저장된 단어 및/또는 구문의 미리 정의된 목록과 비교한다.
일부 실시예들에서, 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하는 것에 응답하여, 디바이스는 메시지 구역 내의 단어 또는 구문을 양식화하고, 메시지 구역 내의 단어 또는 구문의 활성화를 인에이블한다. 예를 들어, 구문 "Astron Omer"(4103)를 배우의 이름으로 인식하는 것에 응답하여, 디바이스(100-1)는 도 41d에서 메시지(4114) 내의 "Astron Omer"의 하이라이팅(4116)을 디스플레이한다.
일부 실시예들에서, 디바이스는 메시지 구역 내의 양식화된 단어 또는 구문을 활성화하는 입력을 검출하고(예컨대, 하이라이팅된 단어 또는 구문 상의 탭 제스처를 검출함), 이에 응답하여, 메시징 사용자 인터페이스의 디스플레이를 복수의(예컨대, 카테고리화된) 검색 결과들을 포함하는, 검출된 단어 또는 구문의 인터넷 검색에 대한 인터넷(및/또는 메모리) 검색 사용자 인터페이스의 디스플레이로 대체한다. 예를 들어, 도 41e에서 양식화된 구문 "Astron Omer," 상의 접촉(4118)을 포함하는 입력을 검출하는 것에 응답하여, 디바이스(100-1)는 메시징 사용자 인터페이스의 디스플레이를 검출된 구문 "Astron Omer"(4103)의 인터넷 검색에 대한 도 41f의 인터넷 검색 사용자 인터페이스(3661)의 디스플레이로 대체한다. 인터넷 검색 사용자 인터페이스(3661)는 구문 "Astron Omer"(4103)와 관련된 복수의 카테고리화된 검색 결과들(예컨대, 뉴스 기사들(3664, 3678, 3680) 및 영화 예고편들(3670, 3682 및 3684))을 포함함.
일부 실시예들에서, 디바이스는 인터넷(및/또는 메모리) 검색 사용자 인터페이스의 복수의 검색 결과들 중 제1 검색 결과 상의 입력을 검출하고, 이에 응답하여, 인터넷(및/또는 메모리) 검색 사용자 인터페이스의 디스플레이를 메시징 사용자 인터페이스로 대체하고, 메시징 사용자 인터페이스의 대화 트랜스크립트 내에 제1 검색 결과의 표현을 디스플레이하고, 메시징 세션 내의 타 사용자들과 연관된 하나 이상의 전자 디바이스들로 제1 검색 결과의 표현을 송신한다(예컨대, 검색 결과를 메시징 세션에 게시함).
예를 들어, 디바이스(100-1)는 도 41g의 검색 결과(3670) 상의 접촉(4120)을 포함하는 입력을 검출하고, 이에 응답하여, 인터넷 검색 인터페이스(3661)를 검색 결과(3670)의 표현을 디스플레이하는 대화 트랜스크립트(3503)를 포함하는 메시징 사용자 인터페이스(3500)로 대체한다.
도 70a 및 도 70b에서의 동작들이 설명된 특정 순서는 단지 예시적인 것이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600 및 6800))에 대해 본 명세서에 설명된, 다른 프로세스들의 상세사항들이 또한 도 70a 및 도 70b에 관하여 위에 설명된 방법(7000)에 유사한 방식으로 적용 가능하다는 것에 주목하여야 한다. 예를 들어, 방법(7000)을 참조하여 전술한 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은 옵션적으로 본 명세서에서 설명된 다른 방법들(예컨대, 방법들(600, 800, 1000, 1200, 1400, 1600, 1800, 2100, 2400, 2600, 2800, 3100, 3300, 4200, 4400, 4600, 4800, 5000, 5200, 5400, 5600, 5800, 6000, 6200, 6400, 6600 및 6800))을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 촉각 출력들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 71은 설명된 다양한 실시예들의 원리들에 따라 구성된 전자 디바이스(7100)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 옵션적으로, 설명된 다양한 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 설명된 다양한 실시예들의 원리들을 구현하기 위해 도 71에서 설명된 기능 블록들이 옵션적으로 조합되거나 서브-블록들로 분리될 수 있음이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 설명된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 71에 도시된 바와 같이, 전자 디바이스(7100)는 사용자 인터페이스들을 디스플레이하도록 구성된 디스플레이 유닛(7102); 접촉들을 검출하도록 구성된 터치 감응형 표면 유닛(7104); 및 디스플레이 유닛(7102) 및 터치 감응형 표면 유닛(7104)과 결합된 프로세싱 유닛(7106)을 포함하며, 프로세싱 유닛(7106)은 검출 유닛(7108), 수신 유닛(7110), 및 검출 유닛(7112)을 포함한다.
프로세싱 유닛(7106)은: 디스플레이 유닛(7102) 상에 메시징 애플리케이션의 메시징 사용자 인터페이스의 디스플레이를 인에이블하도록 구성되며(예컨대, 인에이블 유닛(7108)을 이용함), 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및 메시지 입력 영역을 포함한다. 메시징 사용자 인터페이스를 디스플레이하는 동안, 프로세싱 유닛(7106)은 메시징 세션 내에서 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 제1 메시지를 수신하도록(예컨대, 수신 유닛(7110)을 이용함) 구성된다. 제1 메시지를 수신하는 것에 응답하여: 프로세싱 유닛(7106)은 디스플레이 유닛(7102) 상의 대화 트랜스크립트 내의 제1 메시지 구역 내에서 제1 메시지의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(7108)을 이용함) 구성된다. 프로세싱 유닛(7106)은, 제1 메시지 내에서, 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하도록(예컨대, 검출 유닛(7112)을 이용함) 구성된다. 인터넷 상에서 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문을 검출하는 것에 응답하여, 프로세싱 유닛(7106)은 제1 메시지 구역에 근접하게, 단어 또는 구문과 연관된 추가적인 콘텐츠가 이용가능하다는 선택가능한 표시의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(7108)을 이용함) 구성된다.
일부 실시예들에서, 프로세싱 유닛(7106)은: 선택 가능한 표시를 활성화하는 입력을 검출하고(예컨대, 검출 유닛(7112)을 이용함); 선택가능한 표시를 활성화하는 입력을 검출하는 것에 응답하여, 대화 트랜스크립트 내에서 추가적인 콘텐츠의 디스플레이를 인에이블하도록(예컨대, 인에이블 유닛(7108)을 이용함) 더 구성된다.
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 영화와 연관되며, 추가적인 콘텐츠는 영화에 관한 바이오그래피 데이터, 영화의 지역 공연에 관한 정보, 영화에 대한 등급 정보 및/또는 영화에 관한 멀티미디어 콘텐츠를 포함한다.
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 텔레비전 쇼와 연관되며, 추가적인 콘텐츠는 쇼에 관한 바이오그래피 데이터, 쇼에 관한 등급 정보 및/또는 쇼에 관한 멀티미디어 콘텐츠를 포함한다.
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 노래 또는 앨범과 연관되며, 추가적인 콘텐츠는 노래 또는 앨범에 관한 바이오그래피 데이터, 노래 또는 앨범에 관한 등급 정보, 및/또는 노래 또는 앨범에 대한 멀티미디어 콘텐츠를 포함한다.
일부 실시예들에서, 이용가능한 추가적인 콘텐츠와 연관된 단어 또는 구문은 비즈니스와 연관되며, 추가적인 콘텐츠는 비즈니스에 관한 바이오그래피 데이터, 비즈니스에 관한 등급 정보 및/또는 비즈니스에 관한 대화형 콘텐츠를 포함한다.
도 70a 및 도 70b를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b 또는 도 71에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작(7016)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
메시지들 내의 애플리케이션들 사이로의 내비게이션(Navigation between Applications in Messages)
도 72a 내지 도 72r은 일부 실시예들에 따른, 메시징 사용자 인터페이스 내에 디스플레이된 애플리케이션 사용자 인터페이스를 사용하여 애플리케이션들 사이를 내비게이션하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 73a 내지 도 73d에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 72a 내지 도 72fm은 메시징 애플리케이션에 대한 예시적인 사용자 인터페이스(7200)를 예시한다. 도 72a에서, 사용자 인터페이스(7200)는 대화 트랜스크립트(7202), 메시지 입력 영역(7204), 활성화가능한 디지털 이미지 어포던스(7206), 애플리케이션 어포던스(7208) 및 애플리케이션 영역(7210)을 포함한다. 대화 트랜스크립트(7202)는 휴대용 다기능 디바이스(100)의 사용자 및 메시징 세션에 포함된 다른 사용자를 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함한다. 메시징 트랜스크립트에 포함된 타 사용자는 아바타로 표현된다(예컨대, "Abe"에 대한 아바타(7210)). 메시지(7212)는 Abe로 식별된 사용자에 의해 동작되는 원격 디바이스로부터 디바이스(100)에 의해 수신된 메시지이고, 메시지(7214)는 디바이스(100)에 의해 Abe에 의해 동작되는 원격 디바이스로 송신된 메시지이다. 도 72a에서, 애플리케이션 영역(7210)은 키보드(7212)를 디스플레이한다.
도 72b에서, 포커스 선택자(7220)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 어포던스(7208)에 대응되는 위치에서 검출된다. 이 입력에 응답하여, 도 72b의 애플리케이션 영역(7210)에 도시된 키보드(7212)는 도 72c에 도시된 바와 같이, 애플리케이션 입력 영역(7222) 및 애플리케이션 선택 영역(7224)에 의해 대체된다. 도 72b로부터 도 72c까지, 애플리케이션 어포던스(7208)의 외관은 애플리케이션 모드가 활성임을 표시하기 위해 변경되었다. 애플리케이션 선택 영역(7224)은 애플리케이션 구성 어포던스(7226) 및 (틱-택-토 애플리케이션을 선택하기 위한) 애플리케이션 선택 어포던스(7228), (현재-디스플레이된 음악 애플리케이션에 대한) 7230 및 (스티커 애플리케이션을 선택하기 위한) 7232를 포함한다. 애플리케이션 구성 어포던스(7226)는 또한 본 명세서에서 애플리케이션 선택 어포던스로서 지칭된다. 애플리케이션 입력 영역(7222)은 (예컨대, 원격 디바이스로 송신할 음악 트랙 정보를 선택하기 위한) 애플리케이션 객체들(7234, 7236, 7238 및 7240)을 포함한다.
도 72d 내지 도 72g에서, 포커스 선택자(7242)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 스크롤 입력)이 검출된다. 포커스 선택자(7242)가 화살표(7244)로 표시된 경로를 따라 (도 72d에 도시된 바와 같이) 애플리케이션 선택 영역(7224) 상의 제1 위치로부터 (도 72e에 도시된 바와 같이) 애플리케이션 선택 영역(7224) 상의 제2 위치로 이동함에 따라, 애플리케이션 선택 객체들(7228, 7230 및 7232)의 크기는 증가하고, 애플리케이션 구성 어포던스(7226)는 더 이상 도 72e에 디스플레이되지 않는다. 도 72e 및 도 72f에 도시된 바와 같이, 포커스 선택자(7242)가 애플리케이션 선택 영역(7224)을 가로질러 이동하는 것을 계속함에 따라, 애플리케이션 선택 어포던스(7228)는 더 이상 디스플레이되지 않고 애플리케이션 선택 어포던스(7246)가 노출된다. 포커스 선택자(7242)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프하는 경우, 도 72f 및 도 72g에 도시된 바와 같이, 애플리케이션 선택 어포던스들의 크기들이 축소되고, 도 72g에서 추가적인 애플리케이션 선택 어포던스(7248)가 노출된다.
도 72h에서, 포커스 선택자(7250)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예를 들어, 탭 입력)이 애플리케이션 선택 어포던스(7246)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72h의 애플리케이션 입력 영역(7222) 내에 디스플레이된 음악 애플리케이션에 대한 애플리케이션 객체들(7234 내지 7240)은 도 72i에 도시된 바와 같은 (예컨대, 원격 디바이스로 송신하기 위한 예약 정보를 선택하기 위한) 예약 애플리케이션의 애플리케이션 객체들(7252 및 7254)에 의해 대체된다.
도 72j 내지 도 72l은 포커스 선택자(7256)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 상향 드래그 입력)을 예시한다. 포커스 선택자(7256)는 화살표(7258)로 표시된 경로를 따라 셰브론(chevron)(7260)에 대응되는 제1 위치로부터 이동한다. 입력은 셰브론(7260)을 상향으로 드래그하여, 도 72j 및 도 72k에 도시된 바와 같이 애플리케이션 입력 영역(7222)이 대화 트랜스크립트(7202) 위로 확장하게 함으로써, 도 72l에서 애플리케이션 입력 영역(7222)이 대화 트랜스크립트(7202)를 커버한다. 도 72m 및 도 72n은 포커스 선택자(7262)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 상향 스와이프 입력)을 예시한다. 입력은 셰브론(7260)을 하향으로 드래그하여, 애플리케이션 입력 영역(7222)의 길이가 원래 크기로 감소하게 한다.
도 72o에서, 포커스 선택자(7264)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 어포던스(7208)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72o의 애플리케이션 영역(7210) 내에 도시된 애플리케이션 입력 영역(7222) 및 애플리케이션 선택 영역(7224)은 도 72p에 도시된 바와 같이 키보드(7212)로 대체된다.
도 72q에서, 포커스 선택자(7266)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 어포던스(7208)에 대응되는 위치에서 검출된다. 이 입력에 응답하여, 도 72q의 애플리케이션 영역(7210) 내에 도시된 키보드(7212)는 애플리케이션 입력 영역(7222) 및 애플리케이션 선택 영역(7224)으로 대체된다. 도 72o에서, 애플리케이션 선택 어포던스들(7230, 7232, 7246 및 7248)은 애플리케이션 선택 영역(7224) 내에 디스플레이된다. 도 72o 및 도 72p에 도시된 키보드(7212)를 디스플레이하는 것으로의 전이, 뒤이어 도 72q 및 도 72r에 도시된 애플리케이션 입력 영역(7222) 및 애플리케이션 선택 영역(7224)을 디스플레이하는 것으로의 전이는, 도 72r에서, 원래 디스플레이된 애플리케이션 선택 어포던스들(7226, 7228, 7230)의 세트가 애플리케이션 선택 영역(7224) 내에 재-디스플레이되게 한다.
메시지 내의 애플리케이션 관리 인터페이스들(Application Management Interfaces in Messages)
도 72s 내지 도 72ao는 일부 실시예들에 따른, 메시징 애플리케이션 내에서 사용되는 애플리케이션들을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 74a 내지 도 74d에서의 프로세스들을 비롯한, 아래에서 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 72s에서, 포커스 선택자(7268)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예를 들어, 탭 입력)이 애플리케이션 구성 어포던스(7226)에 대응되는 위치에서 검출된다. 이 입력에 응답하여, 도 72t에 도시된 바와 같이, 메시지 애플리케이션 설치/삭제 인터페이스(7270)가 디스플레이된다. 메시지 애플리케이션 설치/삭제 인터페이스(7270)는 디바이스(100) 상에 설치된 애플리케이션에 대한 애플리케이션 관리 목록들을 포함하며, 이들은 애플리케이션 선택 어포던스(7228)에 의해 표현된 틱-택-토 애플리케이션에 대응되는 애플리케이션 관리 목록(7272), 애플리케이션 선택 어포던스(7230)에 의해 표현된 음악 애플리케이션에 대응되는 애플리케이션 관리 목록(7274), 애플리케이션 선택 어포던스(7232)에 의해 표현된 스티커 애플리케이션에 대응되는 애플리케이션 관리 목록(7276), 애플리케이션 선택 어포던스(7246)에 의해 표현된 예약 애플리케이션에 대응되는 애플리케이션 관리 목록(7278), 애플리케이션 선택 어포던스(7248)에 의해 표현된 피자 빌더 애플리케이션에 대응되는 애플리케이션 관리 목록(7280), 및 메시징 사용자 인터페이스(7200) 내의 선택가능한 애플리케이션들에 대응되는 추가적인 애플리케이션 관리 목록들(7282 및 7284)을 포함한다.
도 72u에서, 포커스 선택자(7288)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)은 애플리케이션 목록(7272)의 삭제 어포던스(7273)에 대응되는 위치에서 검출된다. 입력에 응답하여(또는 삭제를 확인하기 위한 또 다른 탭 입력과 같은 제2 입력에 응답하여), 도 72v에 도시된 바와 같이, 애플리케이션 목록(7272)에 대응되는 틱-택-토 애플리케이션의 메시징 애플리케이션 컴포넌트가 삭제된다. 일부 실시예들에서, 시청하기 컴포넌트 및/또는 콘텐츠 공유 컴포넌트와 같은 애플리케이션 목록(7272)에 대응되는 틱-택-토 애플리케이션의 다른 애플리케이션 컴포넌트들 또한 삭제된다. 틱-택-토 애플리케이션 컴포넌트가 삭제되는 경우, 도 72ao에 도시된 바와 같이, 틱-택-토 애플리케이션 선택 어포던스(7228)는 애플리케이션 선택 영역(7224) 내에 더 이상 디스플레이되지 않는다.
도 72w에서, 포커스 선택자(7292)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)은 메시지 애플리케이션 설치/삭제 인터페이스(7270)의 검색 입력 영역(7290)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72x에 표시된 바와 같이, 검색 인터페이스 영역(7294) 및 키보드(7212)가 메시지 애플리케이션 설치/삭제 인터페이스(7270) 내에 디스플레이된다.
도 72y에서, 검색 입력(7296)이 검색 입력 영역(7290) 내에 입력되었고, 포커스 선택자(72100)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력이 검색 어포던스(7298)에 대응되는 위치에서 검출된다. 접촉에 의한 입력에 응답하여, 도 72z에 도시된 바와 같이, (타이니 트랜짓(tiny transit) 애플리케이션에 대한) 검색 결과들(72102) 및 (트랜짓 지도 애플리케이션에 대한) 72104가 검색 인터페이스 영역(7294) 내에 디스플레이된다.
도 72z에서, 포커스 선택자(72108)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 설치 어포던스(72106)에 대응되는 위치에서 검출된다. 입력에 응답하여(또는 설치를 확인하기 위한 다른 탭 입력과 같은 제2 입력에 응답하여), 메시지들에 대한 타이니 트랜짓 애플리케이션이 설치되고, 메시지 애플리케이션 설치/삭제 인터페이스(7270)가 재-디스플레이되며, 메시지들에 대한 타이니 트랜짓 애플리케이션에 대한 애플리케이션 관리 목록(72110)이 도 72aa에 도시된 바와 같이, 메시지 애플리케이션 설치/삭제 인터페이스(7270) 내에 디스플레이된다.
도 72ab에서, 포커스 선택자(72114)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 수정 인터페이스(72116)를 디스플레이하기 위한 어포던스(72112)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72ac에 도시된 바와 같이, 애플리케이션 수정 인터페이스(72116)가 디스플레이된다. 애플리케이션 수정 인터페이스(72116)는 디바이스(100) 상에 설치된 메시징 애플리케이션들에 대한 토글 제어들(예컨대, 토글 제어(72122)) 및 재배열 제어들(예컨대, 재배열 제어(72124))을 디스플레이한다.
도 72ad에서, 포커스 선택자(72122)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 관리 목록(7276)에 대한 토글 제어(72118)에 대응되는 위치에서 검출된다. 입력에 응답하여, 스티커 애플리케이션 관리 목록(7276)에 대응되는 메시지들에 대한 스티커 애플리케이션은 (예컨대, 도 72ae의 토글 제어(72112)의 변경된 외관에 의해 표시된 바와 같이) 디스플레이된 상태로부터 은폐된 상태로 조정된다. 메시지들에 대한 스티커 애플리케이션의 상태가 은폐된 상태인 경우, 메시지들에 대한 스티커 애플리케이션에 대응되는 스티커 애플리케이션 선택 어포던스(7232)가 애플리케이션 선택 영역(7224) 내에 디스플레이되는 것이 중지된다(예컨대, 도 72ao에 도시된 바와 같음).
도 72af에서, 포커스 선택자(72124)에 의해 표시된 바와 같이 재배열 입력(예컨대, 드래그 입력)이 터치 스크린(112) 상의 접촉에 의해 검출된다. 재배열 입력은 (예컨대, 포커스 선택자(72124)가 임계치 기간을 초과하여 증가된 지속기간 동안 재배열 제어(72120)에 대응되는 위치에 근접하게 유지된 후에) 애플리케이션 관리 목록(72110)을 선택하고, 도 72af 내지 도 72aj에 도시된 바와 같이, 애플리케이션 관리 목록(72110)을 새로운 위치로 상향 드래그한다. 도 72ak에서, 포커스 선택자(72124)에 의해 표시된 접촉이 터치 스크린으로부터 리프트 오프된다. 접촉의 터치 스크린(112)으로부터의 리프트 오프에 응답하여, 재배열 입력이 재배열 기준들을 충족했다는 결정에 따라(예컨대, 포커스 선택자(72124)의 이동이 임계 거리를 초과하여 증가됨), 애플리케이션 관리 목록(72110)은 새로운 위치 내에 드롭된다. 재배열 입력의 결과로서, 애플리케이션 관리 목록(72110)에 대응되는 타이니 트랜짓 애플리케이션에 대한 애플리케이션 선택 어포던스(72126)는 음악 애플리케이션에 대한 애플리케이션 선택 어포던스(7230)와 예약 애플리케이션에 대한 애플리케이션 선택 어포던스(72128) 사이의 애플리케이션 선택 영역(7224) 내에 디스플레이된다(예컨대, 도 72ao 참조).
도 72al에서, 포커스 선택자(72132)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 수정 인터페이스(72116)를 나가기 위한 어포던스(72130)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72am에 도시된 바와 같이, 애플리케이션 설치/삭제 인터페이스(7270)가 재-디스플레이된다.
도 72an에서, 포커스 선택자(72136)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 설치/삭제 인터페이스(7270)를 나가기 위한 어포던스(72134)에 대응되는 위치에서 검출된다. 입력에 응답하여, 대화 트랜스크립트(7202) 및 애플리케이션 영역(7210)이 도 72ao에 도시된 바와 같이, 메시징 사용자 인터페이스(7200) 내에 재-디스플레이된다.
메시지 번역(Message Translation)
도 72ap 내지 도 72di는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들에서의 사용자 인터페이스들은 도 75a 내지 도 75d 및 도 76a 내지 도 76c에서의 프로세스들을 포함하는 아래에서 설명되는 프로세스들을 예시하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 72ap에 도시된 메시징 사용자 인터페이스(7200)의 대화 트랜스크립트(7202) 내에서, 메시지 버블들(72138, 72142 및 72144)은 디바이스(100)의 모국어 설정과 일치하는 언어의 메시지 텍스트를 가지며, 메시지 버블(72140)은 디바이스(100)에 의해 수신된 외국어 텍스트(72146)를 포함하는 메시지를 디스플레이한다.
도 72aq에서, 포커스 선택자(72148)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72ar에 도시된 바와 같이, 외국어 텍스트(72146)는 메시지 버블(72140) 내의 외국어 텍스트의 번역(72150)에 의해 대체되었다.
도 72as에서, 포커스 선택자(72152)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72at에 도시된 바와 같이, 번역(72150)은 메시지 버블(72140) 내의 원래의 외국어 텍스트(72146)로 대체되었다.
도 72au에서, 포커스 선택자(72154)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 도 72av에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가되었다. 입력에 응답하여, 메뉴(72156)가 디스플레이된다. 메뉴(72156)는 72158에 표시된 바와 같이 번역 옵션을 포함한다. 도 72aw에서, 포커스 선택자(72154)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된 후에 메뉴(72156)는 디스플레이된 채로 유지된다.
도 72ax에서, 포커스 선택자(72160)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 번역 옵션(72158)에 대응되는 위치에서 검출된다(72155). 이 입력에 응답하여, 도 72ay에 도시된 바와 같이, 외국어 텍스트(72146)는 메시지 버블(72140) 내의 외국어 텍스트의 번역(72150)으로 대체되었다. 도 72ay에서, 메뉴(72156) 내의 번역 옵션(72158)의 상태는 도 72ax에 도시된 "번역" 상태로부터 "번역 취소"상태로 토글되었다.
도 72az에서, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 포커스 선택자(72162)에 의해 도시된 위치(예컨대, 메시징 사용자 인터페이스(7200) 내에 디스플레이된 어포던스들(예컨대, 메시지들, 플래터들 및/또는 메뉴들) 중 임의의 것에 대응되지 않는 위치)에서 검출된다. 입력에 응답하여, 도 72ba에 도시된 바와 같이, 메뉴(72156)는 디스플레이되는 것이 중지된다.
도 72bb에서, 포커스 선택자(72164)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 도 72bc에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가되었다. 입력에 응답하여, 번역 옵션(72158)을 "번역 취소" 상태로 갖는 메뉴(72156)가 디스플레이된다. 도 72bd에서, 포커스 선택자(72164)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된 후에 메뉴(72156)는 디스플레이된 채로 유지된다.
도 72be에서, 포커스 선택자(72166)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 번역 옵션(72158)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72bf에 도시된 바와 같이, 번역(72150)은 메시지 버블(72140) 내의 외국어 텍스트(72146)에 의해 대체되었다. 도 72bf에서, 메뉴(72156)의 번역 옵션(72158)의 상태는 "번역" 상태로 다시 토글되었다.
도 72bg에서, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 포커스 선택자(72168)에 의해 도시된 위치(예컨대, 메시징 사용자 인터페이스(7200) 내에 디스플레이된 어포던스들(예컨대, 메시지들, 플래터들 및/또는 메뉴들) 중 임의의 것에 대응되지 않는 위치)에서 검출된다. 입력에 응답하여, 도 72bh에 도시된 바와 같이, 메뉴(72156)는 디스플레이되는 것이 중지된다.
도 72bj에서, 포커스 선택자(72170)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72142)에 대응되는 위치에서 검출된다. 도 72bk에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가되었다. 입력에 응답하여, 메뉴(72156)가 디스플레이된다. 메시지 버블(72142) 내의 텍스트(72172)는 외국어 텍스트를 포함하지 않으므로 메뉴(72156)는 번역 옵션을 포함하지 않는다.
도 72bl에서, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 포커스 선택자(72174)에 의해 도시된 위치(예컨대, 메시징 사용자 인터페이스(7200) 내에 디스플레이된 어포던스들(예컨대, 메시지들, 플래터들 및/또는 메뉴들) 중 임의의 것에 대응되지 않는 위치)에서 검출된다. 입력에 응답하여, 도 72bm에 도시된 바와 같이, 메뉴(72156)는 디스플레이되는 것이 중지된다.
도 72bj에서, 포커스 선택자(72170)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72142)에 대응되는 위치에서 검출된다. 도 72bk에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가되었다. 입력에 응답하여, 메뉴(72156)가 디스플레이된다. 메시지 버블(72142) 내의 텍스트(72172)는 외국어 텍스트를 포함하지 않으므로 메뉴(72156)는 번역 옵션을 포함하지 않는다.
도 72bn에서, 포커스 선택자(72176)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 도 72bo에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가되었다. 입력에 응답하여, 확인응답 플래터(72178)가 디스플레이된다. 확인응답 플래터(72178)는 72180에 표시된 바와 같은 번역 옵션을 포함한다. 도 72bp에서, 포커스 선택자(72176)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된 후에 확인응답 플래터(72178)는 디스플레이된 채로 유지된다.
도 72bq에서, 포커스 선택자(72182)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 번역 옵션(72180)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72br에 도시된 바와 같이, 외국어 텍스트(72146)는 메시지 버블(72140) 내의 외국어 텍스트의 번역(72150)에 의해 대체되었다.
도 72bs에서, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 포커스 선택자(72184)에 의해 도시된 위치(예컨대, 메시징 사용자 인터페이스(7200) 내에 디스플레이된 어포던스들(예컨대, 메시지들, 플래터들 및/또는 메뉴들) 중 임의의 것에 대응되지 않는 위치)에서 검출된다. 입력에 응답하여, 도 72bt에 도시된 바와 같이, 확인응답 플래터(72178)가 디스플레이되는 것을 중지한다.
도 72bu-1 내지 도 72bu-4는 탭 입력에 응답하는 메시지(72140)의 텍스트의 번역을 예시한다. 도 72bu-2에서, 시간 t=0에서, 포커스 선택자(72186)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 도 72bu-3 및 도 72bu-4에 의해 표시된 바와 같이, 시간(ttap) 후에 접촉이 리프트 오프된다. 탭 입력에 응답하여, 도 72bu-4에 도시된 바와 같이, 원래의 외국어 텍스트(72146)는 메시지 버블(72140) 내의 번역(72150)에 의해 대체된다.
도 72bv-1 내지 도 72bv-5는 길게 누르기 입력에 응답하는 번역 옵션(72158)을 포함하는 메뉴(72156)의 디스플레이를 예시한다. 도 72bv-2에서, 시간 t=0에서, 포커스 선택자(72188)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 접촉은 도 72bv-4 및 도 72bv-5에 도시된 바와 같이, ttap보다 긴 시간(tlong) 후에 터치 스크린(112)으로부터 리프트 오프된다. 접촉이 시간(tlong) 동안 터치 스크린(112)과 접촉되면, 도 72bv-5에 도시된 바와 같이, 메뉴(72156)가 디스플레이된다.
도 72bw 내지 도 bx는 호버 입력에 응답하는 외국어 텍스트(72146)의 번역을 예시한다. 도 72bw에서, 입력 객체(72192)(예컨대, 손가락 또는 스타일러스)는 임계 호버 거리를 초과하는 거리(72194)에서 터치 스크린(112)의 표면 위에서 검출된다. 도 72bx에 도시된 바와 같이, 72192와 터치 스크린(112) 사이의 거리가 임계 호버 거리 미만으로 감소하면(예를 들어, 입력 객체(72192)와 터치 스크린(112) 사이의 거리(72194)가 임계 호버 거리 미만임), 외국어 텍스트(72146)는 메시지 버블(72140) 내의 외국어 텍스트의 번역(72150)으로 대체된다.
도 72by 내지 도 72cn은 메뉴(72156) 내에 디스플레이된 "전체 번역(translate all)" 옵션(72196)을 예시한다. (예컨대, 접촉(72198)에 의해) 전체 번역 옵션(72196)이 선택되면, 대화 트랜스크립트 내의 모든 검출된 외국어 텍스트(예컨대, 메시지 버블(72140) 내와 메시지 버블(72198) 내의 외국어 텍스트)가 동시에 번역된다.
도 72co 내지 도 72cs는 외국어 텍스트의 일부분이 하이라이팅된 후에 발생하는 메시지 버블(140) 내의 외국어 텍스트의 일부분의 번역을 예시한다. 도 72co에서, 포커스 선택자(72200)에 의해 표시된 바와 같이, 하이라이팅 입력(예컨대, 드래그 입력)이 터치 스크린(112) 상의 접촉에 의해 검출된다. 접촉이 (예컨대, 하이라이팅된 텍스트에 평행하고/하거나 텍스트를 가로 지르는 경로를 따라) 도 72co에 도시된 바와 같이, 제1 위치로부터, 도 72cr에 도시된 바와 같이, 제2 위치로 이동함에 따라, 하이라이팅 입력은 하이라이팅된 구역(72202)에 의해 표시된 바와 같이, 메시지 버블(72140) 내의 텍스트의 일부분을 점차적으로 선택한다. 도 72cs에 도시된 바와 같이, 터치 감응형 표면(112)으로부터의 접촉의 리프트 오프에 응답하여, 하이라이팅된 구역(72202)에 대응되는 외국어 텍스트가 번역된 텍스트(72204)로 대체된다(메시지 버블(72140) 내의 하이라이팅된 구역(72202) 외부의 외국어 텍스트는 번역되지 않은 상태로 유지됨).
도 72ct 내지 도 72cs는 외국어 텍스트의 일부분이 하이라이팅됨에 따라 메시지 버블(140) 내의 외국어 텍스트의 일부분의 번역이 점진적으로 발생하는 것을 예시한다. 도 72ct에서, 포커스 선택자(72206)에 의해 표시된 바와 같이, 하이라이팅 입력(예컨대, 드래그 입력)이 터치 스크린(112) 상의 접촉에 의해 검출된다. 접촉이 (예컨대, 하이라이팅된 텍스트에 평행하고/하거나 텍스트를 가로 지르는 경로를 따라) 도 72cv에 도시된 바와 같이, 제1 위치로부터, 도 72cx에 도시된 바와 같이, 제2 위치로 이동함에 따라, 하이라이팅 입력은 하이라이팅된 구역(72208)에 의해 표시된 바와 같이, 메시지 버블(72140) 내의 텍스트의 일부분을 점차적으로 선택한다. 도 72cv 내지 도 72cx에 도시된 바와 같이, 하이라이팅된 구역(72208)이 확장함에 따라, 하이라이팅된 구역 내의 텍스트의 번역된 버전이 72210에 디스플레이된다. 도 72cv에서, 하이라이팅된 구역(72208)은 단일 단어를 포함하고, 단일 단어의 번역은 72210에 디스플레이된다. 도 72cw에서, 하이라이팅된 구역(72208)은 두 개의 단어들을 포함하고, 두 개의 단어들의 번역은 72210에 디스플레이된다. 도 72cx에서, 하이라이팅된 구역(72208)은 세 개의 단어들을 포함하고, 세 개의 단어들의 번역은 72210에 디스플레이된다.
도 72cy 내지 도 72dd는 가볍게 누르기 입력에 응답하는 번역된 텍스트의 일시적인 디스플레이를 예시한다. 도 72cz에서, 포커스 선택자(72212)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 도 72da에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 힌트 세기 임계치 레벨(ITH)을 초과하여 증가되었다. 메시지 버블(72140)은 도 72cy 내지 도 72da에서 외국어 텍스트(72146)를 디스플레이한다. 도 72db에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 가볍게 누르기 세기 임계치 레벨(ITL)을 초과하여 증가되었다. 접촉의 특성 세기가 가볍게 누르기 세기 임계치 레벨(ITL)을 초과하여 유지되는 동안, 외국어 텍스트의 번역(72150)이 메시지 버블(72140) 내에 디스플레이된다. 도 72dc에서, 접촉의 특성 세기가 가볍게 누르기 세기 임계치 레벨(ITL) 미만으로 감소되었다는 결정에 따라, 외국어 텍스트(72146)가 메시지 버블(72140) 내에 재-디스플레이된다.
도 7dd 내지 도 72di는 깊게 누르기 입력에 응답하는 번역된 텍스트의 지속적인 디스플레이를 예시한다. 도 72de에서, 포커스 선택자(72214)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 누르기 입력)이 메시지 버블(72140)에 대응되는 위치에서 검출된다. 도 72df에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 힌트 세기 임계치 레벨(ITH)을 초과하여 증가되었다. 도 72dd 내지 도 72df에서 메시지 버블(72140)은 외국어 텍스트(72146)를 디스플레이한다. 도 72dg에서, 접촉의 특성 세기는 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 가볍게 누르기 세기 임계치 레벨(ITL)을 초과하여 증가되었다. 접촉의 특성 세기가 가볍게 누르기 세기 임계치 레벨(ITL)을 초과하여 증가한다는 결정에 따라, 외국어 텍스트의 번역(72150)이 메시지 버블(72140) 내에 디스플레이된다. 도 72dh에서, 세기 레벨 측정기(72155)에 의해 표시된 바와 같이, 접촉의 특성 세기가 깊이 누르기 세기 임계치 레벨(ITD)을 초과하여 증가한다는 결정에 따라, 외국어 텍스트의 번역(72150)은 (예컨대, 도 72di에 도시된 바와 같이, 포커스 선택자(72214)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된 후에 계속하여) 메시지 버블(72140) 내에 지속적으로 디스플레이된다. 또한, 접촉의 특성 세기가 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가되었다는 결정에 따라, 번역된 텍스트(72150)의 시각적 외관이 (예컨대, 도 72dg의 번역된 텍스트(72150)의 시각적 외관과 비교하여) 변경되어, 번역의 지속적인 성질에 대한 표시를 사용자에게 제공한다.
버블 연결(Bubble Connections)
도 72dj 내지 도 72ev는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 버블들을 연결하기 위한 예시적인 사용자 인터페이스들을 예시한다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 72dj에서, 사용자 인터페이스(7200)는 메시징 세션에 포함된 휴대용 다기능 디바이스(100-A)의 사용자("Riley") 및 휴대용 다기능 디바이스(100-B)의 사용자("Ray")를 포함하는 대응되는 메시징 세션의 참가자들로부터의 메시지들을 포함하는 대화 트랜스크립트(7202)를 포함한다. 디바이스(100-A) 상에서, 사용자 "Ray"는 아바타(72216)에 의해 표현된다. 메시지(72218)는 Ray로 식별된 사용자에 의해 동작되는 원격 디바이스(100-B)로부터 디바이스(100-A)에 의해 수신된 메시지이고, 메시지(72224)는 Riley에 의해 동작되는 원격 디바이스(100-B)로 디바이스(100-A)에 의해 송신된 메시지이다.
도 72dj 내지 도 72ed는 (예컨대, 대화 트랜스크립트(7202) 내에 디스플레이된 메시지 버블들을 연결하기 위해) 메시지 콘텐츠를 그룹화하는 데 사용되는 입력을 예시한다. 일부 실시예들에서, 그룹화 선택 입력은 메시징 사용자 인터페이스 내의 제1 콘텐츠(예컨대, 대화 트랜스크립트 내의 하나 이상의 수신된 메시지들, 대화 트랜스크립트 내의 하나 이상의 전송된 메시지들 및/또는 메시지들 입력 영역 내에 입력된 입력 콘텐츠)를 메시징 사용자 인터페이스 내에 디스플레이되는 적어도 하나의 메시지(예컨대, 대화 트랜스크립트 내의 하나 이상의 수신된 메시지들 및/또는 대화 트랜스크립트 내의 하나 이상의 전송된 메시지들)와 그룹화한다. 그룹화 선택 입력을 검출하는 것에 응답하여, 제1 콘텐츠 및 적어도 하나의 메시지를 포함하는 그룹이 생성된다.
일부 실시예들에서, 메시지 버블들을 연결하기 위한 입력은 도 72dn 내지 도 72dr 및 도 72ds 내지 도 72du에 예시된 바와 같이, 메시지 버블들을 그룹화 모드로 놓기 위한 입력을 포함한다. 일부 실시예들에서, 메시지 버블들을 연결하기 위한 입력은 도 72do 내지 도 72dq 및 도 72dv 내지 도 72dy에 도시된 바와 같이, 메시지 버블을 이동하기 위한 입력을 포함한다. 일부 실시예들에서, 메시지 버블들을 연결하기 위한 입력은 도 72ea 내지 도 72ed에 도시된 바와 같이, 메시지 버블들 사이의 연결을 그리기 위한 입력을 포함한다.
일부 실시예들에서, 그룹화 선택 입력은 제1 콘텐츠에 대응되는 위치(예컨대, 메시지 버블(72218))에서 검출된 입력이고, 그룹화 선택 입력은 메시징 사용자 인터페이스(7200) 내에서 (예컨대, 도 72d) 내지 도 72dq에 도시된 바와 같이) 제1 콘텐츠를 제1 위치로부터 제2 위치로 이동한다. 일부 실시예들에서, 그룹화 선택 입력은 메시지를 (예컨대, 좌측에서 우측 또는 우측에서 좌측) 방향으로 하나 이상의 그룹화 기준들을 충족하는 거리만큼 드래그한다. 도 72do 내지 도 72dy는 제1 메시지 버블(72218) 및 제2 메시지 버블(72224)을 (예컨대, 메시징 사용자 인터페이스(7200)의 중심에 근접한) 그룹화 위치들로 드래그하는 것을 포함하는 그룹화 선택 입력을 예시한다.
도 72dk에서, 포커스 선택자(72220)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 모드 입력(예컨대, 누르기 입력)이 메시지 버블(72218)에 대응되는 위치에서 검출되고, 도 72dm에 도시된 바와 같이, 접촉의 특성 세기가 세기 레벨 측정기(72155)에 의해 표시된 바와 같이 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가할 때까지, 도 72dk 내지 도 72dm에 도시된 바와 같이, 접촉의 특성 세기가 점차적으로 증가한다. 접촉의 특성 세기가 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가했다는 결정에 따라, 메시지 버블(72218)은 그룹화 모드로 진입한다. 일부 실시예들에서, 메시지 버블(72218)이 그룹화 모드에 진입한 경우, 메시지 버블(72218)이 대화 트랜스크립트(7202)로부터 "탈착(detach)"되어, 메시지 버블(72218)은 대화 트랜스크립트(7202) 내에서 이동 가능하게 된다. 일부 실시예들에서, 메시지 버블(72218)이 그룹화 모드에 있다고 표시하기 위해, 디바이스는 변경된 배경, 햅틱 피드백, 변경된 트랜스크립트 특성 및/또는 변경된 메시지 버블 특성과 같이, 메시지가 트랜스크립트로부터 탈착되었다는 표시를 제공한다. 예를 들어, 메시지 버블(72218)이 그룹화 모드에 있다는 시각적 표시를 제공하기 위해, 메시지 버블 윤곽이 변경되고(예컨대, 도 72dn에 도시된 바와 같이, 보다 큰 라인 폭으로 도시됨), 버블 크기가 증가되고/되거나 메시지 버블 내의 텍스트의 외관이 변경된다. 메시지 버블(72218)을 그룹화 모드로 전이시키는 입력은 메시지 버블(72218)에 대응되는 위치에서의 스와이프 입력이, 메시지 버블이 그룹화 모드에 있는 경우 그룹화 기능을, 그리고 메시지 버블이 그룹화 모드에 있지 않는 경우 대안적 기능(예컨대, 하나 이상의 디스플레이된 메시지 버블들을 수평으로 드래그하여 하나 이상의 메시지 버블들에 대응되는 시간을 노출함)을 갖도록 허용한다.
일부 실시예들에서, 본 명세서에 설명된 바와 같은 그룹화 선택 입력은 그룹화 모드 입력을 사용하여 메시지 버블들을 그룹화 모드로 전이시키지 않고 발생한다.
일부 실시예들에서, 그룹화 선택 입력을 검출하는 것은 제1 콘텐츠에 대응되는 위치에서 제1 입력(예컨대, 깊게 누르기 입력) 및 적어도 하나의 메시지에 대응되는 위치에서 제2 입력(예컨대, 깊게 누르기 입력)을 검출하는 것을 포함한다.
도 72do에서, 포커스 선택자(72222)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 선택 입력(예컨대, 드래그 입력)이 메시지 버블(72218)에 대응되는 위치에서 검출된다. 입력은 도 72do 내지 도 72dq에 도시된 바와 같이, (예컨대, 메시징 사용자 인터페이스(7200)의 중심에 근접한) 그룹화 위치를 향해 메시지 버블(72218)을 드래그한다. 도 72dr에서, 메시지 버블(72218)의 이동이 그룹화 기준들을 충족한 후에(예컨대, 메시지 버블이 그룹화 위치로 이동했음), 포커스 선택자(72222)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된다. 일부 실시예들에서, 메시지 버블(72218)의 이동이 그룹화 기준들을 충족했다는 결정에 따라(예컨대, 메시지 버블이 그룹화 위치로 이동했음), 메시지 버블이 그룹화 위치로 이동되었다는 것을 사용자에게 표시하기 위해 메시지 버블(72218)의 시각적 외관이 변경되고/되거나 햅틱 효과가 발생한다.
도 72ds에서, 포커스 선택자(72226)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 모드 입력(예컨대, 누르기 입력)이 메시지 버블(72224)에 대응되는 위치에서 검출되고, 도 72dt에 도시된 바와 같이, 접촉의 특성 세기가 세기 레벨 측정기(72155)에 의해 표시된 바와 같이 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가할 때까지, 도 72ds 내지 도 72dt에 도시된 바와 같이, 접촉의 특성 세기가 점차적으로 증가한다. 접촉의 특성 세기가 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가했다는 결정에 따라, 메시지 버블(72224)은 그룹화 모드로 진입한다.
도 72dv에서, 포커스 선택자(72228)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 선택 입력(예컨대, 드래그 입력)이 메시지 버블(72224)에 대응되는 위치에서 검출된다. 그룹화 선택 입력은 도 72dv 내지 도 72dx에 도시된 바와 같이, (예컨대, 메시징 사용자 인터페이스(7200)의 중심에 근접한) 그룹화 위치를 향해 메시지 버블(72224)을 드래그한다. 도 72dy에서, 메시지 버블(72218)의 이동이 그룹화 기준들을 충족한 후에(예컨대, 메시지 버블이 그룹화 위치로 이동했음), 포커스 선택자(72228)에 의해 표시된 접촉이 터치 스크린으로부터 리프트 오프된다. 일부 실시예들에서, 메시지 버블(72224)의 이동이 그룹화 위치로 이동했다는 결정에 따라, 메시지 버블이 그룹화 위치로 이동되었다는 것을 사용자에게 표시하기 위해 메시지 버블(72224)의 시각적 외관이 변경되고/되거나 햅틱 효과가 발생한다. 접촉의 리프트 오프에 응답하여, (예컨대, 하나보다 많은 메시지 버블이 그룹화 선택 입력에 의해 그룹화 위치로 드래그되었다는 결정에 따라) 그룹화 지시자(72230)에 의해 표시된 바와 같이, 메시지 버블들(72218 및 72224)의 그룹이 형성된다.
일부 실시예들에서, 그룹화 표지가 제1 콘텐츠에 대응되는 제1 위치(예컨대, 메시지 버블(72218)) 및 적어도 하나의 메시지에 대응되는 제2 위치(예컨대, 메시지 버블(72224))에 디스플레이된다. 예를 들어, 그룹화 표지는 제1 콘텐츠를 적어도 하나의 메시지와 연결하는 라인(예컨대, 그룹화 표시자(72230 또는 72236)), 구역 지정자(예컨대, 제1 콘텐츠 및 적어도 하나의 메시지를 포괄하는 박스와 같은 형상) 및/또는 복수의 마커들(예컨대, 제1 콘텐츠에 대응되는 위치에 디스플레이된 제1 마커 및 적어도 하나의 메시지에 대응되는 위치에 디스플레이된 제2 마커)을 포함한다.
도 72ea 내지 도 72ed는 제1 메시지 버블(72218)로부터 제2 메시지 버블(72224)로의 스와이프 입력을 포함하는 그룹화 선택 입력을 예시한다. 도 72ea에서, 포커스 선택자(72232)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 선택 입력(예컨대, 스와이프 입력)이 메시지 버블(72218)에 대응되는 위치에서 검출된다. 일부 실시예들에서, 그룹화 선택 입력은 메시지 버블(72218)이 그룹화 모드로 전이한 후에 검출된다. 그룹화 선택 입력이 수신됨에 따라, 도 72eb 및 도 72ec에 예시된 바와 같이, 그룹화 선택 입력의 경로를 표시하기 위해 라인(72234)이 디스플레이된다. 도 72ed에서, 포커스 선택자(72232)에 의해 표시된 접촉은 터치 감응형 표면(112)으로부터 리프트 오프되었고, 라인(72234)은 그룹화 표시자(72236)로 대체된다.
도 72ee는 휴대용 다기능 디바이스(100-B) 상의 메시지들(72218 및 72224)이 (그룹 표시자(72236)에 의해 표시된 바와 같이) 그룹으로서 디스플레이되는 것을 도시한다.
일부 실시예들에서, 생성된 그룹에 추가하기 위한 제2 콘텐츠를 표시하는 제2 입력이 검출된다. 예를 들어, 도 72ef에서, 디바이스(100-B) 상에 디스플레이된 메시지 입력 영역(72240) 내에 텍스트 입력(72238)이 입력되었다. 포커스 선택자(72244)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 전송 어포던스(72242)에 대응되는 위치에서 검출된다. 도 72eg에서, 텍스트 입력(72238)이 대화 트랜스크립트(7202) 내의 전송된 메시지로서 메시지 버블(72246) 내에 디스플레이된다.
도 72eh에서, 메시지 버블(72246)은 그룹화 모드 상태로 도시된다. 예를 들어, 메시지 버블(72246)을 그룹화 모드 상태로 전이시키기 위해 도 72dk 내지 도 72dn과 관련하여 설명된 바와 같은 그룹화 모드 입력이 제공된다.
도 72ei에서, 포커스 선택자(72248)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 선택 입력(예컨대, 드래그 입력)이 메시지 버블(72246)에 대응되는 위치에서 검출된다. 그룹화 선택 입력은 도 72ei 내지 도 72ek에 도시된 바와 같이, (예컨대, 메시징 사용자 인터페이스(7200)의 중심에 근접한) 그룹화 위치를 향해 메시지 버블(72246)을 드래그한다. 도 72el에서, 메시지 버블(72246)의 이동이 그룹화 기준들을 충족한 후에(예컨대, 메시지 버블이 그룹화 위치로 이동했음), 포커스 선택자(72248)에 의해 표시된 접촉이 터치 스크린으로부터 리프트 오프된다. 접촉의 리프트 오프에 응답하여, 그룹화 기준들이 충족되었다는 결정에 따라, 그룹화 표시자(72236)에 의해 표시된 바와 같이, 메시지 버블(72218 및 72224)을 갖는 그룹에 메시지 버블(72246)이 추가된다.
도 72em은 휴대용 다기능 디바이스(100-A) 상의 메시지들(72218, 72224, 및 72246)이 (그룹 표시자(72236)에 의해 표시된 바와 같이) 그룹으로서 디스플레이되는 것을 도시한다. 텍스트 입력(72250)은 디바이스(100-A) 상에 디스플레이된 메시지 입력 영역(7204) 내에 입력되었다. 메시지 입력 영역(7204) 내의 텍스트 입력의 크기는 그룹 표시자(72236)에 의해 표시된 그룹 내의 메시지 버블들을 상향 이동하게 한다. 그룹의 최상위 메시지 버블(72218)을 디스플레이하는 것을 계속하기 위해, 최상위 메시지 버블(72218)은 비-그룹 메시지들(72258, 72260 및 72262)에 중첩되어 디스플레이된다(비-그룹 메시지들과 오버레이된 그룹 메시지들 사이의 혼동을 피하기 위해 비-그룹 메시지들은 디스플레이의 디밍된 영역 내에 도시됨).
일부 실시예들에서, 제1 콘텐츠는 메시지 입력 영역 내에 입력된 입력 콘텐츠(예컨대, 입력 콘텐츠를 포함하는 메시지를 송신하기 전에 수신된 입력)이고, 그룹화 선택 입력은 메시지를 다른 디바이스로 송신하는 송신 입력 전에 검출된다(예컨대, 도 72em 내지 도 72er에 예시된 바와 같음).
도 72en에서, 포커스 선택자(72256)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 그룹화 선택 입력(예컨대, 드래그 입력)은 전송 어포던스(72254)에 대응되는 위치에서 검출된다. 그룹화 선택 입력은 도 72en 및 도 72eo에 도시된 바와 같이, 그룹 멤버를 향해(예컨대, 그룹 내의 메시지 버블과 부분적으로 중첩되는 위치로) 메시지 버블(72256)을 드래그한다. 도 72ep에서, 메시지 버블(72246)의 이동이 그룹화 기준들을 충족한 후에(예컨대, 메시지 버블이 메시지 버블(72246)과 부분적으로 중첩되는 위치로 이동했음), 포커스 선택자(72256)에 의해 표시된 접촉이 터치 스크린(112)스크린으로부터 리프트 오프된다. 도 72eq에서, 포커스 선택자(72266)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 전송 어포던스(72254)에 대응되는 위치에서 검출된다. 도 72er에 도시된 바와 같이, 입력에 응답하여, 그룹화 표시자(72236)로 표시된 바와 같이, 메시지 버블(72264)이 메시지 버블들(72218, 72224 및 72246)을 갖는 그룹에 추가된다.
일부 실시예들에서, 포커스 선택자(72256)에 의해 표시된 접촉의 리프트 오프에 응답하여, 그룹화 기준들이 충족된다는 결정에 따라, 메시지 버블(72264)은 그룹화 지시자(72236)에 의해 표시된 바와 같이 메시지 버블들(72218, 72224 및 72246)을 갖는 그룹에 추가된다.
도 72es는 포커스 선택자(72268)에 의한 도시된 위치(예컨대, 메시징 사용자 인터페이스(7200) 내에 디스플레이된 메시지 버블들 또는 어포던스들 중 임의의 것에 대응되지 않는 위치)에서의 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)을 표시한다. 입력에 응답하여, 그룹화된 메시지들은 비-그룹화된 메시지들과 중첩되는 것을 중지한다(예컨대, 메시지 버블(72218)이 디스플레이되는 것이 중지되어 메시지 버블(72218)이 메시지 버블(72258)과 중첩하는 것이 중지됨). 도 72eu는 포커스 선택자(72270)에 의해 도시된 바와 같이, 그룹 표시자(72236)에 대응되는 위치에서의 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)을 표시한다. 입력에 응답하여, 그룹화된 메시지 버블들은 비-그룹화된 메시지들과 중첩하여 디스플레이되어, 도 ev에 도시된 바와 같이, 그룹화된 메시지 버블들(72218, 72224, 72246 및 72264)이 동시에 디스플레이된다.
메시지 플래깅(Message Flagging)
도 72ew 내지 도 72fm은 일부 실시예들에 따른, 메시지 버블들을 플래깅하는 예시적인 사용자 인터페이스들을 예시한다. 예를 들어, 대화 트랜스크립트(7202) 내의 메시지 버블을 지정하는 입력에 응답하여, 메시지 버블이 플래깅된다(예컨대, 대화 트랜스크립트(7202)의 상부에서와 같은 디스플레이 상의 고정된 위치에 메시지 버블이 디스플레이됨). 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러한 실시예들에서, 포커스 선택자는, 옵션적으로: 각자의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉(예컨대, 각자의 접촉의 중심, 또는 각자의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에서 검출된 두 개 이상의 접촉들의 중심에 대응하는 대표점이다. 그러나, 옵션적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하는 동안, 터치 감응형 표면(451) 상의 접촉들을 검출하는 것에 응답하여 유사한 동작들이 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 72ew에서, 사용자 인터페이스(7200)는 대응되는 메시징 세션 내의 참가자들로부터의 메시지들을 포함하는 대화 트랜스크립트(7202)를 포함한다. 대화 트랜스크립트(7202)는 메시지 버블(72218) 내에 디스플레이된 수신된 메시지를 포함한다.
도 72ex에서, 포커스 선택자(72274)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 플래깅 모드 입력(예컨대, 누르기 입력)이 메시지 버블(72272)에 대응되는 위치에서 검출되고, 도 72ez에 도시된 바와 같이, 접촉의 특성 세기가 세기 레벨 측정기(72155)에 의해 표시된 바와 같이 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가할 때까지, 도 72ex 내지 도 72ez에 도시된 바와 같이, 접촉의 특성 세기가 점차적으로 증가한다. 접촉의 특성 세기가 깊게 누르기 세기 임계치 레벨(ITD)을 초과하여 증가했다는 결정에 따라, 메시지 버블(72272)은 플래깅 모드로 진입한다. 일부 실시예들에서, 메시지 버블(72272)이 플래깅 모드에 진입한 경우, 메시지 버블(72272)이 대화 트랜스크립트(7202)로부터 "탈착"되어, 메시지 버블(72272)은 대화 트랜스크립트(7202) 내에서 이동 가능하게 된다. 일부 실시예들에서, 메시지 버블(72272)이 그룹화 모드에 있다고 표시하기 위해, 디바이스는 변경된 배경, 햅틱 피드백, 변경된 트랜스크립트 특성 및/또는 변경된 메시지 버블 특성과 같이, 메시지가 트랜스크립트로부터 탈착되었다는 표시를 제공한다. 예를 들어, 메시지 버블(72272)이 플래깅 모드에 있다는 시각적 표시를 제공하기 위해, 메시지 버블 윤곽이 변경되고(예컨대, 도 72fa에 도시된 바와 같이, 보다 큰 라인 폭으로 도시됨), 버블 크기가 증가되고/되거나 메시지 버블 내의 텍스트의 외관이 변경된다.
일부 실시예들에서, 본 명세서에 설명된 바와 같은 플래깅 선택 입력은 플래깅 모드 입력을 사용하여 메시지 버블을 플래깅 모드로 전이시키지 않고 발생한다.
일부 실시예들에서, 대화 트랜스크립트(7202) 내의 메시지(예컨대, 메시지 버블(72272) 내의 메시지)를 지정하는 입력(예컨대, 플래깅 모드 입력 및/또는 플래깅 선택 입력)에 응답하여, 메시지가 대화 트랜스크립트(7202)의 상부에서와 같은 디스플레이(112) 상의 고정된 위치에 디스플레이된다. 일부 실시예들에서, 메시지를 지정하는 입력은 메시지 버블 상의 탭 입력과 뒤이어 메뉴 아이템의 선택, 프레스 앤 홀드 입력(예컨대, 접촉이 터치 스크린(112)과 접촉하는 동안의 미리 결정된 지속기간 기준들을 충족하는 입력) 및/또는 누르기 입력이다(예컨대, 가볍게 누르기 세기 임계치 레벨(ITL) 및/또는 깊게 누르기 세기 임계치 레벨(ITD)과 같은 임계 세기 레벨을 초과하는 접촉의 특성 세기를 갖는 입력. 일부 실시예들에서, 입력은 메시지를 디스플레이 상의 고정된 위치로 드래그하는 드래그 입력이다. 일부 실시예들에서, 입력이 임계 거리를 초과하여 메시지를 이동하는 경우, 메시지는 대화 트랜스크립트(7202)로부터 "탈착"된다. 일부 실시예들에서, 입력을 검출하는 것에 응답하여, 메시지는 대화 트랜스크립트로부터 탈착되고/되거나 디스플레이 상의 고정된 위치로 자동적으로 이동된다(예컨대, 메시지가 디스플레이 상의 그의 원래 위치로부터 디스플레이 상의 고정된 위치로 이동하는 애니메이션이 보여짐).
도 72fb에서, 포커스 선택자(72276)에 의해 표시된 바와 같이, 플래깅 선택 입력(예컨대, 드래그 입력)이 터치 스크린(112) 상의 접촉에 의해 검출된다. 플래깅 선택 입력은 도 72fc 내지 도 72fe에 도시된 바와 같이, 대화 트랜스크립트(7202)의 상부를 향해 메시지 버블(72272)을 드래그한다. 일부 실시예들에서, 메시지 버블(72218)에 대한 플레이스 홀더(72278)가 대화 트랜스크립트(7202) 내에 디스플레이된다. 도 72ff에서, 포커스 선택자(72276)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된다. 터치 스크린(112)으로부터의 접촉의 리프트 오프에 응답하여, 플래킹 선택 입력이 플래깅 기준들을 충족한다는 결정에 따라(예컨대, 포커스 선택자(72276)의 이동이 임계 거리를 초과하여 증가됨), 메시지 버블(72272)이 대화 트랜스크립트(7202)의 상단에서 드롭된다.
도 72ff에서, 메시지 버블(72272)은 대화 트랜스크립트(7202)의 상단에서 메시지 배너(72280) 내에 디스플레이된다. 도 72al에서, 포커스 선택자(72132)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 애플리케이션 수정 인터페이스(72116)를 나가기 위한 어포던스(72130)에 대응되는 위치에서 검출된다. 입력에 응답하여, 도 72am에 도시된 바와 같이, 애플리케이션 설치/삭제 인터페이스(7270)가 재-디스플레이된다.
일부 실시예들에서, 메시지가 플래깅된 이후의 경과 시간을 표시하는 타이머(72282)가 디스플레이된다.
일부 실시예들에서, 플래깅된 메시지에 응답하는 메시지가 송신되는 경우, 플래깅된 메시지는 플래깅 해제되고(unflagged) 트랜스크립트 내의 이전 위치로 복귀한다. 예를 들어, 도 72fg에서, 텍스트 입력(72284)은 메시지 입력 영역(7204) 내에 입력되었다. 포커스 선택자(72286)에 의해 표시된 바와 같이, 터치 스크린(112) 상의 접촉에 의한 입력(예컨대, 탭 입력)이 전송 어포던스(72290)에 대응되는 위치에서 검출된다. 도 72fh에서, 텍스트 입력(72284)이 대화 트랜스크립트(7202) 내의 전송된 메시지로서 메시지 버블(72292) 내에 디스플레이된다.
일부 실시예들에서, 제2 입력(예컨대, 메시지를 플래깅하기 위해 메시지가 드래그되었던 방향과 반대 방향으로 메시지를 드래그함)이 수신되고, 이는 플래깅된 메시지를 (예컨대, 메시지를 플래깅 해제하기 위해) 그것의 이전 위치로 복귀시킨다. 예를 들어, 도 72fi에서, 포커스 선택자(72294)에 의해 표시된 바와 같이, 플래깅 선택 해제 입력(예컨대, 드래그 입력)이 터치 스크린(112) 상의 접촉에 의해 검출된다. 플래깅 선택 입력은 도 72fi 내지 도 72fl에 도시된 바와 같이, 메시지 버블(72272)을 그것의 원래 위치(예컨대, 플레이스 홀더(72278)에 의해 표시됨)를 향해 드래그한다. 도 72fm에서, 포커스 선택자(72294)에 의해 표시된 접촉이 터치 스크린(112)으로부터 리프트 오프된다. 터치 스크린(112)으로부터의 접촉의 리프트 오프에 응답하여, 플래깅 선택 입력이 플래깅 해제 기준들을 충족한다는 결정에 따라(예컨대, 포커스 선택자(72294)의 이동이 임계 거리를 초과하여 증가됨), 메시지 버블(72272)은 대화 트랜스크립트(7202) 내의 그의 원래 위치에서 드롭된다.
일부 실시예들에서, 플래깅 모드 입력은 (예컨대, 메시지(72272)가 플래깅 위치에 디스플레이되고/되거나 플래깅 선택 해제 입력 전에 디스플레이되는 동안) 수신된다.
도 73a 내지 도 73d는 일부 실시예들에 따른, 메시징 사용자 인터페이스 내에 디스플레이된 애플리케이션 사용자 인터페이스를 사용하여 애플리케이션들 사이에서 내비게이션하는 방법(7300)을 예시하는 흐름도들이다. 방법(7300)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예를 들어, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(7300)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
디바이스는 디스플레이(예컨대, 터치 스크린(112)) 상에 메시징 사용자 인터페이스(7200, 도 72a)를 디스플레이하며, 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(7202), 메시지 입력 영역(7204), 애플리케이션 영역(7210) 및 애플리케이션 영역 디스플레이 어포던스를 포함한다(7302). 일부 실시예들에서, 애플리케이션 영역(7210)은 대화 트랜스크립트(7202) 및 메시지 입력 영역(7204)과 별개인, 메시징 사용자 인터페이스(7200) 내의 미리 정의된 영역으로서, 이는 메시징 애플리케이션의 메시징 사용자 인터페이스(7200) 내에서 동작하는 하나 이상의 애플리케이션들에 대응되는 키보드(7212) 또는 활성화가능한 객체들(예컨대, 도 72c의 객체들(7234 내지 7240))을 디스플레이하도록 구성된다.
메시징 사용자 인터페이스(7200)를 디스플레이하는 동안, 디바이스는 애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 제1 입력(예컨대, 도 72b의 포커스 선택자(7220)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출한다(7304).
애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 제1 입력을 검출하는 것에 응답하여, 제1 입력이 검출된 시간에 애플리케이션 영역이 키보드(7212)를 디스플레이하고 있다는 결정에 따라, 디바이스는 애플리케이션 영역의 키보드(7212)의 디스플레이를: 복수의 스크롤가능한 애플리케이션 선택 어포던스들(예컨대, 7226 내지 7232)을 디스플레이하는 애플리케이션 선택 영역(7224)(도 72c) 및 제1 애플리케이션의 하나 이상의 활성화가능한 객체들(예컨대, 7234 내지 7240)을 디스플레이하는 활성화가능한 입력 영역(7222)의 동시 디스플레이로 대체한다(7306). 일부 실시예들에서, 복수의 스크롤가능한 애플리케이션 선택 어포던스들은 단일 수평 행에 배열된다. 복수의 스크롤가능한 애플리케이션 선택 어포던스들은 현재 선택된 제1 애플리케이션(예컨대, 애플리케이션 입력 영역(7222) 내에 디스플레이된 활성화가능한 객체들(7234 내지 7240)을 포함하는 음악 애플리케이션)에 대응되는 제1 애플리케이션 선택 어포던스(예컨대, 7230)를 포함한다. 각자의 애플리케이션 선택 어포던스(예컨대, 애플리케이션 선택 어포던스(7230))는 각각 제1 크기를 갖는다.
애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)을 동시에 디스플레이하는 동안, 디바이스는 디스플레이 상의 애플리케이션 선택 영역(7224) 내의 포커스 선택자(7242)(도 72d)의 제1 방향 이동에 대응되는 터치 감응형 표면 상의 접촉의 이동을 포함하는 제2 입력(예컨대, 터치 스크린(112) 상의 애플리케이션 선택 영역 내의 접촉에 의한 수평 드래그 또는 스와이프 제스처)을 검출한다(7308).
제2 입력을 검출하는 것에 응답하여, 디바이스는 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤하고(예컨대, 도 72d 내지 도 72g에 도시된 바와 같음), 제2 애플리케이션 선택 어포던스(예컨대, 도 72g의 애플리케이션 선택 어포던스(7426))를 디스플레이한다(7310). 일부 실시예들에서, 제2 애플리케이션 선택 어포던스는 스크롤 전에 디스플레이되지 않았다.
제2 애플리케이션 선택 어포던스 및 제1 애플리케이션의 하나 이상의 활성화가능한 객체들을 메시징 사용자 인터페이스 내에 디스플레이하는 동안, 디바이스는 제2 애플리케이션 선택 어포던스(예컨대, 7426)를 활성화하는 제3 입력(예컨대, 도 72h의 포커스 선택자(7250)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출한다(7312).
제2 애플리케이션 선택 어포던스를 활성화하는 제3 입력을 검출하는 것에 응답하여, 디바이스는 제1 애플리케이션의 하나 이상의 활성화가능한 객체들(예컨대, 7234 내지 7240)을 디스플레이하는 것을 중지하고, 애플리케이션 입력 영역 내에, 제2 애플리케이션 선택 어포던스에 대응되는 제2 애플리케이션의 하나 이상의 활성화가능한 객체들을 디스플레이한다(7314) (예컨대, 도 72i에 표시된 바와 같이, 디바이스는 예약 애플리케이션의 활성화가능한 객체들(7252 및 7254)을 디스플레이함).
복수의 스크롤가능한 애플리케이션 선택 어포던스들을 디스플레이하는 애플리케이션 선택 영역을 디스플레이하는 것은 제한된 수의 처음 디스플레이된 애플리케이션 선택 어포던스들을 사용자에게 제시하는 한편, 사용자에게 추가적인 애플리케이션 선택 어포던스들에 대한 신속한 액세스를 제공한다. 제한된 수의 처음 디스플레이된 애플리케이션 선택 어포던스들을 제공하는 것은 사용자가 (예컨대, 미리 선택된 애플리케이션 및/또는 가장 많이 사용되는 애플리케이션들의 짧은 목록으로부터) 애플리케이션을 신속하게 선택하고, 애플리케이션 어포던스의 우연한 선택의 가능성을 감소시키는 것을 허용한다. 사용자가 디바이스를 보다 신속하고 효율적으로 사용할 수 있게 함으로써 전력 사용을 줄이고 디바이스의 배터리 수명을 개선한다.
일부 실시예들에서, 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤하는 동안, 스크롤 애플리케이션 선택 어포던스들의 적어도 일부에 대해 디바이스는 각자의 애플리케이션 선택 어포던스의 크기를 각자의 제1 크기로부터 각자의 제1 크기보다 큰 각자의 제2 크기로 증가시킨다(7316). 예를 들어, 애플리케이션 선택 어포던스들의 스크롤이 발생하는 동안, 애플리케이션 선택 어포던스(7230)는 도 72c에 도시된 바와 같이, 제1 크기로부터 도 72e에 도시된 바와 같이, 제2 크기로 증가한다. 일부 실시예들에서, 각자의 애플리케이션 선택 어포던스의 크기를 증가시키는 것은 (예컨대, 각자의 애플리케이션 선택 어포던스의 크기를 각자의 제1 크기로부터 각자의 제2 크기로 점차적으로 증가하는) 애니메이션화된 전이를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 디스플레이된 모든 애플리케이션 선택 어포던스들은 스크롤 동안 일시적으로 크기가 증가한다(예컨대, 도 72e에 도시된 바와 같이, 애플리케이션 선택 어포던스들(7232, 7230 및 7228) 모두 도 72c에서 그들 각자의 크기에 비해 크기가 증가함). 일부 실시예들에서, 애플리케이션 선택 영역(7224)의 크기는 스크롤 동안 일시적으로 증가한다. 일부 실시예들에서, 하나 이상의 애플리케이션 선택 어포던스들의 크기의 증가의 규모(magnitude)는 스크롤이 발생하는 속력에 의존한다(예컨대, 스크롤 속력이 높을수록 하나 이상의 애플리케이션 선택 어포던스들의 더 큰(예컨대, 비례적으로 더 큰) 크기 증가를 생성함). 스크롤하는 동안 애플리케이션 선택 어포던스들의 크기를 증가시키는 것은 사용자로 하여금 메시징 애플리케이션 내에서 사용자가 선택하여 사용하기를 원하는 애플리케이션에 대응되는 애플리케이션 선택 어포던스를 용이하게 위치찾기할 수 있게 한다.
복수의 스크롤가능한 애플리케이션 선택 어포던스들을 스크롤하는 동안 각자의 애플리케이션 선택 어포던스의 크기를 증가시키는 것은 각자의 애플리케이션 선택 어포던스의 가시성을 증가시킨다. 애플리케이션 선택 어포던스의 가시성을 증가시키는 것은 (예컨대, 애플리케이션 선택 어포던스에 대응되는 더 큰 선택가능한 영역을 제공함으로써) 사용자가 원하는 애플리케이션 선택 어포던스를 보다 용이하게 선택하게 함으로써 디바이스의 조작성이 향상되고, (예컨대, 사용자가 원하는 애플리케이션 선택 어포던스에 대응되는 아이콘을 보다 용이하게 볼 수 있게 함으로써) 원하는 애플리케이션 선택 어포던스 이외의 애플리케이션 선택 어포던스의 우연한 선택의 가능성을 감소시킨다.
일부 실시예들에서, 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤한 후, 디바이스는 각자의 애플리케이션 선택 어포던스의 크기를 각자의 제2 크기로부터 각자의 제1 크기로 감소시킨다(7318). 예를 들어, 애플리케이션 선택 어포던스들의 스크롤이 발생한 후, 애플리케이션 선택 어포던스(7230)는 도 72e에 도시된 바와 같이, 제2 크기로부터 도 72g에 도시된 바와 같이, 그 초기 크기로 감소한다. 일부 실시예들에서, 스크롤이 정지되는 경우, 또는 스크롤이 정지된 후 미리 결정된 시간 내에 각자의 애플리케이션 선택 어포던스의 크기가 감소된다. 일부 실시예들에서, 각자의 애플리케이션 선택 어포던스의 크기를 감소시키는 것은 (예컨대, 각자의 애플리케이션 선택 어포던스의 크기를 각자의 제2 크기로부터 각자의 제1 크기로 점차적으로 감소시키는) 애니메이션화된 전이를 디스플레이하는 것을 포함한다.
복수의 스크롤가능한 애플리케이션 선택 어포던스들을 스크롤한 후에 각자의 애플리케이션 선택 어포던스의 크기를 감소시키는 것은 동시에 디스플레이될 애플리케이션 선택 어포던스들의 수가 증가되도록 허용한다. 동시에 디스플레이된 애플리케이션 선택 어포던스들의 수를 증가시키는 것은 (예컨대, 입력을 더 스크롤하지 않으면서 선택을 위해 이용가능한 애플리케이션 선택 어포던스들의 수를 증가시킴으로써) 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤하는 동안, 디바이스는 애플리케이션 입력 영역 내에 도시된 다수의 애플리케이션 선택 어포던스들을, 제1 개수의 애플리케이션 선택 어포던스들(예컨대, 도 72d에 도시된 네 개의 애플리케이션 선택 어포던스들(72226, 7228, 7230 및 7232))로부터 제1 개수의 애플리케이션 선택 어포던스들 미만인 제2 개수의 애플리케이션 선택 어포던스들(예컨대, 도 72e에 도시된 세 개의 애플리케이션 선택 어포던스들(7228, 7230 및 7232))로 감소시킨다(7320).
복수의 스크롤가능한 애플리케이션 선택 어포던스들을 스크롤하는 동안 디스플레이된 애플리케이션 선택 어포던스들의 개수를 감소시키는 것은, (예컨대, 애플리케이션 선택 어포던스들의 중심들 간의 거리를 증가시킴으로써) 원하는 애플리케이션 선택 어포던스 이외의 애플리케이션 선택 어포던스의 우연한 선택의 가능성을 감소시킨다.
일부 실시예들에서, 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤한 후, 디바이스는 복수의 애플리케이션 선택 어포던스들을 제1 방향으로 스크롤하기 전에 디스플레이되었던 복수의 스크롤가능한 애플리케이션 선택 어포던스들 중 적어도 하나의 애플리케이션 선택 어포던스를 디스플레이하는 것을 중지한다(7320). 예를 들어, 스크롤 전의 도 72c에 도시된 애플리케이션 선택 어포던스(7228)는 도 72g에 도시된 바와 같이, 스크롤 후에는 더 이상 애플리케이션 선택 영역(7224) 내에 디스플레이되지 않는다.
스크롤 후에 적어도 하나의 애플리케이션 선택 어포던스를 디스플레이하는 것을 중지하는 것은, 적어도 하나의 애플리케이션 선택 어포던스를 디스플레이하는 것을 중지함으로써 사용자로 하여금 이용가능한 디스플레이 공간에서 추가적인 애플리케이션 선택 어포던스들을 뷰잉할 수 있게 한다. 이는 (예컨대, 스크롤 프로세스를 통해 뷰잉되거나 선택될 수 있는 다수의 애플리케이션 선택 어포던스들을 증가시킴으로써) 디바이스의 조작성을 증가시킨다.
일부 실시예들에서, 애플리케이션 입력 영역(7222)이 제1 크기로 디스플레이되는 동안, 디바이스(7324)는 애플리케이션 입력 영역 내에 애플리케이션 입력 영역 확장 어포던스(예컨대, 셰브론(7260))를 디스플레이하고, 애플리케이션 입력 영역 확장 어포던스(7260)를 활성화하는 제4 입력을 검출한다. 예를 들어, 제4 입력은 애플리케이션 입력 영역 확장 어포던스(7260)를 (예컨대, 상향으로) 드래그하는 포커스 선택자(7256)의 (예컨대, 제1 방향과 상이한) 제2 방향 이동에 대응되는 터치 감응형 표면 상의 접촉의 이동을 포함한다. 일부 실시예들에서, 제4 입력은 애플리케이션 입력 영역 확장 어포던스(7260) 상의 탭 입력이다. 제4 입력을 검출하는 것에 응답하여, 디바이스는 애플리케이션 입력 영역(7222)의 크기를 (도 72j에 도시된 바와 같은) 제1 크기로부터 (예컨대, 도 72k 또는 도 72l에 도시된 바와 같은) 제1 크기보다 더 큰 제2 크기로 증가시킨다. 일부 실시예들에서, 애플리케이션 입력 영역의 크기가 제2 크기인 동안, (예컨대, 적어도 하나의 메시지를 포함하는) 메시징 세션의 대화 트랜스크립트(7202)는 (예컨대, 도 72k에 도시된 바와 같이) 메시징 사용자 인터페이스 내에 적어도 부분적으로 디스플레이된다.
애플리케이션 입력 영역 확장 어포던스를 활성화하는 입력에 응답하여 애플리케이션 입력 영역의 크기를 증가시키는 것은 애플리케이션의 증가된 수의 활성화가능한 객체들이 애플리케이션 입력 영역 내에 동시에 디스플레이되도록 허용한다. 애플리케이션 입력 영역 내에 동시에 디스플레이되는 애플리케이션의 활성화가능한 객체들의 수를 증가시키는 것은 원하는 애플리케이션의 활성화가능한 객체로 내비게이션하는 데 요구되는 입력들의 수를 줄임으로써 사용자 디바이스 인터페이스를 보다 효율적으로 만들 수 있다.
일부 실시예들에서, 애플리케이션 영역 디스플레이 어포던스(7264)를 활성화하는 제1 입력(예컨대, 도 72o의 포커스 선택자(7264)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출하는 것에 응답하여, 제1 입력이 검출된 시간에 애플리케이션 영역(7210)이 애플리케이션 영역(7210) 내에 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)을 디스플레이하고 있다는 결정에 따라, 디바이스는 도 72o 및 도 72p에 도시된 바와 같이, 애플리케이션 영역 내의 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)의 디스플레이를 키보드(7212)의 디스플레이로 대체한다(7326). 일부 실시예들에서, 애플리케이션 영역 디스플레이 어포던스(7208) 상의(또는 메시지 입력 영역(7204) 내의) 입력(예컨대, 탭 입력)을 검출하는 것에 응답하여, 입력이 검출된 시간에 메시징 사용자 인터페이스가 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)을 디스플레이하고 있다는 결정에 따라, 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)의 디스플레이가 키보드(7212)의 디스플레이로 대체된다.
애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 입력에 응답하여, 애플리케이션 영역(7210) 내의 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)의 디스플레이를 키보드(7212)의 디스플레이로 대체하는 것은, 요소들을 교대로 디스플레이함으로써 이들 요소들에 의해 소비되는 디스플레이 영역의 양을 감소시킴으로써 디바이스의 조작성을 향상시킨다. 이들 요소들에 의해 소비되는 디스플레이 영역의 양을 감소시키는 것은 다른 사용자 인터페이스 객체들을 디스플레이하기 위해 이용가능한 디스플레이 영역을 증가시킴으로써 디바이스의 조작성을 향상시킨다.
일부 실시예들에서, 애플리케이션 입력 영역(7222) 내에 제2 애플리케이션의 하나 이상의 활성화가능한 객체들(예컨대, 7252 및 7254)을 디스플레이하는 동안, 디바이스는 애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 제5 입력(예컨대, 도 72o의 포커스 선택자(7264)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출한다(7328). 애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 제5 입력을 검출하는 것에 응답하여, (도 72o 및 도 72p에 도시된 바와 같이) 디바이스는 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)의 동시 디스플레이를 키보드(7212)의 디스플레이로 대체한다. 애플리케이션 영역 내에 키보드(7212)를 디스플레이하는 동안, 디바이스는 애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 제6 입력(예컨대, 도 72q의 포커스 선택자(7264)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출한다. 애플리케이션 영역 디스플레이 어포던스를 활성화하는 제6 입력을 검출하는 것에 응답하여, 디바이스는 애플리케이션 영역 내에 키보드(7212)를 디스플레이하는 것을 중지하고, (예컨대, 도 72q 및 도 72r에 도시된 바와 같이) 애플리케이션 선택 영역(7224) 및 애플리케이션 입력 영역(7222)을 동시에 디스플레이하며, 애플리케이션 선택 영역(7224)은 제1 애플리케이션 선택 어포던스(예컨대, 7230)를 포함하는 애플리케이션 선택 어포던스들의 미리 선택된 세트(예컨대, 7226, 7228, 7230 및 7232의 세트)를 동시에 디스플레이한다. 예를 들어, 미리 선택된 애플리케이션 선택 어포던스들의 세트는 디스플레이된 애플리케이션 선택 어포던스들의 디폴트 세트 또는 사용자 선택 애플리케이션 선택 어포던스들의 세트이다. 일부 실시예들에서, 미리 선택된 애플리케이션 선택 어포던스들의 세트는 애플리케이션 영역 디스플레이 어포던스를 활성화하는 입력이 애플리케이션 선택 영역이 디스플레이되게 할 때마다 도시된다.
애플리케이션 영역 디스플레이 어포던스(7208)를 활성화하는 입력에 응답하여 애플리케이션 선택 어포던스들의 미리 선택된 세트(예컨대, 7226, 7228, 7230 및 7232의 세트)를 디스플레이하는 것은 사용자로 하여금 미리 선택된 애플리케이션들의 세트 내에서 애플리케이션(예컨대, 자주 사용되는 애플리케이션)에 대응되는 원하는 활성화가능한 객체로 신속하게 내비게이션하는 것을 허용한다. 예를 들어, 복수의 애플리케이션 선택 어포던스들을 스크롤한 후, 사용자는 (복수의 애플리케이션 선택 어포던스들의 스크롤을 반전시킬 필요 없이) 애플리케이션 영역 디스플레이 어포던스를 활성화하는 입력을 제공함으로써, 가장 많이 사용된 애플리케이션 선택 어포던스들의 프리셋(pre-set)으로 복귀할 수 있다. 이러한 방식으로, 입력들의 수 및/또는 입력이 제공되어야하는 시간이 감소된다.
도 73a 내지 도 73d에서의 동작들이 설명된 특정 순서는 단지 일례이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법(7300)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(7300)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 73a 내지 도 73d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 동작들 중 하나 이상은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 74a 내지 도 74d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 사용되는 애플리케이션들을 관리하는 방법(7400)을 예시하는 흐름도들이다. 방법(7400)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예를 들어, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(7400)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
디바이스는 디스플레이(예컨대, 터치 스크린(112))에 의해, 메시징 애플리케이션의 메시징 사용자 인터페이스(7200)(도 72c)를 디스플레이한다(7402). 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(7202); 메시지 입력 영역(7204); 및 애플리케이션 영역(7210)(예컨대, 대화 트랜스크립트 및 메시지 입력 영역과 별개이며, 메시징 애플리케이션의 메시징 사용자 인터페이스 내에서 디스플레이되는 하나 이상의 애플리케이션들에 대응되는 키보드 또는 활성화가능한 객체들을 디스플레이하도록 구성된 메시징 사용자 인터페이스 내의 미리 정의된 영역)을 포함한다. 애플리케이션 영역(7210)은 제1 애플리케이션의 하나 이상의 활성화가능한 객체들(예컨대, 7234 내 7240) 및 애플리케이션 선택 영역(7224)을 디스플레이하는 애플리케이션 입력 영역(7222)을 포함한다. 애플리케이션 선택 영역(7224)은 메시징 사용자 인터페이스 내에서 동작되는 복수의 애플리케이션들에 대응되는 복수의 스크롤가능한 애플리케이션 선택 어포던스들(7228 내지 7232) 및 제1 애플리케이션 구성 어포던스(가령, 7226)를 포함한다. 일부 실시예들에서, 애플리케이션 선택 어포던스들은 단일 수평 행으로 배열된다.
애플리케이션 구성 어포던스(7226)를 애플리케이션 선택 영역(7224) 내에 디스플레이하는 동안, 디바이스는 제1 애플리케이션 구성 어포던스(7226)를 활성화하는 제1 입력(예컨대, 도 72s의 포커스 선택자(7268)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출한다(7404).
제1 입력을 검출하는 것에 응답하여, 디바이스는 메시징 애플리케이션의 메시징 사용자 인터페이스 내에서 동작되는 복수의 애플리케이션들에 대응되는 복수의 설치된 애플리케이션 어포던스들(예컨대, 7273, 7275, 7277, 7279, 7281, 7283, 7285) 및 제1 애플리케이션 구성 어포던스(7226)와는 구별되는 제2 애플리케이션 구성 어포던스(72112)를 포함하는 메시징 애플리케이션에 대한 제1 애플리케이션 관리 인터페이스(7270)(도 72t)를 디스플레이한다(7406).
제1 애플리케이션 관리 인터페이스(7270)를 디스플레이하는 동안, 디바이스는 복수의 설치된 애플리케이션 어포던스들 중 제1 설치된 애플리케이션 어포던스(7273)에 대응되는 위치에서 제2 입력(예컨대, 도 72u의 포커스 선택자(7288)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출하며(7408), 제1 설치된 애플리케이션 어포던스(7273)는 전자 디바이스 상의 제1의 설치된 애플리케이션(예컨대, 틱-택-토 애플리케이션)에 대응된다.
제2 입력을 검출하는 것에 응답하여, 디바이스는 모바일 디바이스 상의 제1 설치된 애플리케이션의 적어도 하나의 컴포넌트를 설치제거하기 위한 프로세스를 개시한다(7410)(예컨대, 메시징 사용자 인터페이스, 시청하기 사용자 인터페이스, 및/또는 콘텐츠 공유 사용자 인터페이스와 같은, 하나 이상의 사용자 인터페이스들 내에서 동작되는 제1 설치된 애플리케이션의 컴포넌트가 설치제거됨). 일부 실시예들에서, 제1 설치된 애플리케이션의 컴포넌트가 설치제거되는 경우, 제1 설치된 애플리케이션의 적어도 하나의 컴포넌트는 디바이스 상에 설치된 채로 유지된다. 예를 들어 디바이스 홈 스크린으로부터 액세스가능한 애플리케이션의 컴포넌트가 설치된 채로 유지된다.
제1 애플리케이션 관리 인터페이스를 디스플레이하는 동안, 디바이스는 제2 애플리케이션 구성 어포던스(72112)에 대응되는 위치에서, 제3 입력(예컨대, 도 72ab의 포커스 선택자(72212)에 의해 디스플레이된 위치에서의 접촉에 의한 탭 입력)을 검출한다(7412).
제3 입력을 검출하는 것에 응답하여, 디바이스는 메시징 애플리케이션에 대한 제2 애플리케이션 관리 인터페이스(72116)(도 72ac)를 디스플레이한다(7414). 제2 애플리케이션 관리 인터페이스(72116)는 메시징 애플리케이션의 메시징 사용자 인터페이스 내에서 동작되는 복수의 애플리케이션들에 대응되는 복수의 토글들(예컨대, 72117, 72118, 72119, 72121, 72123, 72125, 72127)을 포함한다. 각자의 토글(예컨대, 72118)의 활성화는 대응되는 애플리케이션으로 하여금 메시징 애플리케이션의 메시징 사용자 인터페이스 내의 은폐된 상태와 노출된 상태 사이에서 토글하게 한다(예컨대, 도 72s, 도 72ad 및 도 72ae, 및 도 72ao에 도시된 바와 같음).
(예컨대, 도 72u 및 도 72v에 도시된 바와 같이) 설치된 애플리케이션의 적어도 하나의 컴포넌트를 설치제거하는 프로세스를 개시하기 위한 입력을 수신하는 제1 애플리케이션 관리 인터페이스(7270)를 제공하고 (예컨대, 도 72ad 및 도 72ae에 도시된 바와 같이) 설치된 애플리케이션의 은폐된 상태와 노출된 상태 사이에서 토글하기 위한 입력을 수신하는 제2 애플리케이션 관리 인터페이스(72116)를 제공하는 것은 설치된 애플리케이션의 비-메시징 컴포넌트들을 삭제하지 않으면서 메시징 사용자 인터페이스 내에 애플리케이션을 은폐할 수 있는 능력을 사용자에게 제공한다. 디스플레이된 컴포넌트들을 사용자가 사용하고자 하는 컴포넌트들로 제한하는 기능을 사용자에게 제공하는 것은 (예를 들어, 인터페이스 내의 난잡함을 감소시킴으로써) 사용자 디바이스 인터페이스를 보다 효율적으로 만들며, 메시징 사용자 인터페이스 내의 숨겨진 컴포넌트에 대응되는 애플리케이션의 비-메시징 컴포넌트들에 대한 액세스를 완전히 제거하지 않으면서, 사용자로 하여금 선택을 위한 애플리케이션 선택 어포던스를 보다 효율적으로 위치찾기하게 허용한다.
일부 실시예들에서, 제1 애플리케이션 구성 어포던스(7226)(도 72r)는 복수의 애플리케이션들에 대응되는 복수의 애플리케이션 선택 어포던스들(예컨대, 7228, 7230 및 7232)에 대해 고정된 위치에 위치된다(7416). 일부 실시예들에서, 제1 애플리케이션 구성 어포던스(7226)는 애플리케이션 선택 어포던스들의 목록의 끝(예컨대, 애플리케이션 선택 어포던스들의 수평 행의 우측 끝)에 항상 위치한다.
복수의 애플리케이션 선택 어포던스들에 대해 고정된 위치에 제1 애플리케이션 구성 어포던스(7226)를 위치시키는 것은 (예컨대, 사용자가 애플리케이션 구성 어포던스를 위치찾기하기 위해 복수의 애플리케이션 선택 어포던스들 사이로 왔다 갔다 스크롤할 필요가 없기 때문에) 사용자로 하여금 애플리케이션 구성 어포던스(7226)를 신속하고 일관되게 위치찾기하게 허용한다. 애플리케이션 구성 어포던스를 위치찾기하기 위해 요구되는 입력들 수와 입력들을 제공하는 데 요구되는 시간을 감소시키는 것은 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 디바이스는 제1 애플리케이션 관리 인터페이스(7270) 내에, 검색 입력 영역(7290)(도 72y)을 디스플레이하고(7418); 검색 입력 영역(예컨대, 텍스트 입력(7296) 또는 음성 입력)에 대한 입력을 수신하고; 메시징 사용자 인터페이스 내에서 동작가능한 복수의 애플리케이션들에 대해, 검색 입력 영역 내의 입력을 사용하여 검색(예컨대, 메시징 사용자 인터페이스(7200) 내의 사용을 위해 설치하기 위해 이용가능한 애플리케이션들의 검색, 메시징 사용자 인터페이스(7200) 내의 사용을 위해 이전에 설치된 애플리케이션들의 검색, 및/또는 (예컨대, 애플리케이션 관리 인터페이스(72116)의 토글들(예컨대, 72117, 72118, 72119, 72121, 72123, 72125, 72127)에 의해 표시된 바와 같이) 노출된 상태를 갖는 설치된 애플리케이션들의 검색))을 수행한다. 예를 들어, 도 72y에 도시된 바와 같이 수신된 검색 입력에 응답하여, 애플리케이션들(72102 및 72014)이 도 72z의 검색 결과들로서 디스플레이된다.
제1 애플리케이션 관리 인터페이스(7270) 내에, 메시징 사용자 인터페이스(7200) 내에서 동작가능한 애플리케이션들에 대한 검색을 수행하기 위한 검색 입력 영역(7290)을 디스플레이하는 것은 메시징 사용자 인터페이스(7200)로부터 멀어지도록 내비게이션할 필요 없이 그러한 애플리케이션들에 대한 사용자 검색을 허용한다. 그 결과, 메시징 사용자 인터페이스(7200) 내에서 동작가능한 애플리케이션을 위치찾기하기 위해 요구되는 입력들의 수 및 요구되는 시간이 감소되며, 이는 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 제2 애플리케이션 관리 인터페이스를 디스플레이하는 동안, 디바이스는 복수의 토글들 중 제1 토글(예컨대, 도 72ad의 72118)에 대응되는 위치에서 제4 입력(예컨대, 도 72ad의 포커스 선택자(72122)에 의해 표시된 위치에서의 접촉에 의한 탭 입력)을 검출한다(7420). 제1 토글(72118)은 메시징 애플리케이션의 메시징 사용자 인터페이스(7200) 내에서 동작되는 복수의 애플리케이션들 중 (예컨대, 제1 설치된 애플리케이션과 구별되는) 스티커 애플리케이션과 같은 제2 애플리케이션에 대응된다. 제4 입력을 검출하는 것에 응답하여, 제2 애플리케이션의 현재 상태가(예컨대, 도 72ad의 제1 토글(72118)의 제1 상태에 의해 도시된 바와 같이) 노출된 상태라는 결정에 따라, 디바이스는 제2 애플리케이션의 상태를 (예컨대, 도 72ae의 제1 토글(72118)의 제2 상태에 의해 도시된 바와 같이) 노출된 상태로부터 은폐된 상태로 토글한다. 제2 애플리케이션의 현재 상태가 은폐된 상태라는 결정에 따라, 디바이스는 제2 애플리케이션을 은폐된 상태로부터 노출된 상태로 토글한다. 제1 토글(72118)을 토글한 후, 디바이스는 (제2 애플리케이션 관리 인터페이스(72116)를 종료하기 위한 (예컨대, 어포던스(72130)에서의) 입력 및 뒤이어 제1 애플리케이션 관리 인터페이스(7270)를 나가기 위한 (예컨대, 어포던스(72134)에서의) 입력에 응답하여) 복수의 스크롤가능한 애플리케이션 선택 어포던스들을 포함하는 애플리케이션 선택 영역(7224)을 재-디스플레이한다. 제2 애플리케이션이 노출된 상태에 있다는 결정에 따라, 디바이스는 제2 애플리케이션에 대응되는 제1 애플리케이션 선택 어포던스를 재-디스플레이된 애플리케이션 선택 영역 내에 디스플레이하고, 제2 애플리케이션이 은폐된 상태에 있다는 결정에 따라, 디바이스는 제2 애플리케이션에 대응되는 제1 애플리케이션 선택 어포던스를 재-디스플레이된 애플리케이션 선택 영역 내에 디스플레이하는 것을 보류한다. 예를 들어, 제4 입력에 응답하여, 도 72r에 디스플레이되었던 스티커 애플리케이션 선택 어포던스(7232)는 더 이상 도 72ao에 디스플레이되지 않는다.
설치된 애플리케이션의 숨겨진 상태와 노출된 상태 사이를 토글하기 위한 입력을 수신하는 제2 애플리케이션 관리 인터페이스를 제공하는 것은 설치된 애플리케이션을 완전히 삭제하지 않고 메시징 사용자 인터페이스 내에 애플리케이션을 숨기기 위한 능력을 사용자에게 제공한다. 이는 사용자 디바이스 인터페이스를 보다 효율적으로 만들고, 디바이스의 조작성을 향상시킨다(예컨대, 애플리케이션을 은폐하는 것이 사용자의 필요에 충분한 경우, 사용자가 디바이스를 설치제거하고/하거나 재설치하기 위해 요구되는 입력을 제공할 필요가 없기 때문에 요구되는 입력들의 수가 감소됨).
일부 실시예들에서, 디바이스는 제2 애플리케이션 관리 인터페이스(72116) 내에, 메시징 애플리케이션의 메시징 사용자 인터페이스(7200) 내에서 동작하는 복수의 애플리케이션들에 대응되는 복수의 배열 표지(도 af의 배열 제어부들(72120 및 72131)이 그 예들임)를 디스플레이한다(7422). 복수의 배열 표지는: 메시징 인터페이스 내에서 동작되는 제3 애플리케이션(예컨대, 애플리케이션 관리 목록(72110)에 의해 표시된 바와 같은 타이니 트랜짓 애플리케이션)에 대응되는 제1 배열 표시자(72120) (예컨대, 제3 애플리케이션은 메시징 인터페이스 내에서 동작되는 제2 애플리케이션(7314 참조)과 동일하거나 상이함), 및 메시징 인터페이스(7200) 내에서 동작되는 제4 애플리케이션(예컨대, 애플리케이션 관리 목록(7278)에 의해 표시된 예약 애플리케이션)에 대응되는 제2 배열 표시자(72131)를 포함한다. 제2 애플리케이션 관리 인터페이스(72116)를 디스플레이하는 동안, 디바이스는 터치 감응형 표면 상의 접촉의 이동을 포함하는 제5 입력을 제1 배열 표시자(72120)에 대응되는 제1 위치(예컨대, 도 72af의 포커스 선택자(72124)에 의해 표시된 위치)로부터 검출한다(예컨대, 접촉의 이동은 제1 배열 표시자를 드래그하여 제1 배열 표시자가 접촉의 이동에 따라 이동함). 제5 입력을 검출하는 것에 응답하여, (예컨대, 도 72af 및 도 72ag에 도시된 바와 같은) 터치 감응형 표면 상의 접촉의 이동이 재배열 기준들을 충족한다는 결정에 따라, 디바이스는 제2 배열 표시자(72131)에 상대적으로 제1 배열 표시자(72120)의 순서를 변경한다(예컨대, 도 af 내지 도 aj에 도시된 바와 같이 순서가 변경됨). 일부 실시예들에서, 재배열 기준들은 접촉의 이동이 임계 이동 거리를 초과하여 (예컨대, 상향 방향 또는 하향 방향과 같은 적어도 한 방향으로) 증가하는 경우 충족되는 거리 기준을 포함한다.
애플리케이션 영역과 구별되는 제2 애플리케이션 관리 인터페이스에서의 제2 배열 표시자에 상대적으로 제1 배열 표시자의 순서를 변경하는 것은 사용자-디바이스 인터페이스를 보다 효율적으로 만든다 (예컨대, 애플리케이션 영역과 별개인 위치에 애플리케이션 선택 어포던스들의 재배열을 구현함으로써, 애플리케이션 선택 어포던스들이 애플리케이션 영역에 디스플레이되는 동안, 재배열 모드의 우연한 트리거 가능성을 감소시킴.
일부 실시예들에서, (예컨대, 7422 및 도 af 내지 도 aj와 관련하여 논의된 바와 같이) 제2 배열 표시자에 상대적으로 제1 배열 표시자의 순서를 변경한 후, 디바이스는 (제2 애플리케이션 관리 인터페이스(72116)를 나가기 위한 (예컨대, 어포던스(72130)에서의) 입력과 뒤이어 제1 애플리케이션 관리 인터페이스(7270)를 나가기 위한 (예컨대, 어포던스(72134)에서의) 입력에 응답하여) 복수의 스크롤가능한 애플리케이션 선택 어포던스들을 포함하는 애플리케이션 선택 영역(7224)을 재-디스플레이한다(7424). 디바이스는 재-디스플레이된 애플리케이션 선택 영역(7224)(도 72ao) 내에 복수의 스크롤가능한 애플리케이션 선택 어포던스들의 제2 애플리케이션 선택 어포던스(72126)를 디스플레이하며, 제2 애플리케이션 선택 어포던스(72126)는 메시징 인터페이스(7200) 내에서 동작되는 제3 애플리케이션 및 복수의 스크롤가능한 애플리케이션 선택 어포던스들 중 제3 애플리케이션 선택 어포던스(72128)에 대응되고, 제3 애플리케이션 선택 어포던스(72128)는 메시징 사용자 인터페이스 내에서 동작되는 제4 애플리케이션에 대응된다. 제3 애플리케이션 선택 어포던스(72128)에 상대적인 제2 애플리케이션 선택 어포던스(72126)의 순서는 제2 배열 표시자에 상대적인 제1 배열 표시자의 순서에 대응된다.
제2 배열 표시자에 상대적으로 제1 배열 표시자의 순서를 변경하기 위한 입력에 응답하여 애플리케이션 선택 어포던스들의 순서를 변경하는 것은 (예컨대, 가장 빈번하게 사용되는 애플리케이션 선택 어포던스들을 처음 디스플레이된 애플리케이션 선택 어포던스들의 미리 선택된 세트 내에 또는 그에 근접하게 배치하기 위해 애플리케이션 선택 어포던스들을 재배열함으로써) 사용자에게 사용자-디바이스 인터페이스를 보다 효율적으로 만들 수 있는 능력을 부여한다.
도 74a 내지 도 74d에서의 동작들이 설명된 특정 순서는 단지 일례이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(7400)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(7400)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 74a 내지 도 74d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 동작들 중 하나 이상은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 75a 내지 도 75d는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 방법(7500)을 예시하는 흐름도들이다. 방법(7500)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예를 들어, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(7500)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
디바이스는 디스플레이(예컨대, 터치 스크린(112)) 상에 메시징 사용자 인터페이스(7200)(도 72ap)를 디스플레이한다(7502). 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(7202)을 포함한다.
디바이스(7504)는 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 메시징 세션 내의 제1 메시지(예컨대, 메시지 버블(72140) 내에 디스플레이된 메시지)를 수신하며, 제1 메시지는 외국어 텍스트(72146)(예컨대, 디바이스의 하나 이상의 언어 설정들에 의해 표시된 하나 이상의 모국어들과 상이한 언어의 텍스트)를 포함한다.
제1 메시지를 수신하는 것에 응답하여, 디바이스는 대화 트랜스크립트(7202) 내에 제1 메시지(72140)를 디스플레이한다(7506).
디바이스는 제1 메시지 내의 외국어 텍스트(72146)에 대응되는 제1 위치(예컨대, 도 72ap의 포커스 선택자(72148)에 의해 표시된 위치 또는 도 72au의 포커스 선택자(72154)에 의해 표시된 위치)에서 제1 입력을 검출한다(7508). 예를 들어, 디바이스는 외국어 텍스트(72146)가 디스플레이된 메시지 버블(72140) 내에서, 또는 외국어 텍스트(72146)가 디스플레이된 메시지 버블(72140)에 근접하게, 외국어 텍스트(72146) 상의 접촉에 의한 제스처를 검출한다.
제1 입력이 번역 기준들을 충족한다는 결정에 따라, 외국어 텍스트(72146)에 대응되는 제1 위치에서 제1 입력을 검출하는 것에 응답하여, 디바이스는 외국어 텍스트의 번역을 디스플레이한다(7510)(예컨대, 디바이스는 도 72aq 및 도 72r에 도시된 바와 같이, 외국어 텍스트(72146)의 디스플레이를 번역된 텍스트(72150)로 대체함). 일부 실시예들에서, 제1 메시지 내의 모든 외국어 텍스트가 번역된다. 일부 실시예들에서, 제1 메시지 내의 외국어 텍스트의 일부분이 번역된다. 일부 실시예들에서, 외국어 텍스트는 대화 트랜스크립트 내에 디스플레이되는 모국어 텍스트의 디스플레이 특성과 상이한 디스플레이 특성(예컨대, 글꼴 크기, 글꼴 색상, 글꼴 스타일, (하이라이트, 밑줄, 볼드체, 대문자 및/또는 이탤릭체 등과 같은) 글꼴 효과 및/또는 배경 색상)을 갖는다 (예컨대, 도 72aq 및 도 72ar에 도시된 바와 같이, 외국어 텍스트(72146)는 볼드체로 도시되지 않고 번역된 텍스트(72152)는 볼드체로 도시됨). 일부 실시예들에서, 외국어 텍스트(72146)는 번역된 외국어 텍스트(72152)로 대체된다. 일부 실시예들에서, 외국어 텍스트의 번역(72152)은 외국어 텍스트(72146)와 나란히 디스플레이된다. 제1 입력이 옵션-디스플레이 기준들을 충족한다는 결정에 따라, 디바이스는 복수의 활성화가능한 표지를 디스플레이한다(예컨대, 복수의 활성화가능한 표지는 하나 이상의 확인응답 옵션들 및 확인응답 플래터(72178)(도 72bq) 내의 번역 옵션(72180))을 포함하고/하거나 복수의 활성화가능한 표지는, 활성화될 때, 외국어 텍스트(72146)의 번역의 디스플레이를 야기하는 옵션(72158)을 포함하는 메뉴(72156)(도 72be) 내의 하나 이상의 액션 아이템들을 포함함). 일부 실시예들에서, 제1 입력이 번역 기준들을 충족하지 않고, 옵션-디스플레이 기준들을 충족하지 않는다는 결정에 따라, 전자 디바이스는 제1 메시지 내에(예컨대, 메시지 버블(72140) 내에) 외국어 텍스트(72146)를 디스플레이하는 것을 계속한다. 이 휴리스틱은 외국어 텍스트에 대응되는 위치에서의 입력으로 하여금 (예컨대, 메뉴에서 번역 옵션을 찾고 활성화할 필요 없이) 메시지 텍스트의 번역된 버전이 디스플레이되게 하거나, (예컨대, 추가적인 액션들로의 액세스를 인에이블하기 위해) 복수의 활성화가능한 표지가 디스플레이되게 하는 것 중 어느 하나를 허용한다. 외국어 텍스트에 대응되는 위치에서의 입력에 대한 이 휴리스틱은 (예컨대, 번역을 직접 제공하는 것 뿐만 아니라 다른 옵션들을 제공함으로써) 디바이스의 조작성을 향상시키고, 사용자 디바이스 인터페이스를 보다 효율적으로 만들며, 이는 또한 사용자가 보다 신속하게 효율적으로 디바이스를 사용하는 것을 인에이블함으로써 전력 사용을 감소시키고, 디바이스의 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면 및 터치 감응형 표면과의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함하고, 외국어 텍스트에 대응되는 제1 위치에서 입력을 검출하는 것은 터치 감응형 표면 상의 접촉(예컨대, 도 72ap의 포커스 선택자(72148)에 의해 표시된 위치 또는 도 72au의 포커스 선택자(72154)에 의해 표시된 위치에서 접촉)을 검출하는 것(7512)을 포함한다. 제1 입력이 번역 기준들을 충족한다는 결정은 옵션-디스플레이 기준들이 충족되기 전에 터치 감응형 표면으로부터 접촉이 리프트 오프된다는 결정을 포함한다(예컨대, 예를 들어 도 72ar 내지 도 72aq에 도시된 바와 같이, 번역 세기 기준들은 탭 입력이 수신될 시에 충족됨). 제1 입력이 옵션-디스플레이 기준들을 충족한다는 결정은 예컨대, 도 72au 및 도 72av에 도시된 바와 같이, 터치 감응형 표면과의 접촉의 특성 세기가 옵션-디스플레이 세기 기준들을 충족한다는 결정을 포함한다(예컨대, 옵션-디스플레이 세기 기준들은 접촉의 특성 세기가 가볍게 누르기 세기 임계치 레벨(ITL) 또는 깊게 누르기 세기 임계치(ITD)와 같은 제2 세기 임계치를 초과하여 증가하는 경우에 충족됨).
사용될 외국어 텍스트에 대응되는 위치에서의 접촉 세기 기준들을 사용하여 (예컨대, 메뉴에서 번역 옵션을 찾고 활성화시킬 필요 없이) 텍스트 메시지의 번역된 버전이 디스플레이되게 하거나, (예컨대, 추가적인 액션들로의 액세스를 인에이블하기 위해) 복수의 활성화가능한 표지가 디스플레이되게 하는 것은, (예컨대, 직접 번역을 제공하는 것 뿐만 아니라 다른 옵션들을 제공함으로써) 디바이스의 조작성을 향상시키고, 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면을 포함하며, 외국어 텍스트에 대응되는 제1 위치에서 입력을 검출하는 것은 터치 감응형 표면 상의 접촉(예컨대, 도 72bu-2의 포커스 선택자(72186)에 의해 표시된 위치에서의 접촉 또는 도 72bv-2의 포커스 선택자(72188)에 의해 표시된 위치에서의 접촉)을 검출하는 것을 포함한다(7514). 제1 입력이 번역 기준들을 충족한다는 결정은 번역 지속기간 기준들이 충족되기 전에 접촉이 터치 감응형 표면으로부터 리프트 오프된다는 결정을 포함한다(예컨대, 예를 들어 도 72bu-2 내지 도 72bu-4에 도시된 바와 같이, 입력이 탭 입력임). 제1 입력이 옵션-디스플레이 기준들을 충족한다는 결정은 터치 감응형 표면 상의 접촉의 지속기간이 옵션 디스플레이 지속기간 기준들을 충족한다는 결정을 포함한다 (예컨대, 예를 들어, 도 72bv-2 내지 도 72bv-4에 도시된 바와 같이, 접촉의 지속기간이 길게 누르기 지속기간 임계치와 같은 지속기간 임계치를 만족하는 경우, 옵션 디스플레이 지속기간 기준들이 충족됨).
접촉 지속기간 기준들을 사용하여 (예컨대, 메뉴에서 번역 옵션을 찾고 활성화시킬 필요 없이) 텍스트 메시지의 번역된 버전이 디스플레이되게 하거나, (예컨대, 추가적인 액션들로의 액세스를 인에이블하기 위해) 복수의 활성화가능한 표지가 디스플레이되게 하는 것은 (예컨대, 직접 번역을 제공하는 것 뿐만 아니라 다른 옵션들을 제공함으로써) 디바이스의 조작성을 향상시키고, 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면(112) 및 터치 감응형 표면(112) 위의 입력 객체(72192)의 근접을 검출하도록 구성된 하나 이상의 센서들을 포함하며, 외국어 텍스트에 대응되는 제1 위치에서 입력을 검출하는 것은 입력 객체(72192)에 의한 입력(예컨대, 도 72bw 포커스 선택자(72190)에 의해 표시된 위치에서의 입력)을 검출하는 것을 포함한다(7516). 제1 입력이 번역 기준들을 충족한다는 결정은 입력 객체(72192)에 의한 입력이 호버 근접 기준들을 충족한다는 결정을 포함한다. 예를 들어, 입력 객체 (72192)가 터치 감응형 표면(112) 위의 호버 근접 범위 내에 있고(예컨대, 도 72bx에 도시된 바와 같이, 입력 객체(72192)와 터치 스크린(112) 사이의 거리(72196)가 임계 호버 거리 미만으로 감소됨), 입력 객체 (72192)가 터치 감응형 표면과 접촉하지 않는 경우에 호버 근접 기준들이 충족된다. 일부 실시예들에서, 번역 기준들이 호버 근접 기준들을 포함하는 경우, 옵션-디스플레이 기준들은 터치 감응형 표면들과의 접촉의 지속기간이 지속기간 임계치(예컨대, 탭 임계치 또는 길게 누르기 지속기간 임계치)를 초과하는 경우에 충족되고, 접촉의 특성 세기가 임계 세기 레벨(예컨대, 가볍게 누르기 세기 임계치(ITL) 또는 깊게 누르기 세기 임계치(ITD))을 초과하여 증가하거나; 또는 터치 감응형 표면들과의 접촉이 리프트 오프되고, 후속적으로 외국어 텍스트에 대응되는 위치에서 터치 다운되고, 이어서 더블 탭 기준들을 충족하는 시간의 지속기간 내에 다시 리프트 오프된다.
일부 실시예들에서, 제1 입력이 번역 기준들을 충족한다는 결정은 제1 입력에 대응되는 포커스 선택자(예컨대, 도 72cp의 포커스 선택자(72200))가 제1 메시지 내의 외국어 텍스트(72146)의 다른 부분에 대응되는 제2 위치로부터 외국어(72146)에 대응되는 제1 위치로 이동했다는 결정(7518)을 포함한다(예컨대, 포커스 선택자(72200)는 도 72cp에 도시된 바와 같은 제1 위치로부터 도 72cr에 도시된 바와 같은 제2 위치로 이동함). 일부 실시예들에서, 제1 위치와 제2 위치 사이의 외국어 텍스트가 번역된다(예컨대, 도 72cs에 도시된 바와 같이, 제1 메시지 내의 외국어 텍스트(72146) 전체 미만이 번역됨). 일부 실시예들에서, 제1 메시지 내의 모든 외국어 텍스트가 번역된다. 일부 실시예들에서, 제1 위치 또는 그에 근접한 모든 외국어 텍스트의 연속적인 섹션(예컨대, 제1 메시지의 전체 미만인 외국어 텍스트)이 번역된다. 손가락(또는 다른 접촉)이 위로 이동하는 위치들에서의 텍스트를 번역하는 것은 사용자가 외국어 텍스트를 학습하도록 도울 수 있다.
일부 실시예들에서, 제1 입력이 번역 기준들을 충족한다는 결정에 따라 외국어 텍스트의 번역을 디스플레이하는 것은 외국어 텍스트의 제1 부분의 번역을 디스플레이하는 것(7520)을 포함한다(예컨대, 도 72cv에 도시된 바와 같이, 일부분(72210)은 외국어 텍스트(72146)의 일부분(72208)에 대응되는 단일 번역된 단어를 포함함). 외국어 텍스트(72146)의 제1 부분(72210)의 번역을 디스플레이하는 동안, 디바이스는 제1 입력(예컨대, 포인터 입력, 터치 감응형 표면과의 접촉 또는 호버 근접 기준들을 충족하는 입력 객체에 의한 입력)에 대응되는 포커스 선택자(72206)의 외국어 텍스트의 다른 부분에 대응되는 제2 위치로의 이동(예컨대, 도 72cx의 포커스 선택자(72206)에 의해 도시된 바와 같음)을 검출한다. 포커스 선택자의 제2 위치로의 이동을 검출하는 것에 응답하여, 디바이스는 외국어 텍스트의 제2 부분의 번역을 디스플레이한다(예컨대, 일부분(72210)은 도 72cx에 도시된 바와 같이, 외국어 텍스트(72146)의 일부분(72208)에 대응되는 다수의 번역된 단어들을 포함함). 일부 실시예들에서, 제2 부분은 제1 부분을 포함한다(예컨대, 외국어 텍스트의 번역은 입력이 이동함에 따라 점차적으로 노출됨). 일부 실시예들에서, 제2 부분은 제1 부분과 구별된다(예컨대, 번역된 외국어 텍스트의 일부분은 입력이 이동함에 따라 일시적으로 노출됨).
포커스 선택자의 이동에 응답하여 메시지의 번역된 텍스트를 점차적으로 노출하는 것은 원하는 경우, 외국어 텍스트의 일부분을 번역되지 않은 채로 유지하는 동안 외국어 텍스트의 일부분의 번역이 디스플레이되도록 허용한다. 이러한 방식으로 번역을 디스플레이하는 것은 디바이스에 의해 제공되는 개인 정보 보호를 향상시킨다(예컨대, 외국어 텍스트의 일부분의 번역되지 않은 버전을 디스플레이하는 것을 계속함으로써, 외국어 텍스트가 디바이스의 주변에 있는 다른 사람들에 의해 읽혀질 수 없게 되면서 보안을 제공함).
일부 실시예들에서, 디바이스는 메시징 세션 내에서 제2 메시지(예컨대, 메시지 버블(72142) 내에 디스플레이된 메시지)를 수신한다(7522). 제2 메시지가 외국어 텍스트를 포함한다는 결정에 따라, 그리고 옵션디스플레이 기준들이 충족된다는 결정에 따라, 디바이스는 복수의 활성화가능한 표지 내에, 활성화될 때, (예컨대, 도 72be의 7510 및 옵션 72158과 관련하여 설명된 바와 같이) 제2 메시지 내의 외국어 텍스트의 번역의 디스플레이를 야기하는 활성화가능한 표시자를 디스플레이한다. 제2 메시지가 외국어 텍스트를 포함하지 않는다는 결정에 따라, 그리고 옵션-디스플레이 기준들이 충족된다는 결정에 따라, 디바이스는 (예컨대, 도 72bj에 도시된 바와 같이) 활성화가능한 표시자를 디스플레이하지 않으면서, 복수의 활성화가능한 표지를 디스플레이한다. 일부 실시예들에서, 전자 디바이스는 수신된 메시지가 외국어 텍스트를 포함하는지 여부를 결정한다. 일부 실시예들에서, 전자 디바이스로부터 원격인 디바이스(예컨대, 메시징 기능들을 지원하는 서버)는 수신된 메시지가 외국어 텍스트를 포함하는지 여부를 결정한다.
디스플레이된 복수의 활성화가능한 표지(예컨대, 메뉴 또는 확인응답 플래터) 내에 번역된 외국어 텍스트를 디스플레이하기 위한 활성화가능한 표시자를 자동으로 포함하는 것은 번역 옵션이 필요하지 않는 경우에 복수의 활성화가능한 표지 사이에 공간을 소비하지 않고 번역을 위한 추가적인 제어 옵션을 제공한다. 이 휴리스틱은 디바이스의 조작성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만든다(예컨대, 복수의 활성화가능한 표지에 의해 소비되는 디스플레이 공간을 줄이고, 메시지 내에 외국어 텍스트가 부재한 경우에 의도하지 않은 번역 제어의 선택을 제거함).
일부 실시예들에서, (예컨대, 도 72db에 도시된 바와 같이) 외국어 텍스트의 번역(72150)을 디스플레이하는 동안, 디바이스는 외국어 텍스트의 번역이 번역 디스플레이 중지 기준들을 충족하는지 여부를 결정한다(7526)(예컨대, 제1 입력의 접촉의 특성 세기가 터치 감응형 표면으로부터의 접촉의 리프트 오프 전에 (깊게 누르기 세기 임계치 레벨 (ITD)과 같은) 제2 세기 임계치 레벨을 초과하여 증가시키지 않고, (가볍게 누르기 세기 임계치 레벨(ITL)과 같은) 제1 세기 임계치 레벨 미만으로 감소하는지 여부를 결정, 번역된 외국어 텍스트가 디스플레이된 이후의 시간량이 임계 시간 한계를 초과하는지 여부를 결정 및/또는 제1 입력의 접촉이 터치 감응형 표면으로부터 리프트 오프했는지 여부를 결정함). (예컨대, 도 72db 및 도 72dc에 도시된 바와 같이) 외국어 텍스트의 디스플레이된 번역이 번역-디스플레이-중지 기준들을 충족한다는 결정에 따라, 디바이스는 외국어 텍스트의 번역을 디스플레이하는 것을 중지하고, 대응되는 외국어 텍스트를 재-디스플레이한다. 외국어 텍스트의 디스플레이된 번역이 번역-디스플레이-중지 기준들을 충족하지 않는다는 결정에 따라, 디바이스는 (예컨대, 도 de 내지 도 di에 도시된 바와 같이) 외국어 텍스트의 번역을 디스플레이하는 것을 계속한다.
일부 실시예들에서, 번역된 외국어 텍스트는 특성 세기 기준들 및/또는 접촉 지속기간 기준들을 충족하는 접촉에 의한 입력에 응답하여 디스플레이되고, 번역된 외국어 텍스트는 접촉이 터치 감응형 표면으로부터 리프트 오프하는 경우에 디스플레이되는 것을 중지한다. 예를 들어, 메시지들의 번역이 언어 학습에 사용되는 경우, 사용자는 번역되지 않은 버전의 외국어 텍스트를 재-디스플레이하여 번역된 텍스트와 번역되지 않은 텍스트 사이의 연결의 학습을 용이하게 하기를 원할 수 있다.
일부 실시예들에서, 하나 이상의 활성화가능한 표지는 미리 정의된 시간의 지속기간 동안 번역된 외국어 텍스트를 디스플레이하기 위한 옵션을 포함한다. 일부 실시예들에서, 미리 정의된 시간의 지속기간 동안 번역된 외국어 텍스트를 디스플레이하기 위한 옵션이 선택된다는 결정에 따라, 번역된 외국어 텍스트가 디스플레이되고, 미리 정의된 시간의 지속기간 후에, 번역된 외국어 텍스트는 번역되지 않은 외국어 텍스트로 복귀한다.
번역-디스플레이-종료 기준들이 충족된 경우 외국어 텍스트를 자동으로 재-디스플레이하는 것은 번역을 디스플레이한 입력에 뒤이어 추가 사용자 입력을 요구하지 않고도 번역되지 않은 외국어 텍스트가 재-디스플레이되도록 허용한다. 추가적인 사용자 입력을 요구하지 않고 번역되지 않은 외국어 텍스트를 자동으로 재-디스플레이하는 것은 디바이스를 동작하는 데 요구되는 입력들의 수를 감소시킴으로써 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 외국어 텍스트의 번역(72146)을 디스플레이하는 동안, 디바이스는 (예컨대, 도 72as에 도시된 바와 같이, 포커스 선택자(72148)에 의해 표시된 위치에서의 접촉에 의한) 제2 입력을 외국어 텍스트의 번역(72150)에 대응되는 제3 위치(예컨대, 제1 위치와 동일하거나, 제2 위치와 동일하거나, 제1 위치 및 제2 위치와 구별되는 위치)에서 검출한다(7526). 번역된 외국어 텍스트(72150)에 대응되는 제3 위치에서 제2 입력을 검출하는 것에 응답하여, 제2 입력이 재-디스플레이 기준들을 충족한다는 결정에 따라, 디바이스는 (예컨대, 도 72as 및 도 72at에 도시된 바와 같이) 외국어 텍스트의 번역(72150)을 디스플레이하는 것을 중지하고, 대응되는 외국어 텍스트(72146)를 재-디스플레이한다. 일부 실시예들에서, 외국어 텍스트의 번역을 디스플레이하는 데 사용되는 동일한 유형의 입력이 원래의 번역되지 않은 외국어 텍스트를 재-디스플레이하는 데 사용된다. 일부 실시예들에서, 외국어 텍스트의 번역을 디스플레이하는 것은 비가역적(irreversible)이다.
일부 실시예들에서, 외국어 텍스트의 번역을 디스플레이하는 동안, 디바이스는 외국어 텍스트의 번역(72150)에 대응되는 제4 위치(예컨대, 도 72bc의 포커스 선택자(72164)에 의해 표시된 위치)(예컨대, 제1 위치와 동일하거나, 제2 위치와 동일하거나, 제3 위치와 동일하거나, 제1, 제2 및 제3 위치와 구별되는 위치)에서 제3 입력을 검출한다(7528). 외국어 텍스트의 번역(72150)에 대응되는 제4 위치에서 제3 입력을 검출하는 것에 응답하여, 제3 입력이 옵션-디스플레이 기준들을 충족한다는 결정에 따라, 복수의 활성화가능한 표지(예컨대, 메뉴(72156) 내에 디스플레이된 액션 아이템들)를 디스플레이하며, 복수의 활성화가능한 표지는, 활성화될 때, (예컨대, 도 72bb 내지 도 72bf에 도시된 바와 같이) 원래의 번역되지 않은 외국어 텍스트(72146)가 재-디스플레이되게 하는 활성화가능한 표시자(72158)를 포함한다.
사용자 입력에 응답하여 외국어 텍스트를 재-디스플레이하기 위한 활성화가능한 표시자를 디스플레이하는 것은 이전에 수행된 번역을 취소하기 위한 추가적인 제어의 지속적 디스플레이 없이, 제어들이 필요에 따라 디스플레이되면서 번역되지 않은 외국어 텍스트가 재-디스플레이되도록 허용한다. 이것은 디바이스의 조작성을 향상시키고 (예컨대, 메시지 콘텐츠를 메시징 사용자 인터페이스 내에 디스플레이하기 위해 이용가능한 공간을 감소시키지 않으면서 메시징 사용자 인터페이스에 추가된 기능성을 제공함으로써) 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
도 75a 내지 도 75d에서의 동작들이 설명된 특정 순서는 단지 일례이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(7500)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(7500)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 75a 내지 도 75d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 동작들 중 하나 이상은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
도 76a 내지 도 76c는 일부 실시예들에 따른, 메시징 애플리케이션 내의 메시지 콘텐츠를 번역하기 위한 방법(7600)을 예시하는 흐름도들이다. 방법(7600)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예를 들어, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 디스플레이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(7600)에서의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서는 옵션적으로 변경된다.
디바이스는 디스플레이(예컨대, 터치 스크린(112))에 의해, 디스플레이 상에 메시징 사용자 인터페이스(7200)(도 72ap)를 디스플레이한다(7602). 메시징 사용자 인터페이스는 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트(7202)을 포함한다.
디바이스는 메시징 세션에 포함된 다른 사용자에 대응되는 전자 디바이스로부터 메시징 세션 내의 제1 메시지(예컨대, 메시지 버블(72140) 내에 디스플레이된 메시지)를 수신하며, 제1 메시지는 외국어 텍스트(72146)(예컨대, 디바이스의 하나 이상의 언어 설정들에 의해 표시된 하나 이상의 모국어들과 상이한 언어의 텍스트)를 포함한다(7604).
제1 메시지를 수신하는 것에 응답하여, 디바이스는 대화 트랜스크립트(7202) 내에 제1 메시지(72140)를 디스플레이한다(7606).
디바이스는 제1 메시지 내의 외국어 텍스트(72146)에 대응되는 위치(예컨대, 도 72ap의 포커스 선택자(72148)에 의해 표시된 위치 또는 도 72au의 포커스 선택자(72154)에 의해 표시된 위치)에서 제1 입력을 검출한다(7608). 예를 들어, 디바이스는 외국어 텍스트(72146)가 디스플레이된 메시지 버블(72140) 내에서, 또는 외국어 텍스트(72146)가 디스플레이된 메시지 버블(72140)에 근접하게, 외국어 텍스트(72146) 상의 접촉에 의한 제스처를 검출한다.
외국어 텍스트(72146)에 대응되는 위치에서 제1 입력을 검출하는 것에 응답하여, 제1 입력이 번역 기준들을 충족한다는 결정에 따라, 디바이스는 외국어 텍스트 번역 액션을 수행한다(7610)(예컨대, 외국어 텍스트(72146)를 번역하기 위한 활성화가능한 옵션(예컨대, 메뉴(72156)의 옵션(72178) 또는 플래터(72158)의 옵션(72180))을 포함하는 메뉴(72156)(도 72be) 또는 플래터(72178)(도 72bq)를 디스플레이하고, 외국어 텍스트(72146)를 번역하고/하거나 외국어 텍스트의 번역(72150)을 디스플레이함). 제1 입력이 번역 기준들을 충족하지 못한다는 결정에 따라, 디바이스는 외국어 텍스트 번역 액션의 수행을 보류한다.
수신된 메시지 내의 외국어 텍스트에 대응되는 위치에서, 수신된 사용자 입력에 응답하여 외국어 텍스트를 번역 및/또는 디스플레이하는 것은 번역을 획득하기 위한 추가적인 제어들을 디스플레이하지 않고 번역된 텍스트가 디스플레이되도록 허용한다. 번역을 위한 추가적인 제어들의 지속적 디스플레이 없이 외국어 텍스트를 번역하기 위한 활성화가능한 옵션을 제공하는 것은 (예컨대, 메시징 사용자 인터페이스 내에 메시지 콘텐츠를 디스플레이하기 위해 이용가능한 공간을 지속적으로 감소시키지 않으면서 메시징 사용자 인터페이스에 추가된 기능성을 제공함으로써) 디바이스의 조작성을 향상시키고, 사용자 디바이스 인터페이스를 보다 효율적으로 만들며, 이는 또한 사용자가 보다 신속하고 효율적으로 디바이스를 사용할 수 있게 함으로써 전력 사용을 감소시키고, 디바이스의 배터리 수명을 개선한다.
일부 실시예들에서, 전자 디바이스는 터치 감응형 표면(112) 및 터치 감응형 표면(112)과의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함한다(7612). 일부 실시예들에서, 외국어 텍스트(72146)에 대응되는 제1 위치(도 72dc의 예컨대, 포커스 선택자(72190)에 의해 표시된 위치)에서 제1 입력을 검출하는 것은 터치 감응형 표면 상의 접촉을 검출하는 것을 포함한다. 제1 입력이 임시 번역 디스플레이 기준들을 충족한다는 결정에 따라 (예컨대, 제1 입력의 접촉의 특성 세기가 터치 감응형 표면으로부터의 접촉의 리프트 오프 전에 (깊게 누르기 세기 임계치 레벨 (ITD)과 같은) 제2 세기 임계치 레벨을 초과하여 증가시키지 않고, (가볍게 누르기 세기 임계치 레벨(ITL)과 같은) 제1 세기 임계치 레벨 미만으로 감소하는 경우 기준들이 충족됨) (예컨대, 도 72da 내지 도 72dc에 도시된 바와 같이) 외국어 텍스트 번역 액션을 수행하는 것은 외국어 텍스트의 번역을 일시적으로 디스플레이하는 것을 포함한다. 일부 실시예들에서, 임시 번역 디스플레이 기준들이 충족되는 경우, 번역된 외국어 텍스트(72150)는 (예컨대, 외국어 텍스트 재-디스플레이 기준들을 충족하는 후속적인 입력이 수신되거나, 접촉이 리프트 오프할 때까지, 미리 결정된 시간량 동안) 임시적으로 디스플레이되고, 그 후에 원래의 번역되지 않은 외국어 텍스트(72146)가 재-디스플레이된다.
일부 실시예들에서, 제1 입력이 고정 번역 디스플레이 기준들을 충족한다는 결정에 따라, 외국어 텍스트 번역 액션을 수행하는 것은 (예컨대, 도 72dd 내지 도 72di에 도시된 바와 같이) 외국 텍스트(72146)의 디스플레이를 외국어 텍스트의 번역(72150)으로 고정적으로 대체하는 것을 포함한다(7614). 일부 실시예들에서, 번역된 외국어 텍스트는 고정적으로(예컨대, 제1 메시지가 메시징 세션 내에 디스플레이되는 후속 시간 동안) 디스플레이된다. 일부 실시예들에서, 접촉 세기 기준들은 입력이 임시 번역 디스플레이 기준들을 충족하고 번역이 임시적으로 디스플레이되는지 또는 입력이 고정 번역 디스플레이 기준들을 충족하고 번역이 고정적으로 디스플레이되는지 여부를 결정하는데 사용된다. 예를 들어, (예컨대, 도 72cy 내지 도 72dd에 도시된 바와 같이) 번역은 가볍게 누르기에 응답하여 일시적으로 디스플레이되고, (예컨대, 도 72dd 내지 도 72di에 도시된 바와 같이) 번역은 깊게 누르기에 응답하여 고정적으로 디스플레이되고, 또는 그 반대의 경우도 마찬가지이다.
메시지에 외국어 텍스트의 번역을 임시적으로 또는 고정적으로 디스플레이할지 여부를 결정하기 위해 접촉 세기 기준들을 사용하는 것은 접촉에 의한 단일 입력이 번역의 임시 디스플레이 또는 고정 디스플레이 중 임의의 하나에 대해 사용되는 것을 허용한다. 접촉에 의한 단일 입력에 응답하여, 다수의 가능한 동작들을 인에이블하는 것은 디바이스의 조작성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만들며, 이는 또한 사용자로 하여금 보다 신속하게 효율적으로 디바이스를 사용할 수 있게 함으로써 전력 사용을 감소시키고, 디바이스의 배터리 수명을 개선한다.
일부 실시예들에서, 제1 입력이 고정 번역 디스플레이 기준들을 충족한다는 결정은 (예컨대, 도 72dd 내지 도 72di에 대해 설명된 바와 같이) 터치 감응형 표면 상의 접촉의 특성 세기가 고정 번역 세기 기준들을 충족한다는 결정을 포함한다(7616). 일부 실시예들에서, 고정 번역 세기 기준들은 접촉의 특성 세기가 깊게 누르기 세기 임계치(ITD)와 같은 제2 세기 임계치를 초과하여 증가하는 경우에 충족된다.
일부 실시예들에서, 제1 입력이 고정 번역 디스플레이 기준들을 충족한다는 결정은 터치 감응형 표면 상의 접촉의 지속기간이 고정된 번역 지속기간 기준들을 충족한다는 결정을 포함한다(7618). 일부 실시예들에서, 고정된 번역 지속기간 기준들은 접촉 기간이 길게 누르기 지속기간 임계치와 같은 시간 임계치를 초과하여 증가하는 경우에 충족된다.
일부 실시예들에서, 외국어 텍스트 번역 액션을 수행하는 것은 외국어 텍스트의 번역(72150)을 디스플레이하고; 터치 감응형 표면으로부터 접촉의 리프트 오프가 발생했는지 여부를 결정하고; 터치 감응형 표면으로부터 접촉의 리프트 오프를 검출하는 것에 응답하여, 외국어 텍스트의 번역(72150)을 디스플레이하는 것을 중지(및 일부 실시예들에서, 외국어 텍스트(72146)를 재-디스플레이)하는 것을 포함한다(7620).
터치 감응형 표면으로부터 접촉의 리프트 오프를 검출하는 것에 응답하여, 번역된 외국어 텍스트를 디스플레이하는 것을 중지하는 것은 메시징 사용자 인터페이스를 추가적인 디스플레이된 제어부들로 난잡하게 하지 않으면서 추가적인 제어 옵션을 제공한다. 메시징 UI를 난잡하게 하지 않으면서 추가적인 제어 옵션들을 제공하는 것은 디바이스의 조작성을 향상시키고 (예컨대, 메시징 사용자 인터페이스 내에 메시지 콘텐츠를 디스플레이하기 위해 이용가능한 공간을 감소시키지 않으면서 메시징 사용자 인터페이스에 추가된 기능성을 제공함으로써) 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 외국어 텍스트 번역 액션을 수행하는 것은, 복수의 활성화가능한 표지를 포함하는 플래터(72178)(도 72bq)(예컨대, 하트, 썸즈 업, 및 썸즈 다운와 같은 옵션들을 갖는, 수신된 메시지에 응답하기 위한 확인응답 옵션 메뉴)를 (예컨대, 제1 메시지를 부분적으로 오버레이하거나 또는 제1 메시지에 근접한 것과 같이, 디스플레이된 제1 메시지에 대응되는 위치에서) 대화 트랜스크립트 위로 디스플레이하는 것을 포함하며, 복수의 활성화가능한 표지는, 활성화될 때, 외국어 텍스트의 적어도 일부분에 대한 번역의 디스플레이를 중지하는 번역 표시자(72180)를 포함한다(7622).
사용자 입력에 응답하여 외국어 텍스트의 적어도 일부분을 번역하기 위한 활성화가능한 표시자를 디스플레이하는 것은 번역을 수행하기 위한 추가적인 제어를 지속적으로 디스플레이를 하지 않고 제어부들이 필요에 따라 디스플레이되면서 번역된 외국어 텍스트가 디스플레이되도록 허용한다. 번역을 위한 추가적인 제어를 지속적으로 디스플레이하지 않고 외국어 텍스트를 번역하기 위한 활성화가능한 옵션을 제공하는 것은 (예컨대, 메시징 사용자 인터페이스 내에 메시지 콘텐츠를 디스플레이하기 위해 이용가능한 공간을 감소시키지 않으면서 메시징 사용자 인터페이스에 추가된 기능성을 제공함으로써) 디바이스의 조작성을 향상시키고, 사용자 디바이스 인터페이스를 보다 효율적으로 만든다.
일부 실시예들에서, 전자 디바이스는 (예컨대, 도 72bw 및 도 72bx에 도시된 바와 같이), 터치 감응형 표면(112) 및 터치 감응형 표면(112) 위의 입력 객체(72192)에 의한 입력의 근접을 검출하도록 구성된 하나 이상의 센서들을 포함하며, 외국어 텍스트(72146)에 대응되는 제1 위치(예컨대, 포커스 선택자(72190)에 의해 표시된 위치)에서의 입력을 검출하는 것은 입력 객체(72192)에 의한 입력을 검출하는 것을 포함하고(7624); 제1 입력이 번역 기준들을 충족한다는 결정은 입력 객체에 의한 입력이 호버 근접 기준들을 충족한다는 결정을 포함한다(예컨대, 도 72bx에 도시된 바와 같이, 72192와 터치 스크린(112) 사이의 거리가 임계 호버 거리 미만으로 감소함). 일부 실시예들에서, 호버 근접 기준들은 입력 객체가 터치 감응형 표면 위로 임계 호버 거리 내에 있고, 터치 감응형 표면(112)과 접촉하지 않는 경우에 충족된다.
일부 실시예들에서, 제1 입력이 번역 기준들을 충족한다는 결정은 제1 입력에 대응되는 포커스 선택자(예컨대, 도 72cp의 포커스 선택자(72200))가 외국어 텍스트(72146)의 다른 부분에 대응되는 제2 위치로부터 외국어(72146)에 대응되는 제1 위치로 이동했다는 결정을 포함한다(7626)(예컨대, 포커스 선택자(72200)는 도 72cp에 도시된 바와 같은 제1 위치로부터 도 72cr에 도시된 바와 같은 제2 위치로 이동함). 일부 실시예들에서, 제1 위치와 제2 위치 사이의 외국어 텍스트가 번역된다(예컨대, 제1 메시지 내의 외국어 텍스트 전체 미만이 번역됨). 일부 실시예들에서, 제1 메시지 내의 모든 외국어 텍스트가 번역된다. 일부 실시예들에서, 제1 위치 또는 그에 근접한 모든 외국어 텍스트의 연속적인 섹션(예컨대, 제1 메시지의 전체 미만인 외국어 텍스트)이 번역된다. 손가락(또는 다른 접촉)이 위로 이동하는 위치들에서의 텍스트를 번역하는 것은 사용자가 외국어 텍스트를 학습하도록 도울 수 있다.
일부 실시예들에서, 제1 입력이 번역 기준들을 충족한다는 결정에 따라 외국어 텍스트의 번역을 디스플레이하는 것은 외국어 텍스트의 제1 부분의 번역을 디스플레이하는 것을 포함한다(7628)(예컨대, 도 72cv에 도시된 바와 같이, 일부분(72210)은 외국어 텍스트(72146)의 일부분(72208)에 대응되는 단일 번역된 단어를 포함함). 외국어 텍스트(72146)의 제1 부분(72210)의 번역을 디스플레이하는 동안, 디바이스는 제1 입력(예컨대, 포인터 입력, 터치 감응형 표면과의 접촉 또는 호버 근접 기준들을 충족하는 입력 객체에 의한 입력)에 대응되는 포커스 선택자(72206)의 외국어 텍스트의 다른 부분에 대응되는 제2 위치로의 이동(예컨대, 도 72cx의 포커스 선택자(72206)에 의해 도시된 바와 같음)을 검출한다(7628). 포커스 선택자의 제2 위치로의 이동을 검출하는 것에 응답하여, 디바이스는 외국어 텍스트의 제2 부분의 번역을 디스플레이한다(예컨대, 일부분(72210)은 도 72cx에 도시된 바와 같이, 외국어 텍스트(72146)의 일부분(72208)에 대응되는 다수의 번역된 단어들을 포함함). 일부 실시예들에서, 제2 부분은 제1 부분을 포함한다(예컨대, 외국어 텍스트의 번역은 입력이 이동함에 따라 점차적으로 노출됨). 일부 실시예들에서, 제2 부분은 제1 부분과 구별된다(예컨대, 번역된 외국어 텍스트는 입력 이동에 따라 일시적으로 노출됨).
포커스 선택자의 이동에 응답하여 메시지의 번역된 텍스트를 점차적으로 노출하는 것은 원하는 경우, 외국어 텍스트의 일부분을 번역되지 않은 채로 유지하는 동안 외국어 텍스트의 일부분의 번역이 디스플레이되도록 허용한다. 이러한 방식으로 번역을 디스플레이하는 것은 디바이스에 의해 제공되는 개인 정보 보호를 향상시킨다(예컨대, 외국어 텍스트의 일부분의 번역되지 않은 버전을 디스플레이하는 것을 계속함으로써, 외국어 텍스트가 디바이스의 주변에 있는 다른 사람들에 의해 읽혀질 수 없게 되면서 보안을 제공함).
도 76a 내지 도 76c에서의 동작들이 설명된 특정 순서는 단지 일례이며 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 또한, 본 명세서에 설명된 다른 방법들과 관련하여 본 명세서에 설명된 다른 프로세스들의 상세사항들 또한 위에 설명된 방법들(7600)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(7600)을 참조하여 위에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들은, 옵션적으로, 본 명세서에 설명된 다른 방법들을 참조하여 본 명세서에 설명된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 선택자들, 및 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 76a 내지 도 76d를 참조하여 위에 설명된 동작들은 옵션적으로 도 1a 및 도 1b에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 동작들 중 하나 이상은 옵션적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브이벤트, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전에 대응되는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각자의 미리 정의된 이벤트 또는 서브이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 교시 내용들의 관점에서 가능하다. 본 발명의 원리 및 그의 실제적인 응용을 가장 잘 설명하여 다른 당업자들이 본 발명 및 설명된 다양한 실시예를 고려되는 특정 용도에 적합한 바와 같은 다양한 변형과 함께 가장 잘 사용하는 것을 가능하게 하도록 실시예들이 선택 및 설명되었다.

Claims (20)

  1. 방법으로서,
    하나 이상의 프로세서들, 메모리, 터치 감응형 표면 및 디스플레이를 갖는 전자 디바이스에서:
    상기 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 상기 메시징 사용자 인터페이스는:
    상기 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및
    상기 메시징 세션 내의 상기 사용자의 상기 전자 디바이스로부터 상기 적어도 하나의 타 사용자로 전송된 상기 메시징 세션 내의 제1 메시지를 포함하는 제1 메시지 구역을 포함함 -;
    상기 제1 메시지를 편집하라는 요청에 대응되는 제1 입력을 검출하는 단계;
    상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 메시지, 키보드 및 업데이트 어포던스를 포함하는 상기 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하는 단계;
    상기 제1 메시지에 대한 상기 메시지 편집 인터페이스를 디스플레이하는 동안:
    상기 제1 메시지를 개정하는(revise) 하나 이상의 입력들을 검출하는 단계;
    상기 제1 메시지의 개정된 버전을 디스플레이하는 단계; 및
    상기 업데이트 어포던스를 활성화하는 입력을 검출하는 단계; 및
    상기 업데이트 어포던스를 활성화하는 상기 입력을 검출하는 것에 응답하여:
    상기 제1 메시지에 대한 상기 메시지 편집 인터페이스를 디스플레이하는 것을 중지하는 단계;
    상기 제1 메시지 대신에 상기 제1 메시지의 상기 개정된 버전을 상기 대화 트랜스크립트 내에 디스플레이하는 단계;
    상기 제1 메시지의 개정에 대한 적어도 하나의 표시를 상기 대화 트랜스크립트 내에 디스플레이하는 단계; 및
    상기 메시징 세션에 포함된 상기 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 상기 제1 메시지의 상기 개정된 버전을 송신하는 단계를 포함하며, 상기 메시징 세션에 포함된 상기 적어도 하나의 타 사용자에 대응되는 상기 하나 이상의 전자 디바이스들은 상기 제1 메시지 대신에 상기 제1 메시지의 상기 개정된 버전을 상기 제1 메시지의 상기 개정에 대한 상기 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 상기 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하는, 방법.
  2. 제1항에 있어서, 상기 대화 트랜스크립트 내의 상기 제1 메시지의 상기 개정에 대한 상기 적어도 하나의 표시는 상기 대화 트랜스크립트로부터 제거가능하지 않은, 방법.
  3. 제2항에 있어서, 상기 제1 메시지의 상기 개정에 대한 상기 적어도 하나의 표시는 상기 제1 메시지 구역의 위치에 그래픽 요소를 포함하는, 방법.
  4. 제2항에 있어서, 상기 제1 메시지의 상기 개정에 대한 상기 적어도 하나의 표시는 상기 제1 메시지 구역에 인접한 텍스트를 포함하는, 방법.
  5. 제1항에 있어서, 상기 제1 메시지를 개정하는 상기 하나 이상의 입력들을 검출하는 단계는 텍스트 선택, 텍스트 삽입 또는 텍스트 삭제를 위한 상기 제1 메시지 내의 위치를 선택하기 위해, 상기 메시지 편집 인터페이스 내의 상기 제1 메시지에 대응되는 위치에서 입력을 검출하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 제1 메시지를 편집한 후, 상기 제1 메시지의 상기 개정된 버전을 편집하라는 요청에 대응되는 입력을 검출하는 단계;
    상기 제1 메시지의 상기 개정된 버전을 편집하라는 상기 요청에 대응되는 상기 입력을 검출하는 것에 응답하여, 상기 제1 메시지의 상기 개정된 버전, 상기 키보드 및 상기 업데이트 어포던스를 포함하는 상기 제1 메시지의 상기 개정된 버전에 대한 메시지 편집 인터페이스를 디스플레이하는 단계;
    상기 제1 메시지의 상기 개정된 버전에 대한 상기 메시지 편집 인터페이스를 디스플레이하는 동안:
    상기 제1 메시지를 더 개정하는 하나 이상의 입력들을 검출하는 단계;
    상기 제1 메시지의 더 개정된 버전을 디스플레이하는 단계; 및
    상기 업데이트 어포던스를 활성화하는 입력을 검출하는 단계; 및
    상기 업데이트 어포던스를 활성화하는 상기 입력을 검출하는 것에 응답하여:
    상기 제1 메시지의 상기 개정된 버전에 대한 상기 메시지 편집 인터페이스를 디스플레이하는 것을 중지하는 단계;
    상기 제1 메시지의 상기 개정된 버전 대신에 상기 제1 메시지의 상기 더 개정된 버전을 상기 대화 트랜스크립트 내에 디스플레이하는 단계;
    상기 제1 메시지가 개정되었다는 적어도 하나의 표시를 상기 대화 트랜스크립트 내에 디스플레이하는 단계; 및
    상기 메시징 세션에 포함된 상기 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 상기 제1 메시지의 상기 더 개정된 버전을 송신하는 단계를 포함하며, 상기 메시징 세션에 포함된 상기 적어도 하나의 타 사용자에 대응되는 상기 하나 이상의 전자 디바이스들은 상기 제1 메시지의 상기 개정된 버전 대신에 상기 제1 메시지의 상기 더 개정된 버전을, 상기 제1 메시지가 개정되었다는 상기 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 상기 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하는, 방법.
  7. 제1항에 있어서,
    상기 제1 메시지를 편집한 후, 상기 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 단계; 및
    상기 제1 메시지의 버전들을 보기 위한 상기 요청에 대응되는 상기 입력을 검출하는 것에 응답하여, 상기 제1 메시지의 현재 버전 및 상기 제1 메시지의 하나 이상의 이전 버전들을 포함하는 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 방법.
  8. 전자 디바이스로서,
    디스플레이;
    터치 감응형 표면;
    하나 이상의 프로세서들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되는 하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은:
    상기 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하고 - 상기 메시징 사용자 인터페이스는:
    상기 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및
    상기 메시징 세션 내의 상기 사용자의 상기 전자 디바이스로부터 상기 적어도 하나의 타 사용자로 전송된 상기 메시징 세션 내의 제1 메시지를 포함하는 제1 메시지 구역을 포함함 -;
    상기 제1 메시지를 편집하라는 요청에 대응되는 제1 입력을 검출하고;
    상기 제1 입력을 검출하는 것에 응답하여, 상기 제1 메시지, 키보드 및 업데이트 어포던스를 포함하는 상기 제1 메시지에 대한 메시지 편집 인터페이스를 디스플레이하고;
    상기 제1 메시지에 대한 상기 메시지 편집 인터페이스를 디스플레이하는 동안:
    상기 제1 메시지를 개정하는 하나 이상의 입력들을 검출하고;
    상기 제1 메시지의 개정된 버전을 디스플레이하고;
    상기 업데이트 어포던스를 활성화하는 입력을 검출하고;
    상기 업데이트 어포던스를 활성화하는 상기 입력을 검출하는 것에 응답하여:
    상기 제1 메시지에 대한 상기 메시지 편집 인터페이스를 디스플레이하는 것을 중지하고;
    상기 제1 메시지 대신에 상기 제1 메시지의 상기 개정된 버전을 상기 대화 트랜스크립트 내에 디스플레이하고;
    상기 제1 메시지의 개정에 대한 적어도 하나의 표시를 상기 대화 트랜스크립트 내에 디스플레이하고;
    상기 메시징 세션에 포함된 상기 적어도 하나의 타 사용자에 대응되는 하나 이상의 전자 디바이스들로 상기 제1 메시지의 상기 개정된 버전을 송신하기 위한 명령어들을 포함하며, 상기 메시징 세션에 포함된 상기 적어도 하나의 타 사용자에 대응되는 상기 하나 이상의 전자 디바이스들은 상기 제1 메시지 대신에 상기 제1 메시지의 상기 개정된 버전을 상기 제1 메시지의 상기 개정에 대한 상기 대화 트랜스크립트 내의 적어도 하나의 표시와 함께 상기 메시징 세션에 대응되는 대화 트랜스크립트 내에 디스플레이하는, 전자 디바이스.
  9. 제8항에 있어서,
    상기 하나 이상의 프로그램들은 제2항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  10. 하나 이상의 프로그램들을 저장한 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에 의해 실행될 때 상기 전자 디바이스로 하여금 제1항 내지 제7항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
  11. 방법으로서,
    하나 이상의 프로세서들, 메모리, 터치 감응형 표면 및 디스플레이를 갖는 전자 디바이스에서:
    상기 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하는 단계 - 상기 메시징 사용자 인터페이스는:
    상기 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및
    상기 메시징 세션 내의 제1 메시지의 현재 버전을 포함하는 제1 메시지 구역을 포함하고, 상기 대화 트랜스크립트는 상기 제1 메시지의 상기 현재 버전이 상기 대화 트랜스크립트 내의 상기 제1 메시지의 개정된 버전이라는 표시를 포함함 -;
    상기 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하는 단계; 및
    상기 제1 메시지의 버전들을 보기 위한 상기 요청에 대응되는 상기 입력을 검출하는 것에 응답하여, 상기 제1 메시지의 상기 현재 버전 및 상기 제1 메시지의 하나 이상의 이전 버전들을 포함하는 버전 사용자 인터페이스를 디스플레이하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 제1 메시지의 버전들을 보기 위한 상기 요청에 대응되는 상기 입력은
    상기 제1 메시지의 상기 현재 버전 및
    어포던스를 포함하는 메뉴를 디스플레이하는 동안 검출되며, 상기 어포던스는 활성화될 때, 상기 제1 메시지의 상기 현재 버전 및 상기 제1 메시지의 하나 이상의 이전 버전들을 포함하는 상기 버전 사용자 인터페이스의 디스플레이를 생성하는, 방법.
  13. 제11항에 있어서, 상기 버전 사용자 인터페이스 내에서, 상기 제1 메시지의 상기 현재 버전은 상기 제1 메시지의 다른 버전들과 시각적으로 구별되는, 방법.
  14. 제11항에 있어서, 상기 버전 사용자 인터페이스는 상기 제1 메시지의 상기 현재 버전, 상기 제1 메시지의 원래 버전, 및 상기 제1 메시지의 상기 현재 버전 이전에 개정된 상기 제1 메시지의 적어도 하나의 버전을 포함하는, 방법.
  15. 제11항에 있어서, 상기 버전 사용자 인터페이스는 활성화될 때, 상기 대화 트랜스크립트의 재-디스플레이(redisplay)를 야기하는 어포던스를 포함하는, 방법.
  16. 제11항에 있어서, 상기 버전 사용자 인터페이스는 활성화될 때, 상기 제1 메시지의 상기 현재 버전에 대한 메시지 편집 인터페이스의 디스플레이를 야기하는 어포던스를 포함하며, 상기 메시지 편집 인터페이스는 상기 제1 메시지의 상기 현재 버전, 키보드 및 업데이트 어포던스를 포함하는, 방법.
  17. 제11항에 있어서,
    상기 버전 사용자 인터페이스를 디스플레이하는 동안, 상기 제1 메시지의 각자의 버전 상의 입력을 검출하는 단계; 및
    상기 제1 메시지의 상기 각자의 버전 상의 입력을 검출하는 것에 응답하여:
    상기 제1 메시지의 상기 각자의 버전에 대한 메시지 편집 인터페이스를 디스플레이하는 단계 - 상기 메시지 편집 인터페이스는 상기 제1 메시지의 상기 각자의 버전, 키보드 및 업데이트 어포던스를 포함함 -; 및
    상기 버전 사용자 인터페이스를 디스플레이하는 것을 중지하는 단계를 포함하는, 방법.
  18. 전자 디바이스로서,
    디스플레이;
    터치 감응형 표면;
    하나 이상의 프로세서들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되는 하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은:
    상기 디스플레이 상에 메시징 사용자 인터페이스를 디스플레이하고 - 상기 메시징 사용자 인터페이스는:
    상기 전자 디바이스의 사용자와 적어도 하나의 타 사용자 사이의 메시징 세션의 대화 트랜스크립트, 및
    상기 메시징 세션 내의 제1 메시지의 현재 버전을 포함하는 제1 메시지 구역을 포함하고, 상기 대화 트랜스크립트는 상기 제1 메시지의 상기 현재 버전이 상기 대화 트랜스크립트 내의 상기 제1 메시지의 개정된 버전이라는 표시를 포함함 -;
    상기 제1 메시지의 버전들을 보기 위한 요청에 대응되는 입력을 검출하고;
    상기 제1 메시지의 버전들을 보기 위한 상기 요청에 대응되는 상기 입력을 검출하는 것에 응답하여, 상기 제1 메시지의 상기 현재 버전 및 상기 제1 메시지의 하나 이상의 이전 버전들을 포함하는 버전 사용자 인터페이스를 디스플레이하기 위한 명령어들을 포함하는, 전자 디바이스.
  19. 제18항에 있어서,
    상기 하나 이상의 프로그램들은 제12항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  20. 하나 이상의 프로그램들을 저장한 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스에 의해 실행될 때 상기 전자 디바이스로 하여금 제11항 내지 제17항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020237008767A 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용 KR102636000B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247004154A KR20240023200A (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Applications Claiming Priority (38)

Application Number Priority Date Filing Date Title
US201662338502P 2016-05-18 2016-05-18
US62/338,502 2016-05-18
US201662339078P 2016-05-19 2016-05-19
US62/339,078 2016-05-19
US201662349114P 2016-06-12 2016-06-12
US201662349116P 2016-06-12 2016-06-12
US62/349,116 2016-06-12
US62/349,114 2016-06-12
DKPA201670636A DK180169B1 (en) 2016-05-18 2016-08-24 Devices, procedures, and graphical messaging user interfaces
DK201670636 2016-08-24
DK201670642 2016-08-24
DKPA201670642A DK179831B1 (en) 2016-05-18 2016-08-24 Devices, methods and graphical user interfaces for messaging
DK201670641 2016-08-24
DKPA201670641A DK201670641A1 (en) 2016-05-18 2016-08-24 Devices, Methods, and Graphical User Interfaces for Messaging
DKPA201670652A DK180979B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DK201670654 2016-08-26
DKPA201670650A DK179478B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DKPA201670654A DK179753B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DKPA201670655A DK179829B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DKPA201670649A DK179174B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DKPA201670653A DK180170B1 (en) 2016-05-18 2016-08-26 Devices, procedures, and graphical messaging user interfaces
DKPA201670648A DK179363B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DKPA201670651A DK179747B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DK201670655 2016-08-26
DK201670653 2016-08-26
DK201670648 2016-08-26
DK201670650 2016-08-26
DK201670647 2016-08-26
DKPA201670647A DK179830B1 (en) 2016-05-18 2016-08-26 Devices, methods and graphical user interfaces for messaging
DK201670649 2016-08-26
DK201670651 2016-08-26
DK201670652 2016-08-26
US15/272,399 US9959037B2 (en) 2016-05-18 2016-09-21 Devices, methods, and graphical user interfaces for messaging
US15/272,399 2016-09-21
US201762506614P 2017-05-16 2017-05-16
US62/506,614 2017-05-16
PCT/US2017/033396 WO2017201326A1 (en) 2016-05-18 2017-05-18 Applying acknowledgement options in a graphical messaging user interface
KR1020217040161A KR102511443B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217040161A Division KR102511443B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247004154A Division KR20240023200A (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Publications (2)

Publication Number Publication Date
KR20230042137A KR20230042137A (ko) 2023-03-27
KR102636000B1 true KR102636000B1 (ko) 2024-02-08

Family

ID=66670722

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020207019976A KR102338357B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020217040161A KR102511443B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020237008767A KR102636000B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020197036410A KR102172901B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020197019197A KR102091368B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020247004154A KR20240023200A (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020207019976A KR102338357B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020217040161A KR102511443B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020197036410A KR102172901B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020197019197A KR102091368B1 (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR1020247004154A KR20240023200A (ko) 2016-05-18 2017-05-18 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용

Country Status (7)

Country Link
US (4) US11221751B2 (ko)
EP (2) EP4311201A3 (ko)
JP (6) JP6538966B2 (ko)
KR (6) KR102338357B1 (ko)
CN (1) CN111176509B (ko)
AU (2) AU2021269318B2 (ko)
BR (1) BR112018073693A2 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645788B2 (en) 2014-03-27 2020-05-05 Nikon Corporation X-ray generation device, X-ray device, and method for manufacturing structure
US10331336B2 (en) 2016-05-18 2019-06-25 Apple Inc. Devices, methods, and graphical user interfaces for messaging
JP6538966B2 (ja) 2016-05-18 2019-09-11 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． メッセージングのための装置、方法及びグラフィカル・ユーザ・インタフェース
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
CN111801145A (zh) * 2018-03-29 2020-10-20 科乐美数码娱乐株式会社 信息处理装置以及在其中记录有用于信息处理装置的程序的记录介质
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
CN109871165B (zh) * 2019-02-01 2022-03-01 天津字节跳动科技有限公司 表情回应的显示方法、装置、终端设备和服务器
US20220121817A1 (en) * 2019-02-14 2022-04-21 Sony Group Corporation Information processing device, information processing method, and information processing program
USD926205S1 (en) * 2019-02-15 2021-07-27 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
USD926797S1 (en) * 2019-02-15 2021-08-03 Canva Pty Ltd Display screen or portion thereof with a graphical user interface
JP6986035B2 (ja) * 2019-02-19 2021-12-22 日本エンタープライズ株式会社 コミュニケーションシステム、コミュニケーションプログラム、およびコミュニケーション処理方法
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
CN110290052B (zh) * 2019-05-31 2022-11-01 维沃移动通信有限公司 会话处理方法、装置、移动终端
CN110442279B (zh) * 2019-07-22 2021-05-28 维沃移动通信有限公司 一种消息发送方法及移动终端
US11252274B2 (en) * 2019-09-30 2022-02-15 Snap Inc. Messaging application sticker extensions
CN113325982A (zh) * 2019-11-12 2021-08-31 北京字节跳动网络技术有限公司 一种会话消息显示方法、装置、电子设备及存储介质
CN115003238A (zh) * 2019-11-27 2022-09-02 帕西拉冷冻技术股份有限公司 用于低温设备的显示设备和界面
US11595739B2 (en) * 2019-11-29 2023-02-28 Gree, Inc. Video distribution system, information processing method, and computer program
US10963145B1 (en) 2019-12-30 2021-03-30 Snap Inc. Prioritizing display of user icons associated with content
US11316806B1 (en) * 2020-01-28 2022-04-26 Snap Inc. Bulk message deletion
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
CN113496533A (zh) 2020-03-19 2021-10-12 北京字节跳动网络技术有限公司 贴纸处理方法及装置
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
JP7442091B2 (ja) * 2020-04-30 2024-03-04 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム
US11122165B1 (en) * 2020-05-29 2021-09-14 Verizon Patent And Licensing Inc. Systems and methods for customer service agent-guided chat session digital assistant
DK181216B1 (en) * 2020-06-09 2023-05-10 Apple Inc USER INTERFACES FOR MESSAGES
CN111831203B (zh) 2020-07-03 2022-05-17 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN114281439A (zh) * 2020-09-18 2022-04-05 华为技术有限公司 分屏方法、装置及电子设备
KR20230079169A (ko) * 2020-09-30 2023-06-05 스냅 인코포레이티드 턴-기반 협업 플레이리스트
WO2022072689A1 (en) * 2020-09-30 2022-04-07 Snap Inc. Generating media content items for sharing to external applications
KR102222770B1 (ko) * 2020-11-04 2021-03-04 신고은 메시지 전송 장치 및 그 방법
JP6883140B1 (ja) * 2020-12-18 2021-06-09 グリー株式会社 情報処理システム、情報処理方法およびコンピュータプログラム
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11924540B2 (en) 2020-12-30 2024-03-05 Snap Inc. Trimming video in association with multi-video clip capture
US20220207805A1 (en) * 2020-12-30 2022-06-30 Snap Inc. Adding time-based captions to captured video within a messaging system
US11861800B2 (en) 2020-12-30 2024-01-02 Snap Inc. Presenting available augmented reality content items in association with multi-video clip capture
WO2022213088A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Customizable avatar generation system
WO2022250642A1 (ru) * 2021-05-25 2022-12-01 Игорь Олегович КОРЯКА Способ и система для совместного просмотра веб-страницы
US11601387B2 (en) 2021-06-08 2023-03-07 Microsoft Technology Licensing, Llc Generating composite images by combining subsequent data
KR102628773B1 (ko) * 2021-06-21 2024-01-23 주식회사 카카오 이모티콘 추천 방법 및 이모티콘 추천을 제공하는 사용자 단말
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
CN113553418B (zh) * 2021-07-27 2023-06-02 天津大学 一种基于多模态学习的视觉对话生成方法及装置
CN115857762A (zh) 2021-09-24 2023-03-28 北京字节跳动网络技术有限公司 一种答复问题方法、装置、设备、介质及程序产品
USD1017618S1 (en) * 2021-10-13 2024-03-12 Zoom Video Communications, Inc. Display screen or portion thereof with graphical user interface
USD1001646S1 (en) 2021-11-01 2023-10-17 Sadiq Maknojia Bottle
USD989629S1 (en) 2021-11-01 2023-06-20 Sadiq Maknojia Bottle
US11568131B1 (en) 2021-11-11 2023-01-31 Microsoft Technology Licensing, Llc Command based personalized composite templates
US11635871B1 (en) 2021-11-11 2023-04-25 Microsoft Technology Licensing, Llc Command based personalized composite icons
US11914923B1 (en) * 2021-12-10 2024-02-27 Amazon Technologies, Inc. Computer system-based pausing and resuming of natural language conversations
US11556225B1 (en) * 2021-12-29 2023-01-17 Atlassian Pty Ltd. Displaying queue information in a graphical user interface of an issue tracking system
WO2023140720A1 (ko) * 2022-01-24 2023-07-27 마인드로직 주식회사 인공 지능 대화 서비스 시스템
US20230370408A1 (en) * 2022-05-16 2023-11-16 Meta Platforms, Inc. Generating and surfacing messaging thread specific and content-based effects

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279418A1 (en) 2013-03-15 2014-09-18 Facebook, Inc. Associating an indication of user emotional reaction with content items presented by a social networking system
US20160117670A1 (en) 2014-10-27 2016-04-28 Facebook, Inc. Facilitating sending and receiving of payments using message-based contextual prompts

Family Cites Families (285)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997019429A1 (en) 1995-11-20 1997-05-29 Motorola Inc. Displaying graphic messages in a radio receiver
US6054990A (en) 1996-07-05 2000-04-25 Tran; Bao Q. Computer system with handwriting annotation
US5903728A (en) 1997-05-05 1999-05-11 Microsoft Corporation Plug-in control including an independent plug-in process
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
JP2000090020A (ja) * 1998-09-14 2000-03-31 Sharp Corp 情報処理装置及び返信メール作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US6539421B1 (en) 1999-09-24 2003-03-25 America Online, Inc. Messaging application user interface
US7089504B1 (en) 2000-05-02 2006-08-08 Walt Froloff System and method for embedment of emotive content in modern text processing, publishing and communication
CA2310945C (en) 2000-06-05 2009-02-03 Corel Corporation System and method for magnifying and editing images
EP1172132A3 (en) 2000-06-19 2004-01-02 Sony Computer Entertainment Inc. Entertainment system, recording medium
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
AU2001283067A1 (en) 2000-07-31 2002-02-13 Reallegal.Com Transcript management software and methods therefor
US7130885B2 (en) 2000-09-05 2006-10-31 Zaplet, Inc. Methods and apparatus providing electronic messages that are linked and aggregated
GB0113537D0 (en) 2001-06-05 2001-07-25 Superscape Plc Improvements in message display
US7853863B2 (en) 2001-12-12 2010-12-14 Sony Corporation Method for expressing emotion in a text message
JP2004234614A (ja) * 2002-06-19 2004-08-19 Sky Broad International:Kk 携帯端末による電子メッセージの送受信システム及びそのシステムに用いられる携帯端末
US8028023B2 (en) 2002-09-17 2011-09-27 At&T Intellecutal Property I, L.P. Extending functionality of instant messaging (IM) systems
US20040066407A1 (en) * 2002-10-08 2004-04-08 Microsoft Corporation Intelligent windows movement and resizing
US7702315B2 (en) 2002-10-15 2010-04-20 Varia Holdings Llc Unified communication thread for wireless mobile communication devices
CA2517909A1 (en) 2003-03-03 2004-09-16 America Online, Inc. Using avatars to communicate
US7484176B2 (en) 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
US7340503B2 (en) 2003-03-21 2008-03-04 Vocel, Inc. Interactive messaging system
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US7549924B2 (en) 2003-05-09 2009-06-23 Microsoft Corporation Instant messaging embedded games
US7103681B2 (en) 2003-06-19 2006-09-05 Nokia Corporation System for rendering multimedia messages by providing, in a multimedia message, URL for downloadable software to receiving terminal
US7343561B1 (en) 2003-12-19 2008-03-11 Apple Inc. Method and apparatus for message display
US8171084B2 (en) 2004-01-20 2012-05-01 Microsoft Corporation Custom emoticons
US20050198124A1 (en) 2004-03-03 2005-09-08 Mccarthy Shawn J. System and method for embedded instant messaging collaboration
US7487441B2 (en) 2004-03-11 2009-02-03 Yahoo!Inc. Method and system of enhanced messaging
US7571213B2 (en) 2004-03-26 2009-08-04 Microsoft Corporation Interactive electronic bubble messaging
US7856469B2 (en) 2004-04-15 2010-12-21 International Business Machines Corporation Searchable instant messaging chat repositories using topic and identifier metadata
US7353466B2 (en) 2004-05-28 2008-04-01 Microsoft Corporation System and method for generating message notification objects on dynamically scaled timeline
US20060036703A1 (en) * 2004-08-13 2006-02-16 Microsoft Corporation System and method for integrating instant messaging in a multimedia environment
US20060041848A1 (en) * 2004-08-23 2006-02-23 Luigi Lira Overlaid display of messages in the user interface of instant messaging and other digital communication services
US20060041629A1 (en) * 2004-08-23 2006-02-23 Luigi Lira Magnification of incoming and outgoing messages in the user interface of instant messaging and other digital communication services
US7619616B2 (en) 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US7483899B2 (en) 2005-01-11 2009-01-27 International Business Machines Corporation Conversation persistence in real-time collaboration system
US8464176B2 (en) 2005-01-19 2013-06-11 Microsoft Corporation Dynamic stacking and expansion of visual items
US7590699B2 (en) 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
CA2623394A1 (en) 2005-09-19 2007-03-29 Industrial Color, Inc. Digital file management
ITMI20051812A1 (it) 2005-09-29 2007-03-30 Pasqua Roberto Della Servizio di messaggistica istantanea con categorizzazione delle icone emozionali
EP1943585A4 (en) 2005-10-31 2010-01-06 Fontip Ltd SENDING AND RECEIVING ALPHABETICAL MESSAGES USING VARIOUS CHARACTER POLICES
US20070207782A1 (en) 2006-03-06 2007-09-06 Tran Bao Q Multimedia telephone
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
US20080091692A1 (en) 2006-06-09 2008-04-17 Christopher Keith Information collection in multi-participant online communities
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US7861175B2 (en) 2006-09-29 2010-12-28 Research In Motion Limited IM contact list entry as a game in progress designate
US10416838B2 (en) 2006-12-11 2019-09-17 Oath Inc. Graphical messages
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US8943018B2 (en) 2007-03-23 2015-01-27 At&T Mobility Ii Llc Advanced contact management in communications networks
JP2008305174A (ja) 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US8667418B2 (en) 2007-06-08 2014-03-04 Apple Inc. Object stack
US8751572B1 (en) 2007-06-20 2014-06-10 Google Inc. Multi-user chat search and access to chat archive
US8239461B2 (en) 2007-06-28 2012-08-07 Chacha Search, Inc. Method and system for accessing search services via messaging services
GB0712880D0 (en) 2007-07-03 2007-08-08 Skype Ltd Instant messaging communication system and method
CN101146056A (zh) 2007-09-24 2008-03-19 腾讯科技（深圳）有限公司 一种表情图标的显示方法及系统
US9122751B2 (en) 2007-12-07 2015-09-01 International Business Machines Corporation Method of tagging instant messaging (IM) conversations for easy information sharing
KR100909954B1 (ko) * 2007-12-17 2009-07-30 한국전자통신연구원 사용자기기를 이용한 감성 메시지 작성 및 표현 방법과이를 위한 사용자기기
US8621502B2 (en) 2007-12-21 2013-12-31 Microsoft Corporation Obtaining user reactions to video
US7428702B1 (en) 2008-01-27 2008-09-23 International Business Machines Corporation Method and system for dynamic message correction
KR101513024B1 (ko) 2008-04-22 2015-04-17 엘지전자 주식회사 단말기 및 이것의 이미지 인식 방법
US20090300540A1 (en) 2008-05-29 2009-12-03 Russell Matthew J System, method and computer program product for animal imaging
WO2010009157A1 (en) 2008-07-15 2010-01-21 Immersion Corporation Systems and methods for physics-based tactile messaging
TWI374382B (en) 2008-09-01 2012-10-11 Htc Corp Icon operation method and icon operation module
CN102224500A (zh) 2008-09-24 2011-10-19 法国电信公司 用于简化内容分析的利用简约描述调色板的内容分类
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8464167B2 (en) 2008-12-01 2013-06-11 Palo Alto Research Center Incorporated System and method for synchronized authoring and access of chat and graphics
US8762885B2 (en) 2008-12-15 2014-06-24 Verizon Patent And Licensing Inc. Three dimensional icon stacks
US8799820B2 (en) 2008-12-23 2014-08-05 At&T Mobility Ii Llc Dynamically scaled messaging content
JP4683126B2 (ja) 2008-12-26 2011-05-11 ブラザー工業株式会社 入力装置
US8166408B2 (en) * 2009-01-05 2012-04-24 International Business Machines Corporation Management of virtual discussion threads in a synchronous conferencing system
TWI419350B (zh) 2009-02-06 2013-12-11 Ind Tech Res Inst 太陽能電池模組修復裝置與修復方法
US20100223345A1 (en) 2009-03-02 2010-09-02 Microsoft Corporation Communications application having conversation and meeting environments
US9852761B2 (en) 2009-03-16 2017-12-26 Apple Inc. Device, method, and graphical user interface for editing an audio or video attachment in an electronic message
US9159074B2 (en) 2009-03-23 2015-10-13 Yahoo! Inc. Tool for embedding comments for objects in an article
US9344396B2 (en) 2009-03-30 2016-05-17 Avaya Inc. System and method for persistent multimedia conferencing services
US9349120B2 (en) 2009-04-08 2016-05-24 Blackberry Limited System and method for silencing notifications for a message thread
KR20100113266A (ko) 2009-04-13 2010-10-21 삼성전자주식회사 휴대용 단말기에서 3차원 영상 메시지 제작 방법 및 장치
US9665563B2 (en) * 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information
US8621585B2 (en) 2009-06-16 2013-12-31 Z2Live, Inc. Invitation service for multi-device application sessions
KR101590766B1 (ko) * 2009-06-26 2016-02-02 삼성전자주식회사 메시지를 그룹화하고 디스플레이하는 장치 및 방법
KR101686913B1 (ko) 2009-08-13 2016-12-16 삼성전자주식회사 전자기기에서 이벤트 서비스 제공 방법 및 장치
US8358281B2 (en) 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
WO2011085248A1 (en) 2010-01-07 2011-07-14 Swakker, Llc Methods and apparatus for modifying a multimedia object within an instant messaging session at a mobile communication device
KR101319264B1 (ko) 2010-01-22 2013-10-18 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기
US8583149B2 (en) 2010-04-07 2013-11-12 Apple Inc. Registering email addresses for online communication sessions
KR101740433B1 (ko) 2010-06-01 2017-05-26 엘지전자 주식회사 이동 단말기 및 이것의 메시지 표시 방법
US9003306B2 (en) 2010-05-04 2015-04-07 Qwest Communications International Inc. Doodle-in-chat-context
CN101867636B (zh) 2010-06-02 2015-02-04 华为终端有限公司 用户指令执行方法及终端设备
CN101931621A (zh) 2010-06-07 2010-12-29 上海那里网络科技有限公司 一种借助虚拟形象进行情感交流的装置和方法
US8375320B2 (en) 2010-06-22 2013-02-12 Microsoft Corporation Context-based task generation
US8810565B2 (en) 2010-08-27 2014-08-19 Broadcom Corporation Method and system for utilizing depth information as an enhancement layer
US8620850B2 (en) 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
KR101781129B1 (ko) 2010-09-20 2017-09-22 삼성전자주식회사 어플리케이션을 다운로드받아 설치하는 단말장치 및 그 방법
KR101701151B1 (ko) 2010-09-20 2017-02-02 삼성전자주식회사 휴대 단말기를 이용한 통합 메시지 송수신 방법 및 장치
US20120110064A1 (en) 2010-11-01 2012-05-03 Google Inc. Content sharing interface for sharing content in social networks
US20120110477A1 (en) 2010-11-02 2012-05-03 Mimesis Republic Systems and methods for enabling virtual social interactions
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2012113677A (ja) * 2010-11-05 2012-06-14 Aitia Corp 情報処理装置および情報処理プログラム
KR20120081368A (ko) 2011-01-11 2012-07-19 주식회사 엔씨소프트 모바일 플랫폼에서의 채팅을 통한 게임 초대 방법
KR20120107836A (ko) 2011-03-22 2012-10-04 주식회사 아카북 사용자 단말에서 스티커 이미지 서비스 제공 방법 및 장치
KR101226560B1 (ko) 2011-03-29 2013-01-25 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
US8989786B2 (en) 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
CN102170442A (zh) 2011-04-25 2011-08-31 苏州阔地网络科技有限公司 基于社区平台的电子白板安全同步方法及系统
US8793624B2 (en) 2011-05-18 2014-07-29 Google Inc. Control of a device using gestures
US9272217B1 (en) 2011-06-01 2016-03-01 Zynga Inc. System and method for providing notifications to players of games
WO2012174703A1 (en) 2011-06-20 2012-12-27 Microsoft Corporation Hover translation of search result captions
WO2012178121A1 (en) 2011-06-24 2012-12-27 Google Inc. Group conversation between a plurality of participants
US9411506B1 (en) 2011-06-28 2016-08-09 Google Inc. Providing additional functionality for a group messaging application
US9262522B2 (en) 2011-06-30 2016-02-16 Rednote LLC Method and system for communicating between a sender and a recipient via a personalized message including an audio clip extracted from a pre-existing recording
KR101801188B1 (ko) 2011-07-05 2017-11-24 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
IL214855A0 (en) 2011-08-28 2011-10-31 Arnon Joseph A method and device for carrying out a computerized group session
KR101850821B1 (ko) 2011-09-15 2018-04-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 메시지 표시 방법
US8819154B2 (en) 2011-10-14 2014-08-26 Blackberry Limited User interface methods and apparatus for use in communicating text and photo messages
US10620777B2 (en) 2011-11-03 2020-04-14 Glowbl Communications interface and a communications method, a corresponding computer program, and a corresponding registration medium
KR101521332B1 (ko) 2011-11-08 2015-05-20 주식회사 다음카카오 인스턴트 메시징 서비스 및 인스턴트 메시징 서비스로부터 확장된 복수의 서비스들을 제공하는 방법
WO2013082714A1 (en) 2011-12-09 2013-06-13 Research In Motion Limited System and method for sharing electronic news items
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US9639861B2 (en) 2011-12-12 2017-05-02 Textsoft, Inc Messaging with greeting card and gift option
US8366546B1 (en) 2012-01-23 2013-02-05 Zynga Inc. Gamelets
KR101383529B1 (ko) 2012-02-29 2014-04-08 주식회사 팬택 어플리케이션 공유를 위한 이동단말장치 및 이동단말장치에서의 어플리케이션 공유 방법
US20130254710A1 (en) 2012-03-22 2013-09-26 Microsoft Corporation Stacks for content organization
US9685160B2 (en) 2012-04-16 2017-06-20 Htc Corporation Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium
US20130297493A1 (en) * 2012-05-02 2013-11-07 Facebook, Inc. Method for enabling gift prepay
KR101488153B1 (ko) * 2012-05-08 2015-02-05 강동원 단말 장치에서 사용자 프로필을 화면에 표시하는 방법
CN104508618B (zh) 2012-05-09 2018-01-05 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
CN102664832A (zh) 2012-05-21 2012-09-12 李艳平 对消息进行批注和追加修改的方法和装置
KR101917689B1 (ko) 2012-05-22 2018-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140082520A1 (en) 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
US20130329114A1 (en) 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd. Image magnifier for pin-point control
KR101685226B1 (ko) 2012-06-12 2016-12-20 라인 가부시키가이샤 메신저 플랫폼의 인간 관계를 기반으로 하는 소셜 그래프를 활용한 메신저 연계 서비스 시스템 및 방법
US20140143355A1 (en) 2012-06-14 2014-05-22 Bert Berdis Method and System for Video Texting
US8957915B1 (en) 2012-06-14 2015-02-17 Cinemagram Inc. Method, apparatus and system for dynamic images
KR20140000931A (ko) * 2012-06-26 2014-01-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US20140006343A1 (en) * 2012-06-29 2014-01-02 OrgSpan, Inc. Methods and Systems for Generating a List of Recent Contacts
US9911222B2 (en) 2012-07-06 2018-03-06 Tangome, Inc. Animation in threaded conversations
US9110587B2 (en) 2012-07-13 2015-08-18 Samsung Electronics Co., Ltd. Method for transmitting and receiving data between memo layer and application and electronic device using the same
US9378393B2 (en) 2012-08-02 2016-06-28 Facebook, Inc. Systems and methods for multiple photo fee stories
KR101942308B1 (ko) 2012-08-08 2019-01-25 삼성전자주식회사 메시지 기능을 제공하기 위한 방법 및 그 전자 장치
US9443271B2 (en) * 2012-08-15 2016-09-13 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US20140058939A1 (en) 2012-08-24 2014-02-27 Ebay Inc. Method and apparatus for processing payment transactions from a chat application integrated with a payment application that leverages social features from the chat application
KR102020335B1 (ko) 2012-08-27 2019-09-10 삼성전자 주식회사 메시지 운용 방법 및 이를 지원하는 단말기
WO2014038790A1 (ko) 2012-09-10 2014-03-13 주식회사 원더피플 채팅서비스와 응용서비스를 연결하는 방법 및 시스템
KR20140035160A (ko) 2012-09-13 2014-03-21 김규문 모바일 메시지 애플리케이션의 이미지 이모티콘 검색 방법
KR102013443B1 (ko) 2012-09-25 2019-08-22 삼성전자주식회사 이미지를 전송하기 위한 방법 및 그 전자 장치
EP2713323A1 (en) 2012-09-27 2014-04-02 BlackBerry Limited Apparatus and method pertaining to automatically-suggested emoticons
KR101390228B1 (ko) * 2012-10-22 2014-05-07 (주)카카오 채팅 영역에 이미지를 표시하는 디바이스 및 방법, 그리고 채팅 데이터를 관리하는 서버
US9773229B2 (en) 2012-11-01 2017-09-26 Google Inc. Systems and methods for providing contact group member suggestions
WO2014078598A1 (en) 2012-11-14 2014-05-22 invi Labs, Inc. System for and method of embedding rich media into text messages
KR20140065075A (ko) 2012-11-21 2014-05-29 삼성전자주식회사 메시지 기반의 대화기능 운용방법 및 이를 지원하는 단말장치
CN102970213A (zh) 2012-11-30 2013-03-13 上海量明科技发展有限公司 即时通信交互界面切换显示的方法和客户端
KR102014778B1 (ko) * 2012-12-14 2019-08-27 엘지전자 주식회사 텍스트 메시징 서비스를 제공하는 디지털 디바이스 및 그 제어 방법
US20140189532A1 (en) * 2012-12-28 2014-07-03 Verizon Patent And Licensing Inc. Editing text-based communications
WO2014103046A1 (ja) * 2012-12-28 2014-07-03 楽天Ｅｄｙ株式会社 電子マネーサーバ、電子マネー送金方法、プログラム及び記録媒体
GB201300006D0 (en) * 2013-01-01 2013-02-13 Tomtom Dev Germany Gmbh Vehicle management system
GB201300031D0 (en) * 2013-01-02 2013-02-13 Canonical Ltd Ubuntu UX innovations
KR102045382B1 (ko) 2013-02-13 2019-11-15 삼성전자주식회사 휴대 단말기에서 문자를 편집하는 장치 및 방법
US20140237057A1 (en) 2013-02-21 2014-08-21 Genesys Telecommunications Laboratories, Inc. System and method for processing private messages in a contact center
KR102074940B1 (ko) * 2013-03-07 2020-03-02 삼성전자주식회사 메시지 송수신 방법 및 장치
HUE025780T2 (en) 2013-03-12 2016-05-30 Deutsche Telekom Ag Procedure and equipment for installing applications on mobile devices
US10373212B2 (en) 2013-03-14 2019-08-06 Facebook, Inc. Methods for linking images in social feeds to branded content
US10126927B1 (en) 2013-03-15 2018-11-13 Study Social, Inc. Collaborative, social online education and whiteboard techniques
FR3003715A1 (fr) 2013-03-25 2014-09-26 France Telecom Procede d'echange de messages multimedias
KR20140120192A (ko) 2013-04-02 2014-10-13 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
US20140344726A1 (en) 2013-05-14 2014-11-20 Tencent Technology (Shenzhen) Company Limited Information processing method of im application device and system, im application device, terminal, and storage medium
US9451161B2 (en) 2013-05-20 2016-09-20 Stc.Unm System and methods for video image processing
KR102027899B1 (ko) 2013-05-21 2019-10-02 삼성전자 주식회사 메신저를 이용한 정보 제공 방법 및 장치
KR20140143971A (ko) 2013-06-10 2014-12-18 삼성전자주식회사 홈 화면 공유 장치 및 방법
US20140372541A1 (en) 2013-06-12 2014-12-18 John C. Feghali System and method for action-based input text messaging communication
WO2014200621A1 (en) 2013-06-13 2014-12-18 Evernote Corporation Initializing chat sessions by pointing to content
US20150006655A1 (en) * 2013-06-28 2015-01-01 Daniel Fradin Intra-conversation Text Message Threading
KR102147900B1 (ko) * 2013-07-19 2020-08-25 삼성전자 주식회사 메시지를 제공하는 방법 및 이를 지원하는 사용자 기기
JP5809207B2 (ja) 2013-07-30 2015-11-10 グリー株式会社 メッセージ通信プログラム、メッセージ通信方法及びメッセージ通信システム
KR102047703B1 (ko) 2013-08-09 2019-11-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9553832B2 (en) 2013-08-13 2017-01-24 Facebook, Inc. Techniques to interact with an application via messaging
US9804760B2 (en) 2013-08-22 2017-10-31 Apple Inc. Scrollable in-line camera for capturing and sharing content
CN104426747B (zh) 2013-09-05 2019-06-25 腾讯科技（深圳）有限公司 即时通信方法、终端和系统
US10320730B2 (en) 2013-09-10 2019-06-11 Xiaomi Inc. Method and device for displaying message
KR102057944B1 (ko) 2013-09-17 2019-12-23 삼성전자주식회사 단말 장치 및 그의 공유 방법
CN104462128B (zh) 2013-09-22 2018-04-13 腾讯科技（深圳）有限公司 多媒体文件处理的方法、装置和终端设备
US20150089389A1 (en) 2013-09-24 2015-03-26 Sap Ag Multiple mode messaging
KR102138515B1 (ko) 2013-10-01 2020-07-28 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2015050966A1 (en) 2013-10-01 2015-04-09 Filmstrip, Inc. Image and message integration system and method
US10057731B2 (en) 2013-10-01 2018-08-21 Ambient Consulting, LLC Image and message integration system and method
KR102161764B1 (ko) 2013-10-31 2020-10-05 삼성전자주식회사 카툰 이미지를 이용한 메신저 대화창 표시 방법 및 컴퓨터 판독 가능한 기록 매체
US10033676B2 (en) 2013-10-31 2018-07-24 International Business Machines Corporation System and method for annotating a transcript of an ongoing group chat session
US20150135125A1 (en) 2013-11-12 2015-05-14 Apple Inc. Bubble loupes
KR20150061336A (ko) 2013-11-27 2015-06-04 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104699378B (zh) 2013-12-04 2019-08-06 腾讯科技（深圳）有限公司 多人聊天中信息浏览方法和系统
US20150160832A1 (en) 2013-12-06 2015-06-11 Facebook, Inc. Dismissing Interactive Elements in a User Interface
US20150172246A1 (en) * 2013-12-13 2015-06-18 Piragash Velummylum Stickers for electronic messaging cards
CN104714981B (zh) 2013-12-17 2020-01-10 腾讯科技（深圳）有限公司 语音消息搜索方法、装置及系统
US9246857B2 (en) * 2013-12-23 2016-01-26 Ctext Technology Llc Method and system for correlating conversations in a messaging environment
US20150188861A1 (en) 2013-12-26 2015-07-02 Aaren Esplin Mechanism for facilitating dynamic generation and transmission of canned responses on computing devices
US10013601B2 (en) 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
US10050926B2 (en) 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
US20160014059A1 (en) 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
CN104935491B (zh) * 2014-03-17 2018-08-07 腾讯科技（深圳）有限公司 一种发送表情图像的方法及装置
JP2015185173A (ja) 2014-03-24 2015-10-22 株式会社 ハイヂィープ タッチ圧力及びタッチ面積による動作対象の臨時操作方法及び端末機
JP6484079B2 (ja) 2014-03-24 2019-03-13 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． 感性伝達方法及びそのための端末機
US10140001B2 (en) 2014-03-24 2018-11-27 Facebook, Inc. Configurable electronic communication element
US10482163B2 (en) 2014-04-23 2019-11-19 Klickafy, Llc Clickable emoji
MX2016013962A (es) 2014-04-24 2017-04-27 Idis Tech Ip Ltd Aplicacion de mensajeria privada y metodos asociados.
JP2017517063A (ja) 2014-04-24 2017-06-22 バークレイズ バンク ピーエルシー インスタントメッセージングシステムおよび方法
WO2015164823A1 (en) 2014-04-25 2015-10-29 Fisher Timothy Isaac Messaging with drawn graphic input
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US9367215B2 (en) 2014-04-30 2016-06-14 AthenTek Incorporated Mobile devices and related methods for configuring a remote device
KR102105961B1 (ko) 2014-05-13 2020-05-28 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2015175240A1 (en) 2014-05-15 2015-11-19 Narvii Inc. Systems and methods implementing user interface objects
US9563488B2 (en) 2014-05-29 2017-02-07 Apple Inc. Sharing extension points to allow an application to share content via a sharing extension
WO2015183456A1 (en) 2014-05-29 2015-12-03 Apple Inc. Consistent extension points to allow an extension to extend functionality of an application to another application
US20150350118A1 (en) 2014-05-30 2015-12-03 Apple Inc. Canned answers in messages
WO2015183755A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for captured and transmittal of media and location
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9887949B2 (en) * 2014-05-31 2018-02-06 Apple Inc. Displaying interactive notifications on touch sensitive devices
US20170093785A1 (en) * 2014-06-06 2017-03-30 Sony Corporation Information processing device, method, and program
US20160110907A1 (en) 2014-06-25 2016-04-21 Danke Games Inc. Animation Across Multiple Handheld Computing Devices
JP6413391B2 (ja) 2014-06-27 2018-10-31 富士通株式会社 変換装置、変換プログラム、及び変換方法
US9930167B2 (en) 2014-07-07 2018-03-27 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
JP6559933B2 (ja) * 2014-07-08 2019-08-14 楽天銀行株式会社 送金制御システム、送金制御方法、及びプログラム
CN113222558A (zh) 2014-07-10 2021-08-06 法斯埃托股份有限公司 用于消息编辑的系统和方法
US9779532B2 (en) 2014-07-31 2017-10-03 Emonster, Inc. Customizable animations for text messages
US20160034977A1 (en) 2014-08-01 2016-02-04 Yahoo! Inc. System and method for embedded search within messaging applications
US10218652B2 (en) 2014-08-08 2019-02-26 Mastercard International Incorporated Systems and methods for integrating a chat function into an e-reader application
US9432314B2 (en) 2014-08-15 2016-08-30 Microsoft Technology Licensing, Llc Quick navigation of message conversation history
US9477375B1 (en) 2014-08-18 2016-10-25 Google Inc. Techniques for insertion of content into chat communication
US9705832B2 (en) * 2014-08-27 2017-07-11 Lenovo (Singapore) Pte. Ltd. Context-aware aggregation of text-based messages
DE202015006142U1 (de) 2014-09-02 2015-12-09 Apple Inc. Elektronische Touch-Kommunikation
US10212111B2 (en) 2014-09-12 2019-02-19 Google Llc System and interface that facilitate selecting videos to share in a messaging application
US20160077793A1 (en) 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
CN106201161B (zh) 2014-09-23 2021-09-03 北京三星通信技术研究有限公司 电子设备的显示方法及系统
US10194015B2 (en) 2014-09-25 2019-01-29 Glu Mobile Inc. Systems and methods for facilitating conversations
US10965633B2 (en) 2014-09-29 2021-03-30 Microsoft Technoiogy Licensing, LLC Session history horizon control
US10361986B2 (en) 2014-09-29 2019-07-23 Disney Enterprises, Inc. Gameplay in a chat thread
CN105511635B (zh) 2014-10-08 2018-06-26 极刻科技(香港)控股有限公司 一种使用在线内容以输入一信息至一应用程序的方法
US20160110714A1 (en) 2014-10-21 2016-04-21 Kim Ramsoe Norland Encapsulated Digital Remittance Solution Within Messaging Application
US20160117299A1 (en) 2014-10-24 2016-04-28 Apple Inc. Device, method, and graphical user interface for visible and interactive corrected content
US20160117665A1 (en) 2014-10-27 2016-04-28 Facebook, Inc. Facilitating initiating payments without a payment credential
KR20160050599A (ko) 2014-10-30 2016-05-11 윤희진 음악이 결합된 이모티콘 서비스 제공방법
US10924444B2 (en) 2014-12-02 2021-02-16 Facebook, Inc. Device, method, and graphical user interface for managing customer relationships using a lightweight messaging platform
CN104601812A (zh) 2015-01-05 2015-05-06 小米科技有限责任公司 短信内容展示方法及短信展示确定方法、装置及系统
KR102247251B1 (ko) 2015-01-13 2021-05-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20160087640A (ko) 2015-01-14 2016-07-22 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105991394A (zh) 2015-01-28 2016-10-05 阿里巴巴集团控股有限公司 群聊方法及装置
KR102275180B1 (ko) 2015-02-26 2021-07-08 에스케이플래닛 주식회사 메신저 서비스에서의 그룹 아이콘 구성 방법 및 이를 위한 장치
KR101620050B1 (ko) 2015-03-03 2016-05-12 주식회사 카카오 인스턴트 메시지 서비스를 통한 시나리오 이모티콘 표시 방법 및 이를 위한 사용자 단말
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10877714B2 (en) * 2015-03-10 2020-12-29 Zoho Corporation Private Limited Methods and apparatus for enhancing electronic presentations
KR102319464B1 (ko) 2015-03-16 2021-10-29 삼성디스플레이 주식회사 터치 장치 및 이를 포함하는 표시 장치
US10558677B2 (en) 2015-03-23 2020-02-11 Dropbox, Inc. Viewing and editing content items in shared folder backed integrated workspaces
US20160279523A1 (en) 2015-03-25 2016-09-29 GAMEin30 Ltd. System and method for interactive gaming
US20160283984A1 (en) 2015-03-26 2016-09-29 Tangome, Inc. Chat advertisements
US10812429B2 (en) 2015-04-03 2020-10-20 Glu Mobile Inc. Systems and methods for message communication
US20160301641A1 (en) 2015-04-13 2016-10-13 Smoke Messaging, LLC Secure messaging system utilizing a limited viewing window
KR102317847B1 (ko) 2015-04-28 2021-10-27 삼성전자주식회사 메시지 처리 방법 및 이를 지원하는 전자 장치
CN107431632B (zh) 2015-05-06 2022-09-16 斯纳普公司 用于短暂群组聊天的系统和方法
US20160334972A1 (en) 2015-05-13 2016-11-17 Yahoo!, Inc. Content overlay for social network posts
KR101567555B1 (ko) 2015-05-18 2015-11-20 이미지랩409(주) 이미지가 이용되는 소셜 네트워크 서비스 시스템 및 방법
KR20160139132A (ko) 2015-05-26 2016-12-07 삼성전자주식회사 전자 장치 및 전자 장치에서의 상황 기반의 정보 처리 방법
CN106339947A (zh) 2015-07-07 2017-01-18 阿里巴巴集团控股有限公司 基于聊天群进行业务操作、获取群成员信息的方法及装置
CN105183276A (zh) 2015-08-19 2015-12-23 小米科技有限责任公司 在聊天界面实现游戏的方法、装置及终端设备
US20170054662A1 (en) 2015-08-21 2017-02-23 Disney Enterprises, Inc. Systems and methods for facilitating gameplay within messaging feeds
CN105119812B (zh) 2015-08-26 2018-05-18 小米科技有限责任公司 在聊天界面更改表情符号的方法、装置及终端设备
KR20170025413A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법
EP3792742B1 (en) 2015-09-09 2023-08-16 Apple Inc. Emoji and canned responses
CN105407033A (zh) 2015-09-18 2016-03-16 云活科技有限公司 一种聊天消息归集显示方法及装置
US20170083210A1 (en) 2015-09-20 2017-03-23 Cisco Technology, Inc. Collaboration room switching
US10203843B2 (en) 2015-09-21 2019-02-12 Microsoft Technology Licensing, Llc Facilitating selection of attribute values for graphical elements
US20170090718A1 (en) 2015-09-25 2017-03-30 International Business Machines Corporation Linking selected messages in electronic message threads
US9898172B2 (en) * 2015-09-25 2018-02-20 Dropbox, Inc. Content item activity feed for presenting events associated with content items
CN105407273B (zh) 2015-10-30 2019-05-07 小米科技有限责任公司 图像的拍摄方法、装置及终端
US10540431B2 (en) 2015-11-23 2020-01-21 Microsoft Technology Licensing, Llc Emoji reactions for file content and associated activities
CN105487770B (zh) * 2015-11-24 2019-09-20 腾讯科技（深圳）有限公司 图片发送方法及装置
WO2017117519A1 (en) 2015-12-30 2017-07-06 Surefire Llc Optical narrowcasting
US20170364260A1 (en) 2016-02-11 2017-12-21 Hyperkey, Inc. Enhanced keyboard including multiple application execution
US20170308289A1 (en) 2016-04-20 2017-10-26 Google Inc. Iconographic symbol search within a graphical keyboard
US10263933B2 (en) 2016-05-17 2019-04-16 Google Llc Incorporating selectable application links into message exchange threads
US10331336B2 (en) 2016-05-18 2019-06-25 Apple Inc. Devices, methods, and graphical user interfaces for messaging
JP6538966B2 (ja) 2016-05-18 2019-09-11 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． メッセージングのための装置、方法及びグラフィカル・ユーザ・インタフェース
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
US11252122B2 (en) 2017-04-10 2022-02-15 Facebook, Inc. Systems and methods for sharing content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279418A1 (en) 2013-03-15 2014-09-18 Facebook, Inc. Associating an indication of user emotional reaction with content items presented by a social networking system
US20160117670A1 (en) 2014-10-27 2016-04-28 Facebook, Inc. Facilitating sending and receiving of payments using message-based contextual prompts

Also Published As

Publication number Publication date
KR20200087281A (ko) 2020-07-20
KR20240023200A (ko) 2024-02-20
CN111176509B (zh) 2022-01-25
JP7263481B2 (ja) 2023-04-24
KR20210153750A (ko) 2021-12-17
EP4311201A3 (en) 2024-03-20
JP6967113B2 (ja) 2021-12-01
US20240152268A1 (en) 2024-05-09
EP4113268B1 (en) 2024-04-17
JP6538966B2 (ja) 2019-09-11
AU2021269318B2 (en) 2023-01-12
US20220150195A1 (en) 2022-05-12
BR112018073693A2 (pt) 2019-02-26
EP4311201A2 (en) 2024-01-24
JP2023099007A (ja) 2023-07-11
JP2020009424A (ja) 2020-01-16
KR20190082998A (ko) 2019-07-10
US20210096736A9 (en) 2021-04-01
KR102338357B9 (ko) 2022-03-11
KR20190139343A (ko) 2019-12-17
EP4113268A1 (en) 2023-01-04
JP2020077425A (ja) 2020-05-21
JP6710806B2 (ja) 2020-07-01
JP2022036934A (ja) 2022-03-08
US20200034033A1 (en) 2020-01-30
JP2019514083A (ja) 2019-05-30
CN111176509A (zh) 2020-05-19
US11966579B2 (en) 2024-04-23
AU2021269318A1 (en) 2021-12-09
JP2020191094A (ja) 2020-11-26
AU2023201827A1 (en) 2023-04-27
KR102172901B1 (ko) 2020-11-02
KR102511443B1 (ko) 2023-03-16
KR102338357B1 (ko) 2021-12-13
KR20230042137A (ko) 2023-03-27
JP6851115B2 (ja) 2021-04-14
KR102091368B1 (ko) 2020-03-19
US11625165B2 (en) 2023-04-11
US11221751B2 (en) 2022-01-11
US20230259271A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
KR102636000B1 (ko) 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
AU2019283863B2 (en) Devices, methods, and graphical user interfaces for messaging
DK179753B1 (en) Devices, methods and graphical user interfaces for messaging

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant