JP2022550732A - グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース - Google Patents

グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース Download PDF

Info

Publication number
JP2022550732A
JP2022550732A JP2022519025A JP2022519025A JP2022550732A JP 2022550732 A JP2022550732 A JP 2022550732A JP 2022519025 A JP2022519025 A JP 2022519025A JP 2022519025 A JP2022519025 A JP 2022519025A JP 2022550732 A JP2022550732 A JP 2022550732A
Authority
JP
Japan
Prior art keywords
user interface
customizable
visual element
graphical object
customization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022519025A
Other languages
English (en)
Other versions
JP7349566B2 (ja
Inventor
クリスチャン, エックス. ダロンゾ,
パトリック, エル. コフマン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022550732A publication Critical patent/JP2022550732A/ja
Priority to JP2023147066A priority Critical patent/JP2023175770A/ja
Application granted granted Critical
Publication of JP7349566B2 publication Critical patent/JP7349566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04809Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/70Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Abstract

Figure 2022550732000001
いくつかの実施形態では、電子デバイスは、仮想キーボードを表示し、仮想キーボードは、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む。いくつかの実施形態では、電子デバイスは、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択するユーザ入力を受信し、第1のグラフィカルオブジェクトは、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素に関連付けられている。いくつかの実施形態では、ユーザ入力を受信したことに応じて、かつ1つ以上の第1の基準が満たされているとの判定に従って、電子デバイスは、表示デバイスを介して、第1のカスタマイズ可能な視覚要素をカスタマイズするための第1のセクションと、第2のカスタマイズ可能な視覚要素をカスタマイズするための第2のセクションと、第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクションと、を含むカスタマイズユーザインタフェースを表示する。

Description

(関連出願の相互参照)
本出願は、2019年9月27日出願の米国特許仮出願第62/907,437号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
(技術分野)
本出願は、概して、ユーザが電子デバイス上で絵文字などのグラフィカルオブジェクトをカスタマイズ及び挿入することを可能にするユーザインタフェースに関する。
近年、電子デバイスとのユーザ対話は、著しく増加している。これらのデバイスは、コンピュータ、スマートフォン、タブレットコンピュータ、テレビ、マルチメディアデバイス、モバイルデバイス、ウェアラブルデバイスなどのデバイスであり得る。
状況によっては、ユーザは、電子デバイス上の仮想キーボードを使用して、絵文字などのグラフィカルオブジェクトを入力する。状況によっては、ユーザは、特定のグラフィカルオブジェクト又は絵文字の異なる態様をカスタマイズすることを望む。これらの対話を強化することは、デバイスとのユーザエクスペリエンスを向上し、入力デバイスがバッテリで動作する場合に特に重要である、ユーザ対話の時間を低減する。
個人特定可能な情報の使用は、ユーザのプライバシーを維持するための業界又は政府の要件を満たす又は超えると一般に認識されているプライバシーポリシー及びプラクティスに従うべきであることに十分に理解されたい。特に、個人特定可能な情報データは、意図されていない又は許可されていないアクセス又は使用のリスクを最小限に抑えるように管理及び取り扱いされるべきであり、許可された使用の性質は、ユーザに明確に示されるべきである。
本開示に記載されているいくつかの実施形態は、絵文字などのグラフィカルオブジェクトをカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示することを対象とする。これらの実施形態の全説明は、「発明を実施するための形態」に記載され、上述の「発明の概要」は何ら本開示の範囲を限定しないことを理解されたい。
説明される様々な実施形態のより良好な理解のために、以下の図面と併せて、以下の「発明を実施するための形態」を参照されたく、類似の参照番号は、それらの図の全体を通して対応する部分を指す。
いくつかの実施形態に従った、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に従った、イベント処理のための例示的な構成要素を示すブロック図である。
いくつかの実施形態に従った、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に従った、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
いくつかの実施形態に従った、ポータブル多機能デバイス上のアプリケーションのメニュー用の例示的なユーザインタフェースを示す図である。
いくつかの実施形態に従った、ディスプレイとは別個のタッチ感知面を備える多機能デバイスに関する、例示的なユーザインタフェースを示す。
いくつかの実施形態に従った、パーソナル電子デバイスを示す図である。
いくつかの実施形態に従った、パーソナル電子デバイスを示すブロック図である。
いくつかの実施形態に従った、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す図である。 いくつかの実施形態に従った、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す図である。
いくつかの実施形態に従った、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に従った、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に従った、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。 いくつかの実施形態に従った、パーソナル電子デバイスの例示的な構成要素及びユーザインタフェースを示す。
本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。 本開示のいくつかの実施形態に従った、電子デバイスが絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。
本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。 本開示のいくつかの実施形態に従った、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、むしろ例示的な実施形態の説明として提供されることを認識されたい。
複数のカスタマイズ可能な構成要素で絵文字などのグラフィカルオブジェクトをカスタマイズする効率的な方法を提供する電子デバイスが必要とされている。そのような技術は、そのようなデバイスを使用するユーザの認知的負担を軽減することができる。更に、そのような技術は、普通なら冗長なユーザ入力に浪費されるプロセッサ及びバッテリの電力を低減することができる。
以下の説明では、様々な要素について説明するために、「第1の」、「第2の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第1のタッチを第2のタッチと呼ぶこともでき、同様に第2のタッチを第1のタッチと呼ぶこともできる。第1のタッチ及び第2のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「a(1つ、一)」、「an(1つ、一)」、及び「the(その、この)」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び/又は」は、関連する列挙された項目のうちの1つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「includes(含む)」、「including(含む)」、「comprises(含む、備える)」、及び/又は「comprising(含む、備える)」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「~の場合(if)」という用語は、任意選択的に、文脈に応じて、「~とき(when)」若しくは「~とき(upon)」、又は「~と判定したことに応じて(in response to determining)」若しくは「~を検出したことに応じて(in response to detecting)」を意味すると解釈される。同様に、「~と判定された場合(if it is determined)」又は「[記載の状態又はイベント]が検出された場合(if [a stated condition or event] is detected)」という語句は、任意選択的に、文脈に応じて、「~と判定したとき(upon determining)」若しくは「~と判定したことに応じて(in response to determining)」、又は「[記載の状態又はイベント]を検出したとき(upon detecting [the stated condition or event])」若しくは「[記載の状態又はイベント]を検出したことに応じて(in response to detecting [the stated condition or event])」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、PDA機能及び/又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)、iPod Touch(登録商標)、及びiPad(登録商標)のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面(例えば、タッチスクリーンディスプレイ及び/又はタッチパッド)を有するデスクトップコンピュータであることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び/又はジョイスティックなどの1つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
デバイスは、通常、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び/又はデジタルビデオプレーヤアプリケーションのうちの1つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも1つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の1つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーション毎に、及び/又は個別のアプリケーション内で、任意選択的に、調整及び/又は変更される。このように、デバイスの共通の物理アーキテクチャ(タッチ感知面など)は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図1Aは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム112を有するポータブル多機能デバイス100を示すブロック図である。タッチ感知ディスプレイ112は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス100は、メモリ102(任意選択的に、1つ以上のコンピュータ可読記憶媒体を含む)、メモリコントローラ122、1つ以上の処理ユニット(CPU)120、周辺機器インタフェース118、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、入出力(I/O)サブシステム106、他の入力コントロールデバイス116、及び外部ポート124を含む。デバイス100は、任意選択的に、1つ以上の光センサ164を含む。デバイス100は、任意選択的に、デバイス100上の接触の強度を検出する1つ以上の接触強度センサ165(例えば、デバイス100のタッチ感知ディスプレイシステム112などのタッチ感知面)を含む。デバイス100は、任意選択的に、デバイス100上で触知出力を生成する(例えばデバイス100のタッチ感知ディスプレイシステム112又はデバイス300のタッチパッド355などのタッチ感知面上で触知出力を生成する)1つ以上の触知出力生成器167を含む。これらの構成要素は、任意選択的に、1つ以上の通信バス又は信号ライン103を介して通信する。
本明細書及び特許請求において使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触(例えば、指の接触)の力若しくは圧力(単位面積当たりの力)、又はタッチ感知面上の接触の力若しくは圧力に対する代理(プロキシ)を指す。接触の強度は、少なくとも4つの別個の値を含み、より典型的には、数百の(例えば、少なくとも256の)別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して、判定(又は測定)される。例えば、タッチ感知面の下又はそれに隣接する1つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値が、接触の推定される力を決定するために組み合わされる(例えば、加重平均される)。同様に、スタイラスの感圧性先端部が、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び/若しくはその変化、接触に近接するタッチ感知面の電気容量及び/若しくはその変化、並びに/又は、接触に近接するタッチ感知面の抵抗及び/若しくはその変化が、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。一部の実装形態では、接触の力又は圧力の代替測定値が、強度閾値を上回っているかどうかを判定するために直接使用される(例えば、強度閾値は、代替測定値に対応する単位で記述される)。いくつかの実装形態では、接触力又は圧力の代理測定値は、力又は圧力の推定値に変換され、力又は圧力の推定値が、強度閾値を上回っているかどうかを判定するために使用される(例えば、強度閾値は、圧力の単位で測定される圧力閾値である)。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを表示する実装面積が限られている低減されたサイズのデバイス上で、ユーザが他の方法ではアクセス不可能であり得る追加のデバイス機能にユーザがアクセスすること(例えば、タッチ感知ディスプレイ上で)、及び/又は、ユーザ入力を受け取ること(例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的/機械的コントロールを介して)が可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素(例えば、タッチ感知面)の、そのデバイスの別の構成要素(例えば、筐体)に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面(例えば、ユーザの手の指、手のひら、又は他の部分)に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面(例えば、タッチ感知ディスプレイ又はトラックパッド)の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された(例えば、変位された)タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知(例えば、「アップクリック」「ダウンクリック」、「粗さ」)に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な(又は、平均的な)ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス100は、ポータブル多機能デバイスの一例に過ぎず、デバイス100は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、2つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図1Aに示す様々な構成要素は、1つ以上の信号処理回路及び/又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組み合わせで実施される。
メモリ102は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、1つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ122は、任意選択的に、デバイス100の他の構成要素によるメモリ102へのアクセスを制御する。
周辺機器インタフェース118は、デバイスの入力及び出力周辺機器をCPU120及びメモリ102に結合するために使用することができる。1つ以上のプロセッサ120は、メモリ102に記憶された様々なソフトウェアプログラム及び/又は命令セットを動作させる又は実行して、デバイス100のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース118、CPU120、及びメモリコントローラ122は、任意選択的に、チップ104などの単一のチップ上に実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
RF(radio frequency、無線周波数)回路108は、電磁信号とも呼ばれるRF信号を送受信する。RF回路108は、電気信号を電磁信号に又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。RF回路108は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、RF送受信機、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュール(subscriber identity module、SIM)カード、メモリなどが挙げられる。RF回路108は、任意選択的に、ワールドワイドウェブ(World Wide Web、WWW)とも呼ばれるインターネット、イントラネット、並びに/又はセルラー電話ネットワーク、無線ローカルエリアネットワーク(local area network、LAN)及び/若しくはメトロポリタンエリアネットワーク(metropolitan area network、MAN)などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。RF回路108は、任意選択的に、短距離通信無線機などによって近距離通信(near field communication、NFC)フィールドを検出するよく知られている回路を含む。無線通信は、任意選択的に、それだけに限定されるものではないが、モバイル通信用グローバルシステム(Global System for Mobile Communications、GSM)、拡張データGSM環境(Enhanced Data GSM Environment、EDGE)、高速ダウンリンクパケットアクセス(high-speed downlink packet access、HSDPA)、高速アップリンクパケットアクセス(high-speed uplink packet access、HSUPA)、エボリューションデータオンリ(Evolution,Data-Only、EV-DO)、HSPA、HSPA+、デュアルセルHSPA(Dual-Cell HSPA、DC-HSPDA)、ロングタームエボリューション(long term evolution、LTE)、近距離通信(NFC)、広帯域符号分割多元接続(wideband code division multiple access、W-CDMA)、符号分割多元接続(code division multiple access、CDMA)、時分割多元接続(time division multiple access、TDMA)、Bluetooth、Bluetoothローエネルギー(Bluetooth Low Energy、BTLE)、ワイヤレスフィデリティ(Wireless Fidelity、Wi-Fi)(例えば、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11n、及び/若しくはIEEE802.11ac)、ボイスオーバインターネットプロトコル(voice over Internet Protocol、VoIP)、Wi-MAX、電子メール用プロトコル(例えば、インターネットメッセージアクセスプロトコル(Internet message access protocol、IMAP)及び/若しくはポストオフィスプロトコル(post office protocol、POP))、インスタントメッセージング(例えば、拡張可能なメッセージング及びプレゼンスプロトコル(extensible messaging and presence protocol、XMPP)、インスタントメッセージング及びプレゼンスレベレイジングエクステンション用のセッション開始プロトコル(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、SIMPLE)、インスタントメッセージング及びプレゼンスサービス(Instant Messaging and Presence Service、IMPS))、並びに/若しくはショートメッセージサービス(Short Message Service、SMS)、又は本明細書の出願日の時点でまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含む、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
オーディオ回路110、スピーカ111、及びマイクロフォン113は、ユーザとデバイス100との間のオーディオインタフェースを提供する。オーディオ回路110は、周辺機器インタフェース118からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ111に送信する。スピーカ111は、電気信号を人間の可聴音波に変換する。また、オーディオ回路110は、マイクロフォン113によって音波から変換された電気信号を受信する。オーディオ回路110は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース118に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース118によって、メモリ102及び/若しくはRF回路108から取得され、かつ/又はメモリ102及び/若しくはRF回路108に伝送される。いくつかの実施形態では、オーディオ回路110はまた、ヘッドセットジャック(例えば、図2の212)を含む。ヘッドセットジャックは、オーディオ回路110と、出力専用ヘッドホン又は出力(例えば片耳又は両耳用のヘッドホン)及び入力(例えばマイクロフォン)の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
I/Oサブシステム106は、タッチスクリーン112及び他の入力コントロールデバイス116などのデバイス100上の入出力周辺機器を、周辺機器インタフェース118に結合する。I/Oサブシステム106は、任意選択的に、ディスプレイコントローラ156、光センサコントローラ158、強度センサコントローラ159、触覚フィードバックコントローラ161、及び他の入力若しくは制御デバイスのための1つ以上の入力コントローラ160を含む。1つ以上の入力コントローラ160は、他の入力コントロールデバイス116からの電気信号の受信/他の入力コントロールデバイス116への電気信号の送信を行う。他の入力コントロールデバイス116は、任意選択的に、物理ボタン(例えば、プッシュボタン、ロッカボタンなど)、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的な実施形態では、入力コントローラ(単数又は複数)160は、任意選択的に、キーボード、赤外線ポート、USBポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される(又はいずれにも結合されない)。1つ以上のボタン(例えば、図2の208)は、任意選択的に、スピーカ111及び/又はマイクロフォン113の音量制御のためのアップ/ダウンボタンを含む。1つ以上のボタンは、任意選択的に、プッシュボタン(例えば、図2の206)を含む。
全体が参照により本明細書に組み込まれる、2005年12月23日出願の米国特許出願第11/322,549号、「Unlocking a Device by Performing Gestures on an Unlock Image」、米国特許第7,657,849号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン112のロックを解放し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをロック解除するプロセスを開始する。プッシュボタン(例えば、206)のより長い押下は、任意選択的に、デバイス100への電力をオン又はオフにする。ボタンのうちの1つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン112は、仮想又はソフトボタン及び1つ以上のソフトキーボードを実装するために使用される。
タッチ感知ディスプレイ112は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ156は、タッチスクリーン112からの電気信号の受信、及び/又はタッチスクリーン112への電気信号の送信を行う。タッチスクリーン112は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、動画、及びそれらの任意の組み合わせ(総称して「グラフィック」)を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン112は、触覚及び/又は触知接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン112及びディスプレイコントローラ156は、(メモリ102内の任意の関連モジュール及び/又は命令セットと共に)、タッチスクリーン112上で接触(及び任意の接触の移動又は中断)を検出し、検出された接触をタッチスクリーン112に表示されたユーザインタフェースオブジェクト(例えば、1つ以上のソフトキー、アイコン、ウェブページ、又は画像)との対話に変換する。例示的な実施形態では、タッチスクリーン112とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン112は、任意選択的に、LCD(液晶ディスプレイ)技術、LPD(発光ポリマーディスプレイ)技術、又はLED(発光ダイオード)技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン112及びディスプレイコントローラ156は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン112との1つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる移動又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのApple Inc.からのiPhone(登録商標)及びiPod Touch(登録商標)に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体が参照により本明細書に組み込まれる、米国特許第6,323,846号(Westermanら)、同第6,570,557号(Westermanら)、及び/若しくは同第6,677,932号(Westerman)、並びに/又は米国特許出願公開第2002/0015024(A1)号に記載されているマルチタッチ感知タッチパッドに類似している。しかし、タッチスクリーン112はデバイス100からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン112のいくつかの実施形態におけるタッチ感知ディスプレイは、以下の出願、(1)2006年5月2日出願の米国特許出願第11/381,313号、「Multipoint Touch Surface Controller」、(2)2004年5月6日出願の米国特許出願第10/840,862号、「Multipoint Touchscreen」、(3)2004年7月30日出願の米国特許出願第10/903,964号、「Gestures For Touch Sensitive Input Devices」、(4)2005年1月31日出願の米国特許出願第11/048,264号、「Gestures For Touch Sensitive Input Devices」、(5)2005年1月18日出願の米国特許出願第11/038,590号、「Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices」、(6)2005年9月16日出願の米国特許出願第11/228,758号、「Virtual Input Device Placement On A Touch Screen User Interface」、(7)2005年9月16日出願の米国特許出願第11/228,700号、「Operation Of A Computer With A Touch Screen Interface」、(8)2005年9月16日出願の米国特許出願第11/228,737号、「Activating Virtual Keys Of A Touch-Screen Virtual Keyboard」、及び(9)2006年3月3日出願の米国特許出願第11/367,749号、「Multi-Functional Hand-Held Device」で説明されている。これらの出願は全て、全体が参照により本明細書に組み込まれる。
タッチスクリーン112は、任意選択的に、100dpiを超える動画解像度を有する。いくつかの実施形態では、タッチスクリーンは、約160dpiの動画解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン112に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に使用して動作するように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど正確でない可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ/カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス100は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド(図示せず)を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン112とは別個のタッチ感知面又はタッチスクリーンによって形成されるタッチ感知面の拡張部である。
デバイス100は、様々な構成要素に電力を供給する電力システム162も含む。電力システム162は、任意選択的に、電力管理システム、1つ以上の電源(例えば、バッテリ、交流(AC))、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ(例えば、発光ダイオード(LED))、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス100は、任意選択的に、1つ以上の光センサ164を含む。図1Aは、I/Oサブシステム106内の光センサコントローラ158に結合された光センサを示す。光センサ164は、任意選択的に、電荷結合デバイス(charge-coupled device、CCD)又は相補的金属酸化物半導体(complementary metal-oxide semiconductor、CMOS)フォトトランジスタを含む。光センサ164は、1つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ164は、撮像モジュール143(カメラモジュールとも呼ばれる)と連携して、任意選択的に、静止画像又は動画をキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ112とは反対側のデバイス100の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び/又は動画の取得のためのビューファインダとして使用することが可能である。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、ユーザの画像が、任意選択的に、テレビ会議のために入手されるように、光センサはデバイスの前面に配置される。いくつかの実施形態では、光センサ164の位置は、ユーザによって(例えば、デバイス筐体内でレンズ及びセンサを回転させることによって)変更することができ、したがって単一の光センサ164が、タッチスクリーンディスプレイと共に、テレビ会議にも静止画像及び/又は動画の取得にも使用される。
デバイス100はまた、任意選択的に、1つ以上の接触強度センサ165を含む。図1Aは、I/Oサブシステム106内の強度センサコントローラ159に結合された接触強度センサを示す。接触強度センサ165は、任意選択的に、1つ以上のピエゾ抵抗ひずみゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ(例えば、タッチ感知面上の接触の力(若しくは圧力)を測定するために使用されるセンサ)を含む。接触強度センサ165は、接触強度情報(例えば、圧力情報、又は圧力情報に対するプロキシ)を環境から受信する。いくつかの実施形態では、少なくとも1つの接触強度センサは、タッチ感知面(例えばタッチ感知ディスプレイシステム112)と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも1つの接触強度センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置される。
また、デバイス100は、任意選択的に、1つ以上の近接センサ166を含む。図1Aは、周辺機器インタフェース118に結合された近接センサ166を示す。あるいは、近接センサ166は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。近接センサ166は、任意選択的に、全体が参照により本明細書に組み込まれる、米国特許出願第11/241,839号、「Proximity Detector In Handheld Device」、同第11/240,788号、「Proximity Detector In Handheld Device」、同第11/620,702号、「Using Ambient Light Sensor To Augment Proximity Sensor Output」、同第11/586,862号、「Automated Response To And Sensing Of User Activity In Portable Devices」、及び同第11/638,251号、「Methods And Systems For Automatic Configuration Of Peripherals」で記載されているように機能する。いくつかの実施形態では、多機能デバイスが、ユーザの耳の近くに置かれた場合(例えば、ユーザが電話をかけている場合)、近接センサは、タッチスクリーン112をオフにして無効化する。
デバイス100はまた、任意選択的に、1つ以上の触知出力生成器167を含む。図1Aは、I/Oサブシステム106内の触覚フィードバックコントローラ161に結合された触知出力生成器を示す。触知出力生成器167は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの1つ以上の電気音響デバイス、及び/又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素(例えば、デバイス上で電気信号を触知出力に変換する構成要素)などのエネルギーを直線の動きに変換する電気機械デバイスを含む。接触強度センサ165は、触知フィードバック生成命令を触覚フィードバックモジュール133から受信し、デバイス100のユーザが感知することが可能な触知出力をデバイス100上に生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器は、タッチ感知面(例えば、タッチ感知ディスプレイシステム112)と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向(例えば、デバイス100の表面の内/外)に、又は水平方向(例えば、デバイス100の表面と同じ平面内の前後)に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも1つの触知出力生成器センサは、デバイス100の前面に配置されたタッチスクリーンディスプレイ112の反対側である、デバイス100の背面に配置される。
また、デバイス100は、任意選択的に、1つ以上の加速度計168を含む。図1Aは、周辺機器インタフェース118に結合された加速度計168を示す。あるいは、加速度計168は、任意選択的に、I/Oサブシステム106内の入力コントローラ160に結合される。加速度計168は、任意選択的に、どちらも全体が参照により本明細書に組み込まれる、米国特許出願公開第20050190059号、「Acceleration-based Theft Detection System for Portable Electronic Devices」、及び米国特許出願公開第20060017692号、「Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer」に記載されているように機能する。いくつかの実施形態では、情報は、1つ以上の加速度計から受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイに表示される。デバイス100は、任意選択的に、加速度計(単数又は複数)168に加えて、磁気計(図示せず)、並びにデバイス100の位置及び向き(例えば、縦向き又は横向き)に関する情報を取得するためのGPS(又はGLONASS若しくは他のグローバルナビゲーションシステム)受信機(図示せず)を含む。
いくつかの実施形態では、メモリ102内に記憶されているソフトウェア構成要素は、オペレーティングシステム126、通信モジュール(又は命令セット)128、接触/動きモジュール(又は命令セット)130、グラフィックモジュール(又は命令セット)132、テキスト入力モジュール(又は命令セット)134、全地球測位システム(Global Positioning System、GPS)モジュール(又は命令セット)135、及びアプリケーション(又は命令セット)136を含む。更に、いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、図1A及び図3に示すように、デバイス/グローバル内部状態157を記憶する。デバイス/グローバル内部状態157は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ112の様々な領域を占めているかを示す表示状態、デバイスの様々なセンサ及び入力コントロールデバイス116から取得した情報を含むセンサ状態、並びにデバイスの位置、及び/又は姿勢に関する位置情報のうちの1つ以上を含む。
オペレーティングシステム126(例えば、Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、又はVxWorksなどの組込み型オペレーティングシステム)は、全般的なシステムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理など)を制御及び管理する様々なソフトウェア構成要素及び/又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール128は、1つ以上の外部ポート124を介して他のデバイスとの通信を容易にし、RF回路108及び/又は外部ポート124が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート124(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB)、FIREWIREなど)は、直接的に、又はネットワーク(例えばインターネット、無線LANなど)を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、iPod(登録商標)(Apple Inc.の商標)デバイス上で使用される30ピンコネクタと同じ若しくは同様であり、かつ/又はそれに適合しているマルチピン(例えば、30ピン)コネクタである。
接触/動きモジュール130は、任意選択的に、タッチスクリーン112及び他のタッチ感知デバイス(例えば、タッチパッド又は物理クリックホイール)との接触を(ディスプレイコントローラ156と連携して)検出する。接触/動きモジュール130は、接触が生じたかどうかを判定すること(例えば、指ダウンイベントを検出すること)、接触の強度(例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物)を判定すること、接触の移動が存在するかどうかを判定し、タッチ感知面を横断する移動を追跡すること(例えば、指をドラッグする1つ以上のイベントを検出すること)、及び接触が停止したかどうかを判定すること(例えば、指アップイベント又は接触の中断を検出すること)などの、接触の検出に関する様々な動作を実行するための、様々なソフトウェア構成要素を含む。接触/動きモジュール130は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ(大きさ)、速度(大きさ及び方向)、及び/又は加速度(大きさ及び/又は方向の変化)を判定することを含む。これらの動作は、任意選択的に、単一の接触(例えば、1本の指の接触)又は複数の同時接触(例えば、「マルチタッチ」/複数の指の接触)に適用される。いくつかの実施形態では、接触/動きモジュール130及びディスプレイコントローラ156は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触/動きモジュール130は、ユーザによって動作が実行されたかどうかを判定するために(例えば、ユーザがアイコン上で「クリック」したかどうかを判定するために)、1つ以上の強度閾値のセットを使用する。いくつかの実施形態では、強度閾値の少なくとも1つのサブセットは、ソフトウェアパラメータに従って判定される(例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されるのではなく、デバイス100の物理ハードウェアを変更することなく調整することができる)。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変更することなく、広範囲の既定閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザに、(例えば、個々の強度閾値を調整すること、及び/又は複数の強度閾値をシステムレベルのクリック「強度」パラメータによって一度に調整することによって)強度閾値のセットのうちの1つ以上を調整するソフトウェア設定が提供される。
接触/動きモジュール130は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する(例えば検出される接触の動き、タイミング、及び/又は強度が異なる)。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置(又は実質的に同じ位置)(例えば、アイコンの位置)で指アップ(リフトオフ)イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて1つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ(リフトオフ)イベントを検出することを含む。
グラフィックモジュール132は、表示されるグラフィックの視覚的な影響(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性)を変化させる構成要素を含む、タッチスクリーン112又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な既知のソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、テキスト、ウェブページ、アイコン(ソフトキーを含むユーザインタフェースオブジェクトなど)、デジタル画像、動画、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール132は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール132は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する1つ以上のコードを受信し、次にディスプレイコントローラ156に出力する画面の画像データを生成する。
触覚フィードバックモジュール133は、触知出力生成器167によって使用される命令を生成するための様々なソフトウェア構成要素を含み、ユーザのデバイス100との対話に応じて、デバイス100上の1つ以上の位置での触知出力を生成する。
テキスト入力モジュール134は、任意選択で、グラフィックモジュール132の構成要素であり、様々なアプリケーション(例えば、連絡先137、電子メール140、IM141、ブラウザ147、及びテキスト入力を必要とする任意の他のアプリケーション)でテキストを入力するためのソフトキーボードを提供する。
GPSモジュール135は、デバイスの場所を判定し、様々なアプリケーション内で使用するためにこの情報を提供する(例えば、場所ベースのダイアリングで使用するために電話138へ、ピクチャ/ビデオメタデータとしてカメラ143へ、及び気象ウィジェット、ローカルイエローページウィジェット、及び地図/ナビゲーションウィジェットなどの場所ベースのサービスを提供するアプリケーションへ)。
アプリケーション136は、任意選択的に、以下のモジュール(又は命令セット)又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール137(アドレス帳又は連絡先リストと呼ばれることもある)、
●電話モジュール138、
●テレビ会議モジュール139、
●電子メールクライアントモジュール140、
●インスタントメッセージング(Instant messaging、IM)モジュール141、
●トレーニングサポートモジュール142、
●静止画像及び/又は動画用のカメラモジュール143、
●画像管理モジュール144、
●動画プレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール147、
●カレンダーモジュール148、
●任意選択的に、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、辞書ウィジェット149-5、及びユーザによって入手された他のウィジェット、並びにユーザ作成ウィジェット149-6のうちの1つ以上を含むウィジェットモジュール149、
●ユーザ作成ウィジェット149-6を作成するためのウィジェットクリエータモジュール150、
●検索モジュール151、
●動画プレーヤモジュール及び音楽プレーヤモジュールを一体化した動画及び音楽プレーヤモジュール152、
●メモモジュール153、
●地図モジュール154、並びに/又は、
●オンライン動画モジュール155。
任意選択的にメモリ102に記憶される他のアプリケーション136の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、JAVA対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連動して、連絡先モジュール137は、任意選択的に、アドレス帳に名前(単数又は複数)を追加すること、アドレス帳から名前(単数又は複数)を削除すること、電話番号(単数又は複数)、電子メールアドレス(単数又は複数)、住所(単数又は複数)、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話138、テレビ会議モジュール139、電子メール140、又はIM141による通信を開始及び/又は促進することなどを含めて、アドレス帳又は連絡先リスト(例えば、メモリ102又はメモリ370内の連絡先モジュール137のアプリケーション内部状態192内に記憶される)を管理するために使用される。
電話モジュール138は、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール137内の1つ以上の電話番号へのアクセス、入力された電話番号の修正、個別の電話番号のダイヤル、通話の実行、並びに通話終了時の接続解除及び通話停止のために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
テレビ会議モジュール139は、RF回路108、オーディオ回路110、スピーカ111、マイクロフォン113、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、連絡先モジュール137、及び電話モジュール138と連携して、ユーザの指示に従ってユーザと1人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
電子メールクライアントモジュール140は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ユーザの指示に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール144と連携して、電子メールクライアントモジュール140は、カメラモジュール143で撮影された静止画像又は動画画像を有する電子メールの作成及び送信を非常に容易にする。
インスタントメッセージングモジュール141は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、(例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス(Short Message Service、SMS)若しくはマルチメディアメッセージサービス(Multimedia Message Service、MMS)プロトコル、又はインターネットベースのインスタントメッセージ向けのXMPP、SIMPLE、若しくはIMPSを使用する)個別のインスタントメッセージの送信、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信される及び/又は受信されるインスタントメッセージは、任意選択的に、MMS及び/又は拡張メッセージングサービス(Enhanced Messaging Service、EMS)でサポートされるようなグラフィック、写真、オーディオファイル、動画ファイル、及び/又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ(例えば、SMS又はMMSを使用して送信されるメッセージ)と、インターネットベースのメッセージ(例えば、XMPP、SIMPLE、又はIMPSを使用して送信されるメッセージ)との両方を指す。
トレーニングサポートモジュール142は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、地図モジュール154、及び音楽プレーヤモジュールと連携して、トレーニング(例えば、時間、距離、及び/又はカロリー燃焼の目標を有する)を作成し、トレーニングセンサ(スポーツデバイス)と通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択及び再生し、並びに、トレーニングデータを表示、記憶、及び送信するための実行可能な命令を含む。
カメラモジュール143は、タッチスクリーン112、ディスプレイコントローラ156、光センサ164、光センサコントローラ158、接触/動きモジュール130、グラフィックモジュール132、及び画像管理モジュール144と連携して、静止画像若しくは(動画ストリームを含む)動画のキャプチャ及びメモリ102内への記憶、静止画像若しくは動画の特性の修正、又はメモリ102からの静止画像若しくは動画の削除のための実行可能な命令を含む。
画像管理モジュール144は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びカメラモジュール143と連携して、静止画像及び/若しくは動画の配置、修正(例えば、編集)、又はその他の操作、ラベル付け、削除、(例えば、デジタルスライドショー若しくはアルバムにおける)提示、及び記憶のための実行可能な命令を含む。
ブラウザモジュール147は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含む、ユーザの指示に従ってインターネットをブラウジングするための実行可能な命令を含む。
カレンダーモジュール148は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、ユーザの指示に従って、カレンダー及びカレンダーに関連付けられたデータ(例えば、カレンダーアイテム、to-doリストなど)を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ウィジェットモジュール149は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、任意選択的に、ユーザによってダウンロード及び使用されるミニアプリケーション(例えば、気象ウィジェット149-1、株価ウィジェット149-2、計算機ウィジェット149-3、アラーム時計ウィジェット149-4、及び辞書ウィジェット149-5)、又はユーザによって作成されたミニアプリケーション(例えば、ユーザ作成ウィジェット149-6)である。いくつかの実施形態では、ウィジェットは、HTML(Hypertext Markup Language、ハイパーテキストマークアップ言語)ファイル、CSS(Cascading Style Sheets、カスケーディングスタイルシート)ファイル、及びJavaScriptファイルを含む。いくつかの実施形態では、ウィジェットは、XML(Extensible Markup Language、拡張可能マークアップ言語)ファイル及びJavaScriptファイル(例えば、Yahoo!ウィジェット)を含む。
ウィジェットクリエータモジュール150は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、及びブラウザモジュール147と連携して、任意選択的に、ウィジェットを作成する(例えば、ウェブページのユーザ指定部分をウィジェットにする)ために、ユーザによって使用される。
検索モジュール151は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ユーザの指示に従って1つ以上の検索基準(例えば、1つ以上のユーザ指定検索語)と一致するメモリ102内のテキスト、音楽、サウンド、画像、動画、及び/又は他のファイルを検索するための実行可能な命令を含む。
動画及び音楽プレーヤモジュール152は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、及びブラウザモジュール147と連携して、MP3又はAACファイルなどの1つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びに動画を(例えば、タッチスクリーン112上又は外部ポート124を介して接続された外部のディスプレイ上に)表示、提示、又は別の方法で再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス100は、任意選択的に、iPod(Apple Inc.の商標)などのMP3プレーヤの機能を含む。
メモモジュール153は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、及びテキスト入力モジュール134と連携して、ユーザの指示に従ってメモ、to-doリストなどを作成及び管理するための実行可能な命令を含む。
地図モジュール154は、RF回路108、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、テキスト入力モジュール134、GPSモジュール135、及びブラウザモジュール147と連携して、任意選択的に、ユーザの命令に従って、地図及び地図に関連付けられたデータ(例えば、運転の道順、特定の場所又はその付近の店舗及び他の見どころに関するデータ、並びに他の位置ベースのデータ)を受信、表示、修正、及び記憶するために使用される。
オンライン動画モジュール155は、タッチスクリーン112、ディスプレイコントローラ156、接触/動きモジュール130、グラフィックモジュール132、オーディオ回路110、スピーカ111、RF回路108、テキスト入力モジュール134、電子メールクライアントモジュール140、及びブラウザモジュール147と連携して、ユーザが特定のオンライン動画へのアクセス、特定のオンライン動画のブラウジング、(例えば、ストリーミング及び/又はダウンロードによる)受信、(例えば、タッチスクリーン上又は外部ポート124を介して接続された外部ディスプレイ上の)再生、特定のオンライン動画へのリンクを有する電子メールの送信、並びにH.264などの1つ以上のファイル形式のオンライン動画の他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンライン動画へのリンクを送信するために、電子メールクライアントモジュール140ではなく、インスタントメッセージングモジュール141が使用される。オンライン動画アプリケーションについての追加の説明は、その内容の全体が参照により本明細書に組み込まれる、2007年6月20日出願の米国仮特許出願第60/936,562号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」、及び2007年12月31日出願の米国特許出願第11/968,067号、「Portable Multifunction Device,Method,and Graphical User Interface for Playing Online Videos」を参照されたい。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した1つ以上の機能及び本出願に記載した方法(例えば、本明細書に記載したコンピュータにより実装される方法及び他の情報処理方法)を実行する実行可能な命令のセットに対応する。これらのモジュール(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は別の方法で再構成される。例えば、動画プレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール(例えば、図1Aの動画及び音楽プレーヤモジュール152)にされる。いくつかの実施形態では、メモリ102は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ102は、任意選択的に、上記で説明されていない追加のモジュール及びデータ構造を記憶する。
いくつかの実施形態では、デバイス100は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び/又はタッチパッドのみを介して実行されるデバイスである。デバイス100が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び/又はタッチパッドを使用することにより、任意選択的に、デバイス100上の物理的な入力コントロールデバイス(プッシュボタン、ダイヤルなど)の数が削減される。
タッチスクリーン及び/又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス100上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス100をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図1Bは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ102(図1A)又は370(図3)は、イベントソータ170(例えば、オペレーティングシステム126内)と、個別のアプリケーション136-1(例えば、前述のアプリケーション137~151、155、380~390のうちのいずれか)とを含む。
イベントソータ170は、イベント情報を受信し、イベント情報を配信するアプリケーション136-1、及びアプリケーション136-1のアプリケーションビュー191を判定する。イベントソータ170は、イベントモニタ171及びイベントディスパッチャモジュール174を含む。いくつかの実施形態では、アプリケーション136-1は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ112に表示される現在のアプリケーションビューを示すアプリケーション内部状態192を含む。いくつかの実施形態では、デバイス/グローバル内部状態157は、どのアプリケーション(単数又は複数)が現在アクティブであるかを判定するためにイベントソータ170によって使用され、アプリケーション内部状態192は、イベント情報が配信されるアプリケーションビュー191を判定するためにイベントソータ170によって使用される。
いくつかの実施形態では、アプリケーション内部状態192は、アプリケーション136-1が実行を再開するときに使用すべき再開情報、アプリケーション136-1によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション136-1の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ/アンドゥキューのうちの1つ以上などの追加の情報を含む。
イベントモニタ171は、周辺機器インタフェース118からイベント情報を受信する。イベント情報は、サブイベント(例えば、タッチ感知ディスプレイ112でのマルチタッチジェスチャの一部としてのユーザタッチ)に関する情報を含む。周辺機器インタフェース118は、I/Oサブシステム106、又は近接センサ166、加速度計(単数又は複数)168、及び/若しくは(オーディオ回路110を介した)マイクロフォン113などのセンサから受信する情報を送信する。周辺機器インタフェース118がI/Oサブシステム106から受信する情報は、タッチ感知ディスプレイ112又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ171は、所定の間隔で周辺機器インタフェース118に要求を送信する。それに応じて、周辺機器インタフェース118は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース118は、重要なイベント(例えば、所定のノイズ閾値を上回る及び/又は所定の持続時間を超える入力の受信)があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ170はまた、ヒットビュー判定モジュール172及び/又はアクティブイベント認識部判定モジュール173を含む。
ヒットビュー判定モジュール172は、タッチ感知ディスプレイ112が2つ以上のビューを表示しているときに、サブイベントが1つ以上のビュー内のどこで起きたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される(個別のアプリケーションの)アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール172は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール172は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント(例えば、イベント又は潜在的イベントを形成するサブイベントシーケンスにおける第1のサブイベント)が発生する最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール172によって特定されると、ヒットビューは、通常、ヒットビューとして特定されたタッチ又は入力ソースと同じタッチ又は入力ソースに関係する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール173は、ビュー階層内のどのビュー(単数又は複数)がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール173は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール173は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが1つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール174は、イベント情報をイベント認識部(例えばイベント認識部180)にディスパッチする。アクティブイベント認識部判定モジュール173を含む実施形態では、イベントディスパッチャモジュール174は、アクティブイベント認識部判定モジュール173により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール174は、個別のイベント受信部182によって取得されるイベント情報をイベントキューに記憶する。
いくつかの実施形態では、オペレーティングシステム126は、イベントソータ170を含む。あるいは、アプリケーション136-1がイベントソータ170を含む。更に他の実施形態では、イベントソータ170は、独立型のモジュールであり、又は接触/動きモジュール130などのメモリ102内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション136-1は、それぞれがアプリケーションのユーザインタフェースの個別のビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部190及び1つ以上のアプリケーションビュー191を含む。アプリケーション136-1の各アプリケーションビュー191は、1つ以上のイベント認識部180を含む。典型的には、個別のアプリケーションビュー191は、複数のイベント認識部180を含む。他の実施形態では、イベント認識部180のうちの1つ以上は、ユーザインタフェースキット(図示せず)又はアプリケーション136-1が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、個別のイベント処理部190は、データ更新部176、オブジェクト更新部177、GUI更新部178、及び/又はイベントソータ170から受信されたイベントデータ179、のうちの1つ以上を含む。イベント処理部190は、任意選択的に、データ更新部176、オブジェクト更新部177、又はGUI更新部178を利用し又は呼び出して、アプリケーション内部状態192を更新する。あるいは、アプリケーションビュー191のうちの1つ以上が、1つ以上のそれぞれのイベント処理部190を含む。また、いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178のうちの1つ以上は、個別のアプリケーションビュー191に含まれる。
個別のイベント認識部180は、イベントソータ170からイベント情報(例えば、イベントデータ179)を受信し、イベント情報からイベントを特定する。イベント認識部180は、イベント受信部182及びイベント比較部184を含む。いくつかの実施形態では、イベント認識部180はまた、メタデータ183及びイベント配信命令188(任意選択的にサブイベント配信命令を含む)の少なくともサブセットも含む。
イベント受信部182は、イベントソータ170からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、1つの向きから別の向きへの(例えば、縦向きから横向きへ、又はその逆の)デバイスの回転を含み、イベント情報は、デバイスの現在の向き(デバイスの姿勢とも呼ぶ)についての対応する情報を含む。
イベント比較部184は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部184は、イベント定義186を含む。イベント定義186は、例えばイベント1(187-1)及びイベント2(187-2)などのイベント(例えば、既定のサブイベントのシーケンス)の定義を含む。いくつかの実施形態では、イベント(187)内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの移動、タッチの取り消し、及び複数のタッチを含む。一実施例では、イベント1(187-1)についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第1のタッチ(タッチ開始)、所定の段階に対する第1のリフトオフ(タッチ終了)、所定の段階に対する表示オブジェクト上の第2のタッチ(タッチ開始)、及び所定の段階に対する第2のリフトオフ(タッチ終了)を含む。別の実施例では、イベント2(187-2)の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクト上のタッチ(又は接触)、タッチ感知ディスプレイ112にわたるタッチの移動、及びタッチのリフトオフ(タッチ終了)を含む。いくつかの実施形態では、イベントは、1つ以上の関連付けられたイベント処理部190に関する情報も含む。
いくつかの実施形態では、イベント定義187は、個別のユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部184は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ112に3つのユーザインタフェースオブジェクトが表示されているアプリケーションビュー内で、タッチ感知ディスプレイ112上でタッチが検出されると、イベント比較部184は、ヒットテストを実行して、3つのユーザインタフェースオブジェクトのうちのどれがタッチ(サブイベント)に関連付けられているかを判定する。表示された各オブジェクトが、個別のイベント処理部190に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部190をアクティブ化すべきかを判定する。例えば、イベント比較部184は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、個別のイベント187の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の伝送を遅らせる遅延アクションも含む。
個別のイベント認識部180は、一連のサブイベントがイベント定義186のイベントのいずれとも一致しないと判断した場合、個別のイベント認識部180は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、個別のイベント認識部180は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び/又はリストを有するメタデータ183を含む。いくつかの実施形態では、メタデータ183は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。いくつかの実施形態では、メタデータ183は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び/又はリストを含む。
いくつかの実施形態では、個別のイベント認識部180は、イベントの1つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部190をアクティブ化する。いくつかの実施形態では、個別のイベント認識部180は、イベントに関連付けられたイベント情報をイベント処理部190に配信する。イベント処理部190をアクティブ化することは、個別のヒットビューにサブイベントを送信する(及び、送信を延期する)こととは別個である。いくつかの実施形態では、イベント認識部180は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部190は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令188は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定のプロセスを実行する。
いくつかの実施形態では、データ更新部176は、アプリケーション136-1で使用されるデータを作成及び更新する。例えば、データ更新部176は、連絡先モジュール137で使用される電話番号を更新し、又は動画プレーヤモジュールで使用される動画ファイルを記憶する。いくつかの実施形態では、オブジェクト更新部177は、アプリケーション136-1で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部177は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。GUI更新部178は、GUIを更新する。例えば、GUI更新部178は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール132に送る。
いくつかの実施形態では、イベント処理部(単数又は複数)190は、データ更新部176、オブジェクト更新部177、及びGUI更新部178を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部176、オブジェクト更新部177、及びGUI更新部178は、個別のアプリケーション136-1又はアプリケーションビュー191の単一モジュールに含まれる。他の実施形態では、それらは、2つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス100を動作させるための他の形態のユーザ入力にも適用されるが、それらの全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに/又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図2は、いくつかの実施形態に係る、タッチスクリーン112を有するポータブル多機能デバイス100を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース(user interface、UI)200内に1つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、1本以上の指202(図には正確な縮尺では描かれていない)又は1つ以上のスタイラス203(図には正確な縮尺では描かれていない)を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの1つ以上を選択することが可能となる。いくつかの実施形態では、1つ以上のグラフィックの選択は、ユーザが、その1つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、デバイス100と接触した指の、1回以上のタップ、1回以上のスワイプ(左から右へ、右から左へ、上向きに及び/若しくは下向きに)、並びに/又は、ローリング(右から左へ、左から右へ、上向きに及び/若しくは下向きに)を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
いくつかの実施形態では、スタイラス203は、アクティブデバイスであり、1つ以上の電子回路を含む。例えば、スタイラス203は、1つ以上のセンサと、1つ以上の通信回路(通信モジュール128及び/又はRF回路108など)を含む。いくつかの実施形態では、スタイラス203は、1つ以上のプロセッサ及び電力システム(例えば、電力システム162と同様)を含む。いくつかの実施形態では、スタイラス203は、スタイラス203の位置、角度、場所、及び/又は他の物理的特性(例えば、スタイラスが下方に配置されているか、デバイスに向かって若しくはデバイスから離れるように傾斜しているか、及び/又はデバイスの近く若しくは遠くに配置されているかなど)を判定することができる加速度計(加速度計168など)、磁力計、及び/又はジャイロスコープを含む。いくつかの実施形態では、スタイラス203は、電子デバイスと(例えば、通信回路を介して、Bluetoothなどの無線通信プロトコルを介して)通信し、センサデータを電子デバイスに送信する。いくつかの実施形態では、スタイラス203は、ユーザがデバイスを保持しているかどうかを(例えば、加速度計又は他のセンサを介して)判定することができる。いくつかの実施形態では、スタイラス203は、ユーザからのスタイラス203上の(例えば、加速度計又は他のセンサによって受信された)タップ入力(例えば、シングルタップ又はダブルタップ)を受け入れることができ、入力を、機能を実行するための、又は異なる入力モードに変更するためのコマンド又は要求として解釈することができる。
デバイス100はまた、任意選択的に、「ホーム」ボタン又はメニューボタン204などの1つ以上の物理ボタンを含む。前述したように、メニューボタン204は、任意選択的にデバイス100上で実行される1組のアプリケーション内の任意のアプリケーション136にナビゲートするために、任意選択的に使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン112に表示されるGUI内のソフトキーとして実装される。
いくつかの実施形態では、デバイス100は、タッチスクリーン112、メニューボタン204、デバイスの電源をオン/オフにしてデバイスをロックするプッシュボタン206、音量調整ボタン208、加入者識別モジュール(SIM)カードスロット210、ヘッドセットジャック212、及びドッキング/充電用外部ポート124を含む。プッシュボタン206は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン/オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び/又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替の実施形態では、デバイス100は、マイクロフォン113を介して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力もまた受け入れる。デバイス100は、任意選択的に、タッチスクリーン112上の接触の強度を検出する1つ以上の接触強度センサ165、及び/又はデバイス100のユーザに対する触知出力を生成する1つ以上の触知出力生成器167もまた含む。
図3は、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス300は、ポータブル型である必要はない。いくつかの実施形態では、デバイス300は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス(子供の学習玩具など)、ゲームシステム、又は制御デバイス(例えば、家庭用又は業務用コントローラ)である。デバイス300は、通常、1つ以上の処理ユニット(CPU)310、1つ以上のネットワーク又は他の通信インタフェース360、メモリ370、及びこれらの構成要素を相互接続する1つ以上の通信バス320を含む。通信バス320は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路(チップセットと呼ばれることもある)を含む。デバイス300は、ディスプレイ340を含む入出力(I/O)インタフェース330を含み、ディスプレイ340は、通常、タッチスクリーンディスプレイである。I/Oインタフェース330はまた、任意選択的に、キーボード及び/又はマウス(若しくは他のポインティングデバイス)350並びにタッチパッド355と、デバイス300上に触知出力を生成する(例えば、図1Aを参照して前述した触知出力生成器167に類似している)触知出力生成器357と、センサ359(例えば、光、加速度、近接、タッチ感知、及び/又は図1Aを参照して前述した、接触強度センサ165に類似している接触強度センサ)とを含む。メモリ370は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ370は、任意選択で、CPU(単数又は複数)310からリモートに位置する1つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ370は、ポータブル多機能デバイス100(図1A)のメモリ102内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ370は、任意選択で、ポータブル多機能デバイス100のメモリ102に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス300のメモリ370は、任意選択的に、描画モジュール380、プレゼンテーションモジュール382、ワードプロセッシングモジュール384、ウェブサイト作成モジュール386、ディスクオーサリングモジュール388、及び/又はスプレッドシートモジュール390を記憶するのに対して、ポータブル多機能デバイス100(図1A)のメモリ102は、任意選択的に、これらのモジュールを記憶しない。
図3の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの1つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する命令セットに対応する。上記で特定したモジュール又はプログラム(例えば、命令セット)は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットが、任意選択的に組み合わされ、又は他の方法で再構成される。いくつかの実施形態では、メモリ370は、任意選択的に、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ370は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に、例えばポータブル多機能デバイス100に実装されるユーザインタフェースの実施形態に注意を向ける。
図4Aは、いくつかの実施形態に係る、ポータブル多機能デバイス100上のアプリケーションのメニュー用の例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス300上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース400は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びWi-Fi信号などの無線通信(単数又は複数)用の信号強度インジケータ(単数又は複数)402、
●時刻404、
●Bluetoothインジケータ405、
●バッテリ状態インジケータ406、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ408
○不在着信又はボイスメールメッセージの数のインジケータ414を任意選択的に含む、「電話」とラベル付けされた、電話モジュール138のアイコン416、
○未読電子メールの数のインジケータ410を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール140のアイコン418、
○「ブラウザ」とラベル付けされた、ブラウザモジュール147のアイコン420、及び
○「iPod」とラベル付けされる、iPod(Apple Inc.の商標)モジュール152とも称される動画及び音楽プレーヤモジュール152用のアイコン422、及び
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、IMモジュール141のアイコン424、
○「カレンダー」とラベル付けされた、カレンダーモジュール148のアイコン426、
○「写真」とラベル付けされた、画像管理モジュール144のアイコン428、
○「カメラ」とラベル付けされた、カメラモジュール143のアイコン430、
○「オンライン動画」とラベル付けされた、オンライン動画モジュール155のアイコン432、
〇「株価」とラベル表示された株価ウィジェット149-2に対するアイコン434、
○「マップ」とラベル付けされた、地図モジュール154のアイコン436、
〇「天気」とラベル表示された気象ウィジェット149-1に対するアイコン438、
〇「時計」とラベル表示されたアラーム時計ウィジェット149-4に対するアイコン440、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール142のアイコン442、
○「メモ」とラベル付けされた、メモモジュール153のアイコン444、及び
○デバイス100及びその様々なアプリケーション136の設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン446。
図4Aに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、動画及び音楽プレーヤモジュール152のアイコン422は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、個別のアプリケーションアイコンに関するラベルは、個別のアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図4Bは、ディスプレイ450(例えば、タッチスクリーンディスプレイ112)とは別個のタッチ感知面451(例えば、図3のタブレット又はタッチパッド355)を有するデバイス(例えば、図3のデバイス300)上の例示的なユーザインタフェースを示す。デバイス300はまた、任意選択的に、タッチ感知面451上の接触の強度を検出する1つ以上の接触強度センサ(例えば、センサ359のうちの1つ以上)、及び/又はデバイス300のユーザに対して触知出力を生成する1つ以上の触知出力生成器357を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ112(タッチ感知面及びディスプレイが組み合わされている)上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図4Bに示すように、ディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面(例えば、図4Bの451)は、ディスプレイ(例えば、450)上の一次軸(例えば、図4Bの453)に対応する一次軸(例えば、図4Bの452)を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置(例えば、図4Bでは、460は468に対応し、462は470に対応する)で、タッチ感知面451との接触(例えば、図4Bの460及び462)を検出する。このようにして、タッチ感知面(例えば、図4Bの451)上でデバイスによって検出されるユーザ入力(例えば、接触460及び462、並びにこれらの移動)は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ(例えば、図4Bの450)上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力(例えば、指接触、指タップジェスチャ、指スワイプジェスチャ)を参照して与えられる一方、いくつかの実施形態では、指入力のうちの1つ以上が別の入力デバイスからの入力(例えば、マウスベースの入力又はスタイラス入力)に置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、(例えば、接触の代わりに、)マウスクリックであって、その後に(例えば、接触の移動の代わりに)スワイプの経路に沿ったカーソルの移動を伴うマウスクリックによって置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置上に位置する間は、(例えば、接触を検出して、それに続いて接触の検出を停止する代わりに)マウスクリックによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図5Aは、例示的なパーソナル電子デバイス500を示す。デバイス500は、本体502を含む。いくつかの実施形態では、デバイス500は、デバイス100及び300(例えば、図1A~図4B)に関して説明された特徴のうちのいくつか又は全てを含むことができる。いくつかの実施形態では、デバイス500は、タッチ感知ディスプレイスクリーン504、以下ではタッチスクリーン504を有する。あるいは、又はタッチスクリーン504に加えて、デバイス500は、ディスプレイ及びタッチ感知面を有する。デバイス100及び300と同様に、いくつかの実施形態では、タッチスクリーン504(又はタッチ感知面)は、任意選択的に、加えられている接触(例えば、タッチ)の強度を検出する1つ以上の強度センサを含む。タッチスクリーン504(又はタッチ感知面)の1つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス500のユーザインタフェースは、タッチ(複数)に、その強度に基づいて応答することができ、これは、異なる強度のタッチが、デバイス500上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出し処理する例示的な技術は、例えば、それぞれ全体が参照により本明細書に組み込まれる関連出願である、国際公開第2013/169849号として公開された、2013年5月8日出願の国際特許出願第PCT/US2013/040061号、「Device,Method,and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application」、及び国際公開第2014/105276号として公開された、2013年11月11日出願の国際特許出願第PCT/US2013/069483号、「Device,Method,and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships」を参照されたい。
いくつかの実施形態では、デバイス500は、1つ以上の入力機構506及び508を有する。入力機構506及び508は、含まれる場合、物理的であり得る。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス500は、1つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、眼鏡類、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス500を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス500を着用することを可能にする。
図5Bは、例示的なパーソナル電子デバイス500を示す。いくつかの実施形態では、デバイス500は、図1A、図1B、及び図3に関して説明した構成要素のうちのいくつか又は全てを含むことができる。デバイス500は、I/Oセクション514を1つ以上のコンピュータプロセッサ516及びメモリ518に動作可能に結合するバス512を有する。I/Oセクション514は、ディスプレイ504に接続することができ、ディスプレイ504は、タッチ感知構成要素522と、任意選択で強度センサ524(例えば、接触強度センサ)とを有することができる。加えて、I/Oセクション514は、Wi-Fi、Bluetooth、近距離通信(NFC)、セルラー、及び/又は他の無線通信技術を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット530と接続することができる。デバイス500は、入力機構506及び/又は508を含むことができる。入力機構506は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの実施例では、入力メカニズム508は、任意選択的にボタンである。
いくつかの実施例では、入力メカニズム508は、任意選択的にマイクロフォンである。パーソナル電子デバイス500は、任意選択的に、GPSセンサ532、加速度計534、方向センサ540(例えば、コンパス)、ジャイロスコープ536、動きセンサ538、及び/又はそれらの組み合わせなどの様々なセンサを含み、それらは全て、I/Oセクション514に動作可能に接続することができる。
パーソナル電子デバイス500のメモリ518は、コンピュータ実行可能命令を記憶するための1つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、1つ以上のコンピュータプロセッサ516によって実行されると、例えば、コンピュータプロセッサに、方法700(図7)を含む、後述する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又は命令実行システム、装置、若しくはデバイスに関連して、使用されるコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体であり得る。いくつかの実施例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの実施例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それらに限定されるものではないが、磁気、光学、及び/又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、CD、DVD、又はBlu-ray技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス500は、図5Bの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書で使用される「アフォーダンス」という用語は、任意選択的に、デバイス100、300、及び/又は500(図1A、図3、及び図5A~図5B)のディスプレイスクリーンに表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像(例えば、アイコン)、ボタン、及びテキスト(例えば、ハイパーリンク)はそれぞれ、任意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の上に位置する間に、入力(例えば、押下入力)がタッチ感知面(例えば、図3のタッチパッド355又は図4Bのタッチ感知面451)上で検出されたとき、特定のユーザインタフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を可能にするタッチスクリーンディスプレイ(例えば、図1Aのタッチ感知ディスプレイシステム112又は図4Aのタッチスクリーン112)を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素(例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素)の位置で入力(例えば、接触による押下入力)が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、(例えば、フォーカスを1つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによって)タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザインタフェースの1つの領域からユーザインタフェースの別の領域に動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる具体的な形態に関わらず、フォーカスセレクタは、一般に、ユーザが意図するユーザインタフェースとの対話について(例えば、ユーザがそれを通じて対話することを意図しているユーザインタフェースの要素をデバイスに示すことによって)伝えるためにユーザによって制御されるユーザインタフェース要素(又はタッチスクリーンディスプレイ上の接触)である。例えば、タッチ感知面(例えば、タッチパッド又はタッチスクリーン)上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ(例えば、カーソル、接触、又は選択ボックス)の位置は、その対応のボタンを(そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく)アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲において使用されるとき、接触の「特性強度」という用語は、接触の1つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント(例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び/又は、接触の強度の減少を検出する前若しくは後の)に関連する所定の時間(例えば、0.05、0.1、0.2、0.5、1、2、5、10秒)の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均(mean)値、接触の強度の平均(average)値、接触の強度の上位10パーセンタイル値、接触の強度の最大の2分の1の値、接触の強度の最大の90パーセントの値などのうちの1つ以上に基づいている。いくつかの実施形態では、特性強度を判定する際に(例えば、特性強度が経時的な接触の強度の平均であるときに)、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって動作が実行されたかどうかを判定するために、1つ以上の強度閾値のセットと比較される。例えば、1つ以上の強度閾値のセットは、任意選択的に、第1の強度閾値及び第2の強度閾値を含む。この例では、第1の閾値を超えない特性強度を有する接触は第1の動作をもたらし、第1の強度閾値を上回るが第2の強度閾値を超えない特性強度を有する接触は第2の動作をもたらし、第2の閾値を超える特性強度を有する接触は第3の動作をもたらす。いくつかの実施形態では、特性強度と1つ以上の閾値との間の比較は、第1の動作を実行するべきか、それとも第2の動作を実行するべきかを判定するために使用されるのではなく、1つ以上の動作を実行するべきか否か(例えば、個別の動作を実行するべきか、それとも個別の動作を実行するのを見送るべきか)を判定するために使用される。
図5Cは、複数の強度センサ524A~524Dによってタッチ感知ディスプレイスクリーン504上で複数の接触552A~552Eを検出することを示している。図5Cは、追加として、強度単位に対する強度センサ524A~524Dの現在の強度測定値を示す強度ダイアグラムを含む。この例では、強度センサ524A及び524Dの強度測定値はそれぞれ9強度単位であり、強度センサ524B及び524Cの強度測定値はそれぞれ7強度単位である。いくつかの実装形態では、集約強度は、複数の強度センサ524A~524Dの強度測定値の和であり、この例では32強度単位である。いくつかの実施形態では、各接触に、集約強度の一部分である個別の強度が割り当てられる。図5Dは、力の中心554からの距離に基づいて、集約強度を接触552A~552Eに割り当てることを示している。この例では、接触552A、552B、及び552Eのそれぞれに、集約強度の8強度単位の接触の強度が割り当てられ、接触552C及び552Dのそれぞれに、集約強度の4強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触jは、既定の数学関数Ij=A(Dj/ΣDi)に従って、集約強度Aの一部分である、個別の強度Ijが割り当てられ、ここで、Djは、力の中心から個別の接触jまでの距離であり、ΣDiは、力の中心から全てのそれぞれの接触(例えば、i=1から最後まで)までの距離の和である。図5C~図5Dを参照して説明した動作は、デバイス100、300又は500と類似若しくは同一の電子デバイスを使用して行うことができる。いくつかの実施形態では、接触の特性強度は、接触の1つ以上の強度に基づいている。いくつかの実施形態では、強度センサは、単一の特性強度(例えば、単一の接触の単一の特性強度)を判定するために使用される。強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5C~図5Dに含まれていることに留意されたい。
いくつかの実施形態では、特性強度を判定する目的のために、ジェスチャの一部分が特定される。例えば、タッチ感知面は、任意選択的に、開始位置から遷移して終了位置に到達し、その位置で接触の強度が増大している、連続するスワイプ接触を受信する。この例では、終了位置での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ(例えば、スワイプ接触のうち終了位置の部分のみ)に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び/又は指数平滑化アルゴリズムのうちの1つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を判定する目的のために、スワイプ接触強度の幅の狭いスパイク又は下落を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下強度閾値、深い押下強度閾値、及び/又は1つ以上の他の強度閾値などの1つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押下強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下強度閾値を下回る(例えば、かつそれを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る)特性強度を有する接触が検出されたとき、デバイスは、タッチ感知面上の接触の移動に従い、軽い押下強度閾値又は深い押下強度閾値に関連付けられた動作を実行することなく、フォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェースの値の様々なセットの間で一貫している。
軽い押下強度閾値を下回る強度から、軽い押下強度閾値と深い押下強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下強度閾値を下回る強度から、深い押下強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値はゼロより大きい。
本明細書に記載するいくつかの実施形態では、個別の押下入力を含むジェスチャを検出したことに応じて、又は個別の接触(若しくは複数の接触)によって実行された個別の押下入力を検出したことに応じて、1つ以上の動作が実行され、個別の押下入力は、押下入力強度閾値を上回る接触(又は複数の接触)の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、個別の動作は、押下入力強度閾値を上回る個別の接触の強度の増大(例えば、個別の押下入力の「ダウンストローク」)を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回る個別の接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、個別の動作は、それに続く押下入力閾値を下回る個別の接触の強度の減少(例えば、個別の押下入力の「アップストローク」)を検出したことに応じて実行される。
図5E~5Hは、図5Eの軽い押下強度閾値(例えば、「IT」)を下回る強度から、図5Hの深い押下強度閾値(例えば、「IT」)を上回る強度への、接触562の強度の増大に対応する押下入力を含むジェスチャの検出を示す。接触562によって実行されるジェスチャは、タッチ感知面560上で検出され、既定の領域574内に表示されたアプリケーションアイコン572A~572Dを含む表示ユーザインタフェース570上では、アプリ2に対応するアプリケーションアイコン572Bの上にカーソル576が表示される。いくつかの実施形態では、ジェスチャは、タッチ感知ディスプレイ504上に検出される。強度センサは、タッチ感知面560上の接触の強度を検出する。デバイスは、接触562の強度が深い押下強度閾値(例えば、「IT」)を上回ってピークに達したと判定する。接触562は、タッチ感知面560上で維持される。ジェスチャの検出に応じて、ジェスチャ中に深い押下強度閾値(例えば、「IT」)を上回る強度を有する接触562に従って、図5F~5Hに示すように、アプリ2に対して最近開いた文書の縮尺が低減された表現578A~578C(例えば、サムネイル)が表示される。いくつかの実施形態では、1つ以上の強度閾値と比較されるこの強度は、接触の特性強度である。接触562に対する強度ダイアグラムは、表示ユーザインタフェースの一部ではなく、読み手の助けになるように図5E~5Hに含まれていることに留意されたい。
いくつかの実施形態では、表現578A~578Cの表示は、アニメーションを含む。例えば、図5Fに示すように、表現578Aが、アプリケーションアイコン572Bに近接して最初に表示される。アニメーションが進むにつれて、図5Gに示すように、表現578Aは上方へ動き、表現578Bが、アプリケーションアイコン572Bに近接して表示される。次いで、図5Hに示すように、表現578Aが上方へ動き、表現578Bが表現578Aに向かって上方へ動き、表現578Cが、アプリケーションアイコン572Bに近接して表示される。表現578A~578Cは、アイコン572Bの上にアレイを形成する。いくつかの実施形態では、アニメーションは、図5F~5Gに示すように、接触562の強度に従って進行し、接触562の強度が深い押下強度閾値(例えば、「IT」)に向かって増大するにつれて、表現578A~578Cが現れ、上方へ動く。いくつかの実施形態では、アニメーションの進行が基づいている強度は、接触の特性強度である。図5E~5Hを参照して説明する動作は、デバイス100、300、又は500に類似若しくは同一の電子デバイスを使用して実行することができる。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押下入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する(例えば、ヒステリシス強度閾値は、押下入力強度閾値よりもX強度単位低い、又はヒステリシス強度閾値は、押下入力強度閾値の75%、90%、若しくはなんらかの妥当な割合である)。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回る個別の接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、個別の動作は、それに続くヒステリシス強度閾値を下回る個別の接触の強度の減少(例えば、個別の押下入力の「アップストローク」)を検出したことに応じて実行される。同様に、いくつかの実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、個別の動作は、押下入力(例えば、状況に応じて、接触の強度の増大又は接触の強度の減少)を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び/又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押下入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押下入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
本明細書では、「インストール済みアプリケーション」は、電子デバイス(例えば、デバイス100、300、及び/又は500)上へダウンロードされ、デバイス上で起動する準備ができた(例えば、開かれた)ソフトウェアアプリケーションを指す。いくつかの実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出し、抽出された部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。
本明細書では、「開いているアプリケーション」又は「実行中のアプリケーション」という用語は、保持された状態情報(例えば、デバイス/グローバル内部状態157及び/又はアプリケーション内部状態192の一部として)を有するソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下のタイプのアプリケーションのうちのいずれか1つである。
●アプリケーションが使用されているデバイスのディスプレイスクリーンに現在表示されているアクティブなアプリケーション、
●現在表示されていないが、アプリケーションに対する1つ以上のプロセスが1つ以上のプロセッサによって処理されている背景アプリケーション(又は背景プロセス)、並びに
●稼働していないが、(それぞれ、揮発性及び不揮発性の)メモリに記憶されており、かつアプリケーションの実行を再開するために使用することができる状態情報を有する、中断又は休止状態のアプリケーション。
本明細書では、「閉じているアプリケーション」という用語は、保持された状態情報を有していないソフトウェアアプリケーションを指す(例えば、閉じているアプリケーションに対する状態情報は、デバイスのメモリ内に記憶されていない)。したがって、アプリケーションを閉じることは、アプリケーションに対するアプリケーションプロセスを停止及び/又は除去し、アプリケーションに対する状態情報をデバイスのメモリから除去することを含む。概して、第1のアプリケーション中に第2のアプリケーションを開いても、第1のアプリケーションは閉じない。第2のアプリケーションが表示されており、かつ第1のアプリケーションが表示を終了されたとき、第1のアプリケーションは背景アプリケーションになる。
次に、ポータブル多機能デバイス100、デバイス300、又はデバイス500などの電子デバイス上で実施されるユーザインタフェース(「UI」)及び関連プロセスの実施形態に注意を向ける。
ユーザインタフェース及び関連するプロセス
グラフィカルオブジェクトの要素のカスタマイズ
ユーザは、電子デバイスにテキストを入力することを含む、多くの異なる方法で電子デバイスと対話する。いくつかの実施形態では、電子デバイスは、物理キーボードのレイアウトを模倣してユーザが入力するキャラクタ(例えば、文字)を選択することを可能にする、仮想キーボード(例えば、ソフトキーボード)を提供する。いくつかの実施形態では、仮想キーボードは、絵文字(及び他のグラフィカルオブジェクト)を選択及び挿入するための絵文字キーボードを含む。いくつかの実施形態では、デバイスは、複数のカスタマイズ可能な要素を有する絵文字をカスタマイズ及び挿入するためのユーザインタフェースを提供することができ、したがって、デバイスとのユーザの対話を向上させる。デバイスとの双方向作用を強化することにより、動作を実行するためにユーザが必要な時間の量を低減し、したがって、デバイスの電力使用量を低減してバッテリ駆動デバイスに対してバッテリ寿命を増大する。人々が、デバイスを使用することが理解される。人がデバイスを使用するとき、その人は、任意選択的にそのデバイスのユーザと呼ばれる。
図6A~図6XXは、電子デバイスが絵文字などのグラフィカルオブジェクトをカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する例示的な方法を示す。これらの図中の実施形態は、図7A~図7Mを参照して説明するプロセスを含む、以下に説明するプロセスを例示するために使用される。
図6Aは、タッチスクリーン504を含む例示的なデバイス500を示す。図6Aに示すように、電子デバイス500は、ユーザインタフェース600を表示する。いくつかの実施形態では、ユーザインタフェース600は、1つ以上のテキスト入力フィールド(例えば、テキスト入力領域)を含む任意のユーザインタフェースである。いくつかの実施形態では、テキスト入力フィールド(例えば、テキスト入力領域)は、ユーザがテキスト(例えば、文字、キャラクタ、単語など)を入力することができるユーザインタフェース要素である。例えば、テキスト入力フィールドは、アプリケーション内のテキストフィールド、フォーム上のテキストフィールド、ブラウザ内のURL入力要素、ログインフィールドなどであってもよい。テキスト入力フィールド(例えば、テキスト入力領域)は、テキストのみを受け付けるユーザインタフェース要素に限定されず、オーディオ及び/若しくは視覚メディア並びに/又は任意の他のタイプの視覚若しくはグラフィカルオブジェクトを受け付けて表示することもできるものであることが理解される。
図6Aでは、ユーザインタフェース600は、テキストメッセージ会話を表示しているテキストメッセージングアプリケーションのものである。いくつかの実施形態では、ユーザインタフェース600は、会話領域602、テキスト入力領域604、及び仮想キーボード606を含む。いくつかの実施形態では、仮想キーボード606は、仮想キーボード606の表示を要求するユーザ入力に応じて表示される。いくつかの実施形態では、仮想キーボード606は、オブジェクト(例えば、テキスト、絵文字、画像など)をテキスト入力領域604に挿入するための複数の選択可能なオプションを有するユーザインタフェース要素である。図6Aでは、仮想キーボード606は、絵文字をテキスト入力領域604に挿入するための1つ以上の選択可能なオプションを含む、絵文字選択ユーザインタフェース(以下、絵文字キーボード606と呼ばれる)を提示している。いくつかの実施形態では、絵文字は、グラフィカルオブジェクトである。いくつかの実施形態では、絵文字は、人々、場所、動物、オブジェクト、フラグ、記号などを表す画像、アイコン、記号、表意文字である。いくつかの実施形態では、絵文字は、Unicode規格(例えば、Unicode6.0以降)などによって、テキストキャラクタとして認識可能である。いくつかの実施形態では、絵文字は、テキスト入力領域に挿入して、他の電子デバイスに送信することができる。いくつかの実施形態では、絵文字キーボード606は、顔文字の絵文字、サムアップ及びダウンの絵文字、人々の絵文字、グループの絵文字、ファミリーの絵文字などを含む。いくつかの実施形態では、利用可能な絵文字は、1つ以上のカテゴリに編成される。いくつかの実施形態では、絵文字キーボード606は、異なるページ又はタブ上に各カテゴリを表示する。いくつかの実施形態では、個別のページ又はタブにナビゲートするために、1つ以上の選択可能なオプション610が、絵文字キーボード606上に表示される。
いくつかの実施形態では、絵文字キーボード606上の特定の絵文字は、カスタマイズ可能である。いくつかの実施形態では、特定のカスタマイズ可能な絵文字は、1つのカスタマイズ可能な要素を有する。例えば、1人の人の絵文字は、任意選択的に、その人の皮膚の色調を変更するようにカスタマイズ可能である。いくつかの実施形態では、特定のカスタマイズ可能な絵文字は、複数のカスタマイズ可能な要素を有する。例えば、グループの絵文字(例えば、2人の人の絵文字)又はファミリーの絵文字(例えば、3人又は4人の人の絵文字)は、任意選択的に、絵文字で表される人々のそれぞれの皮膚の色調を変更するようにカスタマイズ可能である。いくつかの実施形態では、他のカスタマイズが可能である。いくつかの実施形態では、特定のカスタマイズ可能な絵文字は、1つ以上のアクセサリを有する。例えば、人々を有する絵文字は、任意選択的に、帽子、宝飾品などを追加するようにカスタマイズ可能である。一般に、いくつかの絵文字は、任意選択的に、本開示のユーザインタフェースを使用してカスタマイズ可能な複数のカスタマイズ可能な視覚要素(例えば、色、オブジェクトなどの視覚要素など)を含む。
図6Aに示すように、絵文字キーボード606は、8つの絵文字608-1~608-8を含む。絵文字608-1及び608-2は、笑顔及びしかめ面の絵文字に対応し、カスタマイズ可能な要素を有さない。絵文字608-3及び608-4は、男性のキャラクタ及び女性のキャラクタの絵文字に対応し、単一のカスタマイズ可能な要素(例えば、絵文字で表される人)を有する。絵文字608-5及び608-6は、女性と男性のグループ及び女性と女性のグループに対応し、2つのカスタマイズ可能な要素(例えば、絵文字で表される2人の人々)を有する。絵文字キーボード606は、任意選択的に、絵文字608-7及び608-8などの他の絵文字を含み、任意選択的に、他の絵文字を見せるようにスクロール可能である。
本明細書に示す絵文字は、単なる例示であり、本明細書に図示及び説明されるもの以外の絵文字は、任意選択的に、カスタマイズ可能な要素のいずれも有さない、1つを有する、又は複数を有するのいずれかであることが理解される。図6A~図6XXに示す実施例は例示的なものであり、例示されるユーザインタフェース及び/又はアプリケーションのみに限定するものと見なされるべきではないことが理解される。
図6Bでは、ユーザ入力603は、笑顔の絵文字に対応する絵文字608-1を選択してタッチスクリーン504上で受信(例えば、検出)される。いくつかの実施形態では、絵文字608-1を選択するユーザ入力603は、絵文字608-1をテキスト入力領域604に挿入する要求に対応する。いくつかの実施形態では、ユーザ入力603は、タップ入力である。例えば、図6Bに示すユーザ入力603は、タイマ612によって示されるように、所定の閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)未満の接触である。いくつかの実施形態では、絵文字608-1は、任意のカスタマイズ可能な要素を有さない。したがって、いくつかの実施形態では、ユーザ入力に応じて、デバイス500は、図6Cに示すように、絵文字608-1をテキスト入力領域604に挿入する。いくつかの実施形態では、テキスト入力領域が挿入されたキャラクタ(例えば、絵文字608-1)を受信したことに応じて、テキスト入力領域604内のテキストを(例えば、テキストメッセージとして)伝送(例えば、送信)するように選択可能な送信オプション616が表示される。
図6Cでは、ユーザ入力603は、女性のキャラクタの絵文字に対応する絵文字608-4を選択してタッチスクリーン504上で受信される。上述のように、絵文字608-4は、1つのカスタマイズ可能な要素を有する。図6Cに示す実施形態では、絵文字608-4は、以前にカスタマイズされていない(例えば、ユーザは、カスタマイズ可能な要素の変形を以前に選択していない)。いくつかの実施形態では、絵文字608-4を選択するユーザ入力603は、(例えば、絵文字がまだカスタマイズされていないため)絵文字608-4をカスタマイズする要求に対応する。いくつかの実施形態では、絵文字608-4を選択するユーザ入力603は、絵文字608-4をテキスト入力領域604に挿入する要求に対応する。いくつかの実施形態では、ユーザ入力603は、タップ入力である。例えば、図6Cに示すユーザ入力603は、タイマ612によって示されるように、所定の閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)未満の接触である。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、絵文字608-4がユーザによってまだカスタマイズされていないため、図6Dに示すように、単一要素カスタマイズユーザインタフェース618を表示する。いくつかの実施形態では、単一要素カスタマイズユーザインタフェース618は、ユーザが以前に絵文字をカスタマイズしていない場合、タップ入力に応じてのみ表示される。いくつかの実施形態では、単一要素カスタマイズユーザインタフェース618は、ユーザが以前に絵文字をカスタマイズしたかどうかに関係なく、タップ入力に応じて常に表示される。いくつかの実施形態では、単一要素カスタマイズユーザインタフェース618は、所定の閾値よりも長い接触持続時間を有するユーザ入力(例えば、「長い押圧」又は「タップアンドホールド」入力)に応じてのみ表示される。
図6Dに示すように、単一要素カスタマイズユーザインタフェース618は、絵文字608-4の1つ以上の変形の1つ以上の表現を含むユーザインタフェース要素である。例えば、絵文字608-4のカスタマイズ可能な要素は、絵文字608-4の女性のキャラクタの皮膚の色調である。図6Dに示すように、単一要素カスタマイズユーザインタフェース618は、変形620、及び622-1~622-3を含む。いくつかの実施形態では、変形620は、絵文字608-4のデフォルト変形(例えば、任意の特定の皮膚の色調を表さない、黄色などのデフォルト色を有する絵文字)に対応する。いくつかの実施形態では、変形622-1~622-3は、絵文字608-4のカスタマイズ可能な皮膚の色調に対応する。いくつかの実施形態では、単一要素カスタマイズユーザインタフェース618は、デフォルト変形620とカスタム変形622-1~622-3との間の視覚的描写を含む。いくつかの実施形態では、デフォルト変形620は、カスタム変形622-1~622-3から視覚的に分離されて表示される。いくつかの実施形態では、変形620及び622-1~622-3は、1)個別の変形を選択する、及び2)個別の変形をテキスト入力フィールド618に挿入する、の両方をするように選択可能である。例えば、図6Dでは、ユーザ入力603は、変形622-2を選択して(例えば、タップして)受信される。いくつかの実施形態では、変形622-2を選択するユーザ入力603に応じて、デバイス500は、図6Eに示すように、絵文字608-4の変形622-2をキャラクタ614-2としてテキスト入力フィールド604に挿入する。図6Eに示すように、変形622-2をテキスト入力フィールド604に挿入することに加えて、デバイス500は、(例えば、ユーザ入力に応じて)絵文字608-4が選択された変形622-2で表示されるように、絵文字キーボード606を更新する。
図6E~図6EEは、複数のカスタマイズ可能な要素を有する絵文字をカスタマイズ及び挿入する方法を示す。図6Eでは、ユーザ入力603は、女性と女性のグループの絵文字に対応する絵文字608-6を選択して(例えば、タップして)受信される。いくつかの実施形態では、絵文字608-6は、2つのカスタマイズ可能な要素を有する。例えば、絵文字608-6は、2人の人々の表現(例えば、グループの絵文字)である。いくつかの実施形態では、絵文字608-6の各人の皮膚の色調は、カスタマイズ可能である。図6Eに示す実施形態では、絵文字608-6は、以前にカスタマイズされていない(例えば、ユーザは、カスタマイズ可能な要素のうちのいずれかに対するオプション又は変形を以前に選択していない)。いくつかの実施形態では、絵文字608-6を選択するユーザ入力603は、(例えば、絵文字608-6がまだカスタマイズされていないため)絵文字608-6をカスタマイズする要求に対応する。いくつかの実施形態では、絵文字608-6を選択するユーザ入力603は、絵文字608-6をテキスト入力領域604に挿入する要求に対応する。いくつかの実施形態では、ユーザ入力603は、タップ入力である。例えば、図6Eに示すユーザ入力603は、タイマ612によって示されるように、所定の閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)未満の接触である。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6Fに示すように、多要素カスタマイズユーザインタフェース624を表示する。いくつかの実施形態では、多要素カスタマイズユーザインタフェース624は、ユーザが絵文字のカスタマイズをまだ完了していない場合、タップ入力に応じてのみ表示される。いくつかの実施形態では、多要素カスタマイズユーザインタフェース624は、ユーザが以前に絵文字をカスタマイズしたかどうかに関係なく、タップ入力に応じて常に表示される。いくつかの実施形態では、多要素カスタマイズユーザインタフェース624は、所定の閾値よりも長い接触持続時間を有するユーザ入力に応じてのみ表示される。
図6Fに示すように、多要素カスタマイズユーザインタフェース624は、絵文字608-6をカスタマイズするための2行の変形を含む。いくつかの実施形態では、第1の行は、第1のカスタマイズ可能な要素(例えば、絵文字の左側の人)の変形に対応する、絵文字608-6の変形626-1~626-4を含む。いくつかの実施形態では、第2の行は、第2のカスタマイズ可能な要素(例えば、絵文字の右側の人)に対応する、絵文字608-6の変形628-1~628-4を含む。例えば、絵文字608-6の第1のカスタマイズ可能な要素は、絵文字608-6の左の人の皮膚の色調であり、絵文字608-6の第2のカスタマイズ可能な要素は、絵文字608-6の右の人の皮膚の色調である。いくつかの実施形態では、多要素カスタマイズユーザインタフェース624の第1及び第2の行の変形は、カスタマイズ可能な要素の各々を表示する(例えば、個別の行によってカスタマイズされていない絵文字の部分をクロッピングすることなく、全絵文字を表示する)。いくつかの実施形態では、第1の行の変形の表現は、左の人に対する個別の変形で表示される(例えば、各選択可能なオプションは、異なる皮膚の色調で左の人を表示する)。いくつかの実施形態では、第1の行の表現は、プレースホルダ外観を有する(例えば、グレーアウトされた)右の人で表示されて、第1の行が右の人をカスタマイズするためのものではない(例えば、右の人をカスタマイズするように選択可能ではない)ことを示す。いくつかの実施形態では、第2の行の表現は、右の人に対する個別の変形で表示される(例えば、各選択可能なオプションは、異なる皮膚の色調で右の人を表示する)。いくつかの実施形態では、第2の行の表現は、プレースホルダ外観を有する(例えば、グレーアウトされた)左の人で表示されて、第2の行が左の人をカスタマイズするためのものではない(例えば、左の人をカスタマイズするように選択可能ではない)ことを示す。いくつかの実施形態では、上述した左及び右の人々の変形オプションのいずれかは、以下に説明するデフォルト変形(例えば、絵文字のデフォルト着色に対応する黄色の着色)であってもよい。いくつかの実施形態では、上述した変形オプションのいずれも、デフォルト変形ではない(例えば、それは、行内のオプションとして列挙されておらず、左又は右の人のいずれかのカスタマイズとして選択可能ではない)。そのような実施形態では、デフォルト変形は、選択可能な要素をカスタマイズするためのオプションではない。そのような実施形態では、ユーザは、選択可能な要素のいずれかに対するデフォルト変形を選択することができず(例えば、1つの要素に対するデフォルト変形及び別の要素に対する皮膚の色調変形も、両方の要素に対するデフォルト変形も選択することもできない)、ユーザは、選択可能な要素に対する皮膚の色調変形のみを選択することができる。本明細書に記載されるように、デフォルト変形(例えば、絵文字のデフォルト着色に対応する黄色の着色)は、皮膚の色調変形(例えば、絵文字をカスタマイズするように選択可能なものなど)ではなく、単に絵文字のデフォルト着色に過ぎず、特定の皮膚の色調を表すものではない。
いくつかの実施形態では、第3の行は、絵文字608-6のデフォルト変形630-1を含む。例えば、デフォルト変形630-1は、左及び右の人の両方のデフォルト着色(例えば、黄色などの、任意の特定の皮膚の色調を表さない絵文字のデフォルト着色)を有する。いくつかの実施形態では、第3の行は、絵文字608-6のカスタマイズされた変形630-2を含む。いくつかの実施形態では、絵文字608-6が任意のカスタマイズを有していない(例えば、第1及び第2の行からのオプションが選択されていない)場合、カスタマイズされた変形630-2は、両方の人々(例えば、両方のカスタマイズ可能な要素)に対するプレースホルダ要素で表示される。例えば、図6Fでは、カスタマイズされた変形630-2の両方の人々は、プレースホルダ外観で(例えば、グレーアウトされて)表示されて、カスタマイズが選択されていないことを示す。以下で更に詳細に説明するように、カスタマイズされた変形630-2は、カスタマイズが完了している場合、カスタマイズされた変形をテキスト入力フィールドに挿入するように選択可能である。
図6Fでは、ユーザ入力603は、デフォルト変形630-1を選択して(例えば、タップして)受信される。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6Gに示すように、絵文字608-6のデフォルト変形630-1をテキスト入力領域604に挿入する。図6Gに示すように、変形630-1は、ユーザが直近に選択した、かつ/又はテキスト入力領域604に挿入した変形であるため、絵文字キーボード606上の絵文字608-6は、デフォルト変形630-1として表示される。
図6Gでは、ユーザ入力603は、絵文字キーボード606上の絵文字608-6を選択して受信される。いくつかの実施形態では、ユーザ入力603は、タップ入力である。例えば、図6Gに示すユーザ入力603は、タイマ612によって示されるように、所定の閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)未満の接触である。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6Hに示すように、多要素カスタマイズユーザインタフェース624を表示する。いくつかの実施形態では、カスタマイズ可能な要素の各々に対する変形がまだ選択されていないため、絵文字608-6は、完全にカスタマイズされておらず、したがって、絵文字キーボード606の絵文字608-6の選択により、多要素カスタマイズユーザインタフェース624の表示を引き起こす。
図6Hに示すように、多要素カスタマイズユーザインタフェース624は、カスタマイズされた変形630-2の以前の状態を維持する。例えば、カスタマイズされた変形630-2の両方の人々(例えば、両方のカスタマイズ可能な要素)は、プレースホルダ外観を有して(例えば、灰色に着色されて、グレーアウトされて、など)、カスタマイズがまだ選択されていないことを示す。図6Hでは、ユーザ入力603は、カスタマイズされた変形630-2を選択して(例えば、タップして)受信される。いくつかの実施形態では、絵文字608-6がカスタマイズされていないため、カスタマイズされた表現630-2を選択することにより、カスタマイズされた変形630-2のテキスト入力フィールド604への挿入を引き起こさない。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6Iに示すように、インジケーション632を表示して、それぞれのカスタマイズ可能な要素がまだカスタマイズされていないこと、及びカスタマイズされた表現をテキスト入力フィールドに挿入するためにそれぞれのカスタマイズ可能な要素の選択が必要とされることを示す。例えば、図6Iに示すように、インジケーション632は、アニメーションである。いくつかの実施形態では、アニメーションは、まだカスタマイズされていない各カスタマイズ可能な変形の選択可能なオプションのサイズを瞬間的に増加させることを含む。いくつかの実施形態では、アニメーションは、アニメーションが一方の端から始まり、(例えば、波と同様に)他方の端に移動するように、少なくとも部分的に動揺する。例えば、変形626-1は、最初にサイズが増加し、変形626-1のサイズが減少するにつれて、変形626-2は、サイズが増加し始め、前に進む。いくつかの実施形態では、第1及び第2の行の変形の各々は、アニメーション化される。いくつかの実施形態では、アニメーションは、第1及び第2の行で同時に実行される(例えば、波が変形の第2の行を下方に移動すると同時に、波は、変形の第1の行を下方に移動する)。以下でより詳細に説明するように、カスタマイズを必要とする(例えば、まだカスタマイズされていない)カスタマイズ可能な変形に対応する行(単数又は複数)は、アニメーション化され、既にカスタマイズされたカスタマイズ可能な変形に対応する行(単数又は複数)は、アニメーション化されない。
したがって、いくつかの実施形態では、絵文字608-6の両方のカスタマイズ可能な要素についてカスタマイズが完了するまで、カスタマイズされた変形630-2は、絵文字608-6のカスタム変形をテキスト入力領域に挿入するように選択可能ではない。いくつかの実施形態では、カスタマイズが任意選択的に絵文字608-6の人々の皮膚の色調のものであり、かつカスタマイズされた変形630-2のデフォルトの皮膚の色調が電子デバイスの製造業者(又は供給業者)によって選択されていないため、デフォルトのカスタマイズは、カスタマイズされた変形630-2について選択されない。いくつかの実施形態では、カスタマイズ可能な絵文字内の各人の皮膚の色調の初期選択をユーザが実行することができることが望ましい。したがって、いくつかの実施形態では、カスタマイズ可能な要素のデフォルトの皮膚の色調を選択する代わりに、プレースホルダ要素を使用することにより、利用可能な皮膚の色調オプションに関して中立位置を維持する。このようにして、カスタマイズされた変形630-2は、(暗黙又は他の方法の)任意のバイアスなしに、ユーザのカスタマイズ及び選好を真に反映する。
図6Jでは、ユーザ入力603は、変形626-1を選択して(例えば、タップして)受信される。いくつかの実施形態では、変形626-1は、絵文字608-6の左の人のカスタマイズ可能なオプションに対応する。いくつかの実施形態では、変形626-1は、絵文字608-6の左の人に対するカスタム変形(例えば、左の人のカスタマイズ可能な皮膚の色調)である。いくつかの実施形態では、デフォルト変形(例えば、皮膚の色調を表さない、黄色の着色)は、オプションとして提供されない。いくつかの実施形態では、変形626-1を選択するユーザ入力603に応じて、変形626-1は、図6Kに示すように、(例えば、点線で示されるように)変形626-1が選択されたという視覚的インジケーションで更新される。いくつかの実施形態では、変形626-1を選択するユーザ入力603に応じて、図6Kに示すように、カスタマイズされた変形630-2は、更新されて、変形626-1のユーザの選択を反映する。いくつかの実施形態では、視覚的インジケーションは、変形を強調表示すること(例えば、絵文字の周囲のボックスの背景色を青色、黄色、赤色などに変更すること)を含む。いくつかの実施形態では、他の視覚的特性又はインジケーションが可能である。図6Kに示すように、カスタマイズされた変形630-2は、カスタマイズされた変形630-2の左の人が変形626-1の選択された皮膚の色調を有するように更新され、一方、右の人は、ユーザによってまだカスタマイズされていないため、プレースホルダ要素のままである(例えば、グレーアウトされるなど、プレースホルダ外観を有する)。
図6Kでは、ユーザ入力603は、カスタマイズされた変形630-2を選択して(例えば、タップして)受信される。いくつかの実施形態では、絵文字608-6がまだ完全にカスタマイズされていない(例えば、左の人のみがカスタマイズされているが、右の人はまだカスタマイズされていない)ため、カスタマイズされた変形630-2を選択することにより、カスタマイズされた変形630-2のテキスト入力フィールド604への挿入を引き起こさない。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6Lに示すように、インジケーション632を表示して、右のカスタマイズ可能な要素がまだカスタマイズされていないこと、及びカスタマイズされた表現のテキスト入力フィールドへの挿入を可能にするために右のカスタマイズ可能な要素のオプションの選択が必要とされることを示す。いくつかの実施形態では、インジケーション632は、図6Iに関して上述したインジケーション632と同様である。いくつかの実施形態では、第2の行がまだカスタマイズされていないカスタマイズ可能な要素に対応するため、第2の行の変形のみがインジケーション632を表示する。同様に、デバイス500がカスタマイズされた変形630-2を選択するユーザ入力を受信したときに、第1の行に関連付けられたカスタマイズ可能な要素がまだカスタマイズされていない場合、第1の行の変形は、インジケーションを表示する。
図6Mでは、ユーザ入力603(例えば、タップ)は、多要素カスタマイズユーザインタフェース624の外側のユーザインタフェース600上で受信される。いくつかの実施形態では、ユーザ入力は、多要素カスタマイズユーザインタフェース624を却下する要求に対応する。いくつかの実施形態では、ユーザ入力603に応じて、図6Nに示すように、多要素カスタマイズユーザインタフェース624は、却下される(例えば、表示されることを中止される)。いくつかの実施形態では、デバイス500は、多要素カスタマイズユーザインタフェース624が表示される前に表示されていたユーザインタフェース(例えば、ユーザインタフェース600の全体)を表示する。図6Nに示すように、ユーザがカスタマイズを完了していない、かつ/又はユーザが部分的なカスタマイズを実施していたとしても、ユーザがカスタマイズされた変形630-2を選択していないため、絵文字キーボード606上の絵文字608-6は、変更されていない(例えば、デフォルト変形を示し続ける)。いくつかの実施形態では、カスタマイズユーザインタフェース624のパドル部分上のユーザ入力(例えば、絵文字608-6の上に重ね合わされた多要素カスタマイズユーザインタフェース624の部分)はまた、カスタマイズユーザインタフェースを却下する要求として解釈され、多要素カスタマイズユーザインタフェース624を却下させることができる。
図6Nでは、ユーザ入力603は、絵文字608-6を選択して(例えば、タップして)受信される。いくつかの実施形態では、絵文字608-6が完全にカスタマイズされていない(例えば、左の人に対する変形が選択されているが、右の人に対する変形は、まだ選択されていない)ため、ユーザ入力603に応じて、図6Oに示すように、多要素カスタマイズユーザインタフェース624が表示される。いくつかの実施形態では、多要素カスタマイズユーザインタフェース624は、絵文字608-6が完全にカスタマイズされているか否かに関係なく、絵文字608-6を選択するユーザ入力に応じて常に表示される。
図6Oでは、ユーザ入力603は、絵文字608-6の右の人に対する変形に対応する変形628-3を選択して(例えば、タップして)受信される。上述のように、変形628-3は、絵文字608-6の右の人に対する皮膚の色調変形である。いくつかの実施形態では、ユーザ入力603に応じて、図6Pに示すように、右の人が変形628-3に関連付けられた視覚的特性(例えば、変形628-3の皮膚の色調)で表示されるように、カスタマイズされた変形630-2が更新される。いくつかの実施形態では、変形628-3のユーザの選択により、絵文字608-6のカスタマイズを完了する(例えば、各カスタマイズ可能な要素に対する変形が選択されている)。したがって、いくつかの実施形態では、カスタマイズを完了したことに応じて、インジケーション634がカスタマイズされた変形630-2上に表示されて、変形630-2のカスタマイズが完了しており、かつ変形630-2をテキスト入力領域に挿入するように現在選択可能であることを示す。いくつかの実施形態では、インジケーション634は、グラフィカルアニメーションである。いくつかの実施形態では、アニメーションは、図6I及び図6Lを参照して上述したインジケーション632と同様に、変形630-2のサイズを一時的に増加及び減少させることを含む。
図6Qでは、ユーザ入力603は、カスタマイズされた変形630-2を選択して(例えば、タップして)受信される。いくつかの実施形態では、絵文字608-6のカスタマイズが完了しているため、ユーザ入力603に応じて、カスタマイズされた変形630-2は、図6Rに示すように、キャラクタ614-4としてテキスト入力領域604に挿入される。図6Rでは、カスタマイズされた変形630-2がテキスト入力フィールド604に挿入するためにユーザの直近に選択した絵文字608-6の変形であるため、絵文字キーボード606上の絵文字608-6は、更新されて、カスタマイズされた変形630-2を表示する。
図6Rでは、ユーザ入力603は、絵文字608-6がカスタマイズされた変形630-2として表示されている間に、絵文字608-6を選択して(例えば、タップして)受信される。いくつかの実施形態では、絵文字608-6のカスタマイズが完了している(例えば、変形630-2が完全にカスタマイズされている)ため、絵文字608-6がカスタマイズされた変形630-2として表示されている間に、絵文字608-6を選択するユーザ入力603に応じて、デバイス500は、図6Sに示すように、カスタマイズされた変形630-2をテキスト入力領域604にキャラクタ614-5として挿入する(例えば、絵文字608-6は、カスタマイズされた変形630-2によって具現化された第1及び第2のカスタマイズ可能な要素の変形を有して挿入される)。したがって、いくつかの実施形態では、絵文字608-6が完全にカスタマイズされているため、絵文字キーボード606上の絵文字608-6をタップするユーザ入力により、多要素カスタマイズユーザインタフェース624を表示しない。いくつかの実施形態では、絵文字608-6をタップすることにより、直近に選択された絵文字608-6の変形(例えば、及び拡張によって、任意選択的に、絵文字キーボード606上に表示された変形)の挿入が引き起こされる。
図6Tでは、接触603のタッチダウンは、絵文字608-6がカスタマイズされた変形630-2として表示されている間に、絵文字608-6上で受信される。図6Uでは、絵文字608-6上の接触603は、タイマ612によって示されるように、所定の閾値持続時間(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)より長く保持される。接触603が所定の閾値持続時間より長く保持されたことを検出したことに応じて、図6Uに示すように、多要素カスタマイズユーザインタフェース624が表示される。いくつかの実施形態では、多要素カスタマイズユーザインタフェース624は、絵文字608-6の現在のカスタマイズ状態を表示する。例えば、カスタマイズ可能な要素の各々のカスタマイズ選択が維持される。図6Uでは、変形626-1及び628-3が強調表示されて、変形626-1及び628-3が選択されており、かつカスタマイズされた変形630-2に現在適用されていることを示す。図6Vでは、タッチスクリーン504からの接触603のリフトオフが検出される。いくつかの実施形態では、接触603のリフトオフを検出したことに応じて、デバイス500は、図6Vに示すように、多要素カスタマイズユーザインタフェース624の表示を維持する(例えば、多要素カスタマイズユーザインタフェース624を却下することを取り止める)。
図6Wでは、ユーザ入力603は、絵文字608-6の左の人に対する第2の皮膚の色調変形に対応する変形626-2を選択して(例えば、タップして)受信される。いくつかの実施形態では、ユーザ入力603に応じて、図6Xに示すように、左の人が変形626-2の皮膚の色調変形を反映するように、カスタマイズされた変形630-2が更新される(例えば、変形626-1の以前の選択は、変形626-2に置き換えられる)。図6Xに示すように、変形626-2は、強調表示されるように表示され、変形626-1は、強調表示されるようにもはや表示されない。したがって、いくつかの実施形態では、ユーザは、カスタマイズされた要素に対する他の変形を選択して、以前の選択をオーバーライドすることによって、カスタマイズされた変形630-2を更新することができる。いくつかの実施形態では、新しい変形選択でカスタマイズされた変形630-2を更新した後に、絵文字608-6がカスタマイズされた変形630-2を表示している間に、ユーザが多要素カスタマイズユーザインタフェース624を却下した場合、絵文字キーボード606上の絵文字608-6も更新されて、(例えば、左の人として変形626-2、及び右の人として変形628-3で)更新されたカスタマイズされた変形630-2を表示する。いくつかの実施形態では、新しい変形選択でカスタマイズされた変形630-2を更新した後に、絵文字608-6がカスタマイズされた変形630-2を表示している間に、ユーザが多要素カスタマイズユーザインタフェース624を却下した場合、任意選択的に、ユーザが多要素カスタマイズユーザインタフェース624からテキスト入力領域に挿入するために更新されたカスタマイズされた変形630-2を選択していないため、絵文字キーボード606上の絵文字608-6は、更新されたカスタマイズされた変形630-2に更新されず、以前のカスタマイズ(例えば、更新されていないカスタマイズされた変形630-2)を維持する。
図6Xでは、ユーザ入力603は、更新された変形選択(例えば、左の人として変形626-2、及び右の人として変形628-3)を有するカスタマイズされた変形630-2を選択して(例えば、タップして)受信される。いくつかの実施形態では、ユーザ入力603に応じて、更新されたカスタマイズされた変形630-2は、図6Yに示すように、キャラクタ614-6としてテキスト入力領域604に挿入される。図6Yに示すように、絵文字キーボード606上の絵文字608-6は、更新されて、更新されたカスタマイズされた変形630-2を反映する。
図6Zでは、接触603のタッチダウンが絵文字608-6上で検出される。図6AAでは、絵文字608-6上の接触603は、タイマ612によって示されるように、所定の閾値持続時間(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)より長く保持される。いくつかの実施形態では、絵文字608-6上の接触603が所定の閾値持続時間より長く保持されたことを検出したことに応じて、図6AAに示すように、多要素カスタマイズユーザインタフェース624が表示される。図6BBでは、接触603は、タッチスクリーン504との接触を維持しながら、デフォルト変形630-1に移動して検出される(例えば、デフォルト変形630-1へのスワイプジェスチャ)。いくつかの実施形態では、接触603をデフォルト変形630-1に移動させるスワイプジェスチャの後の接触603のリフトオフは、デフォルト変形630-1の選択入力として解釈される。いくつかの実施形態では、接触603をデフォルト変形630-1に移動させるジェスチャ及びデフォルト変形630-1上に配置されている間の接触603のリフトオフを検出したことに応じて、図6CCに示すように、デフォルト変形630-1は、キャラクタ614-7としてテキスト入力領域604に挿入される。いくつかの実施形態では、絵文字キーボード606上の絵文字608-6は、更新されて、デフォルト変形630-1を表示する(例えば、絵文字608-6の直近に選択された変形として)。
図6DDでは、ユーザ入力603は、絵文字608-6がデフォルト変形630-1(例えば、黄色などの、左及び右の人の両方のデフォルト絵文字着色)を表示している間に、絵文字608-6を選択して(例えば、タップして)受信される。いくつかの実施形態では、ユーザ入力603に応じて、デフォルト変形630-1は、図6EEに示すように、キャラクタ614-8としてテキスト入力領域604に挿入される。したがって、いくつかの実施形態では、絵文字608-6が完全にカスタマイズされた後に(例えば、絵文字608-6の現在の表示状態がデフォルト変形又はカスタマイズされた変形であるかに関係なく、ユーザは、過去に、絵文字608-6のカスタマイズ可能な要素のそれぞれに対する変形を選択している)絵文字608-6を選択するユーザ入力により、現在表示されている変形(例えば、デフォルト変形又はカスタマイズされた変形のいずれか)をテキスト入力領域に挿入させる。上記のように、個別の絵文字についてカスタマイズが完了した後に、多要素カスタマイズユーザインタフェース624は、任意選択的に、長い押圧ユーザ入力(例えば、所定の持続時間閾値より長い接触)に応じてのみ、その個別の絵文字に対して表示される。絵文字キーボード上の各絵文字は、それ自体のカスタマイズ状態を維持することができることが理解される。したがって、個別の絵文字が部分的又は完全にカスタマイズされているかは、個別の絵文字に特定かつ固有であり、カスタマイズユーザインタフェースの挙動もまた、個別の絵文字に特有かつ固有である。例えば、複数のカスタマイズ可能な要素を有する第1の絵文字のカスタマイズを完了することにより、複数のカスタマイズ可能な要素を有する第2の絵文字のカスタマイズ状態を変更せず、それにより、ユーザが第1の絵文字をカスタマイズしたときに第2の絵文字がカスタマイズされなかった場合、第2の絵文字のカスタマイズされた変形上のプレースホルダ要素を含む、第2の絵文字上のタップに応じて、第2の絵文字に対するカスタマイズユーザインタフェースは、依然として表示される。
いくつかの実施形態では、他の挙動が可能である。例えば、いくつかの実施形態では、多要素カスタマイズユーザインタフェースは、個別の絵文字のカスタマイズ状態に関係なく、ユーザ入力(例えば、タップ)に応じて常に表示される。他の実施形態では、多要素カスタマイズユーザインタフェースは、個別の絵文字のカスタマイズ状態に関係なく、長い押圧ユーザ入力に応じてのみ表示され、(例えば、多要素カスタマイズユーザインタフェースを介して)ユーザが異なる変形を定義して挿入するまで、複数のカスタマイズ可能な要素を有する絵文字の選択(例えば、タップすること)により、デフォルト変形の挿入を引き起こす。
図6FF~図6NNは、1つのカスタマイズ可能な要素のみを有する絵文字をカスタマイズ及び挿入する方法を示す。図6FFでは、ユーザ入力603は、絵文字608-4が変形622-2(例えば、絵文字608-4の以前に選択された変形)として表示されている間に、絵文字608-4を選択して検出される。いくつかの実施形態では、ユーザ入力603は、タイマ612によって示されるように、所定の閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)未満の接触である。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6GGに示すように、絵文字608-4の変形622-2(例えば、絵文字608-4の以前に選択された変形)をキャラクタ614-9としてテキスト入力フィールド604に挿入する。
図6HHでは、接触603のタッチダウンは、絵文字608-4が変形622-2として表示されている間に、絵文字608-4上で検出される。図6IIでは、絵文字608-4上の接触603は、タイマ612によって示されるように、所定の閾値持続時間(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)より長く保持される。いくつかの実施形態では、接触603が所定の閾値持続時間より長く保持されたことを検出したことに応じて、図6IIに示すように、単一要素カスタマイズユーザインタフェース618が表示される。図6JJでは、接触603が変形620、622-1、622-2、又は622-3の上に配置されていない間に、タッチスクリーン504からの接触603のリフトオフが検出される。いくつかの実施形態では、接触603のリフトオフを検出したことに応じて、デバイス500は、図6JJに示すように、単一要素カスタマイズユーザインタフェース618の表示を却下し、絵文字608-4の変形622-2(例えば、絵文字608-4の以前に選択された変形)をキャラクタ614-10としてテキスト入力フィールド604に挿入する。したがって、いくつかの実施形態では、接触603のリフトオフにより、単一要素カスタマイズユーザインタフェース618の表示を維持させない。
図6KK~図6LLは、単一要素カスタマイズユーザインタフェース618の表示を引き起こす所定の閾値持続時間(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)より長い絵文字608-4上の接触603のタッチダウンを示す。図6MMでは、接触603は、タッチスクリーン504との接触を維持しながら、変形622-1に移動して検出される(例えば、変形622-1へのスワイプジェスチャ)。いくつかの実施形態では、接触603を変形622-1に移動させるスワイプジェスチャの後の接触603のリフトオフは、変形622-1の選択入力として解釈される。いくつかの実施形態では、接触603を変形622-1に移動させるジェスチャ及び変形622-1の上に配置されている間の接触603のリフトオフを検出したことに応じて、図6NNに示すように、変形622-1は、キャラクタ614-11としてテキスト入力領域604に挿入される。いくつかの実施形態では、絵文字キーボード606上の絵文字608-4は、更新されて、変形622-1を表示する(例えば、絵文字608-4の直近に選択された変形として)。
図6NNでは、接触603のタッチダウンが絵文字608-1の上で検出される。いくつかの実施形態では、絵文字608-1は、任意のカスタマイズ可能な要素に関連付けられていない(例えば、カスタマイズ可能な要素を有さない)。図6OOでは、絵文字608-1上の接触603は、タイマ612によって示されるように、所定の閾値持続時間(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)より長く保持される。いくつかの実施形態では、接触603が所定の閾値持続時間より長く保持されたことを検出したことに応じて、デバイス500は、カスタマイズユーザインタフェースを表示しない、又は絵文字608-1をテキスト入力領域604に挿入しない。いくつかの実施形態では、所定の閾値よりも長く接触が保持されたことに応じて(例えば、任意選択的に、接触603が保持されている限り)、オーバーレイが、絵文字608-1のプレビュー(例えば、仮想キーボード606に示されているよりも大きいプレビュー)で表示される。図6PPでは、タッチスクリーン504からの接触603のリフトオフが検出される。いくつかの実施形態では、接触603のリフトオフを検出したことに応じて、デバイス500は、図6PPに示すように、絵文字608-1をキャラクタ614-12としてテキスト入力領域604に挿入する。したがって、いくつかの実施形態では、任意のカスタマイズ可能な要素を有さない絵文字上の短いタップ及び長い押圧により、カスタマイズユーザインタフェースの表示を引き起こさず、任意選択的に、絵文字をテキスト入力領域に挿入する。
図6QQは、3つのカスタマイズ可能な要素を有する絵文字の多要素カスタマイズユーザインタフェース624の実施形態を示す。図6QQに表示された実施形態では、絵文字608-6は、3つのカスタマイズ可能な要素:左の人の皮膚の色調、右の人の皮膚の色調、及び左の人の帽子アクセサリを有する。いくつかの実施形態では、図6QQに示すように、多要素カスタマイズユーザインタフェース624は、絵文字606-8をカスタマイズするための3行の変形を含む。いくつかの実施形態では、第1の行は、(例えば、上述した変形の第1の行と同様に)第1のカスタマイズ可能な要素の変形に対応する、絵文字608-4の変形626-1~626-4を含む。いくつかの実施形態では、第2の行は、(例えば、上述した変形の第2の行と同様に)第2のカスタマイズ可能な要素に対応する、絵文字608-4の変形628-1~628-4を含む。いくつかの実施形態では、第3の行は、第3のカスタマイズ可能な要素に対応する、絵文字608-4の変形636-1~636-4を含む。いくつかの実施形態では、第3のカスタマイズ可能な要素は、任意選択の要素である。例えば、変形636-1によって示されるように、ユーザは、絵文字608-4の左の人の帽子を含まないように、変形636-1を選択することができる。いくつかの実施形態では、変形636-2~636-4は、絵文字608-4の左の人の異なる帽子オプションに対応する。変形626-1~626-4及び628-1~628-4と同様に、変形636-1~636-4の左及び右の人は、プレースホルダ外観(例えば、灰色)で表示されて、左及び右の人々が変形636-1~636-4によりカスタマイズ可能ではないことを示す。いくつかの実施形態では、第4の行は、(例えば、上述したデフォルト変形630-1及びカスタマイズされた変形630-2と同様に)デフォルト変形630-1及びカスタマイズされた変形630-2を含む。したがって、多要素カスタマイズユーザインタフェース624は、任意選択的に、個別の絵文字のカスタマイズ可能な要素の数に基づいて、任意の数のセクションを含む。絵文字608-4は、任意選択的に、右の人のアクセサリオプションなど、任意の数のカスタマイズ可能な要素を有することが理解される。ユーザは、図6E~図6EEを参照して上述したのと同じ方法で、多要素の絵文字をカスタマイズ/挿入することなどができる。
図6RR~図66TTは、(例えば、デバイス500が横長モードにある、かつ/又はタッチ感知ディスプレイがコンテンツの1つ若しくは限られた数の行をサポートすることのみができる場合の)1つの行に水平に延びる多要素カスタマイズユーザインタフェース624の実施形態を示す。図6RRでは、デバイス500は、会話領域602、テキスト入力フィールド604、及び絵文字キーボード606を有する横長モードでユーザインタフェース600を表示している。絵文字キーボード606は、単に例示として、単一の行の絵文字と共に図6RRに表示されており、任意の数の行が可能であることが理解される。いくつかの実施形態では、絵文字キーボードは、5つの絵文字608-1、608-3、608-5、608-7、及び608-8を含む。
図6SSでは、ユーザ入力603は、絵文字608-5を選択して受信される。いくつかの実施形態では、ユーザ入力603は、タイマ612によって示されるように、所定の閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)未満の接触である。図6SSに示す実施形態では、絵文字608-5は、2つのカスタマイズ可能な要素(例えば、左の人の皮膚の色調及び右の人の皮膚の色調)を有し、まだカスタマイズされていない。ユーザ入力603に応じて、デバイス500は、図6TTに示すように、多要素カスタマイズユーザインタフェース638を表示する。いくつかの実施形態では、多要素カスタマイズユーザインタフェース638は、デバイス500が横長モードにあるときに使用される多要素カスタマイズユーザインタフェースである。図6TTに示すように、多要素カスタマイズユーザインタフェース638は、選択可能なオプションの単一の行を含む。いくつかの実施形態では、単一の行は、(例えば、上述のデフォルト変形630-1及びカスタマイズされた変形630-2と同様の)デフォルト変形630-1及びカスタマイズされた変形630-2と、第1のカスタマイズ可能な要素をカスタマイズするための変形626-1~626-4と、第2のカスタマイズ可能な要素をカスタマイズするための変形628-1~628-4と、を含む。いくつかの実施形態では、多要素カスタマイズユーザインタフェースは、3つのセクション:2つのカスタマイズ可能な要素の変形のそれぞれ1つのセクション、及び絵文字をテキスト入力領域に挿入するための変形(例えば、デフォルト変形及びカスタマイズされた変形)の1つのセクションに分割されている。いくつかの実施形態では、セクションは、視覚仕切り(例えば、バー)で分割され、かつ/又はホワイトスペースで分割されている。いくつかの実施形態では、変形626-1~626-4、628-1~628-4、並びにデフォルト変形630-1及びカスタマイズされた変形630-2は、上述した対応する変形と同様に挙動する。
図6UU~図6XXは、多要素カスタマイズユーザインタフェースがフルスクリーンモードで表示されるときの多要素カスタマイズユーザインタフェース624の実施形態を示す。いくつかの実施形態では、デバイス500は、ウェアラブルデバイスであり、タッチスクリーン504を有する。いくつかの実施形態では、タッチスクリーン504は、限定されたスクリーンスペースを有する。いくつかの実施形態では、ユーザインタフェース上に表示される要素は、(例えば、ディスプレイが小さいため)ディスプレイのサイズに対して大きい。図6UUでは、デバイス500は、絵文字キーボード602(例えば、絵文字選択ページを表示する仮想キーボード)を表示している。したがって、いくつかの実施形態では、絵文字キーボード602は、フルスクリーンモードで表示される(例えば、テキスト入力領域及び/又は任意の他のユーザインタフェース要素と同時にの代わりに)。いくつかの実施形態では、絵文字キーボード602上の絵文字の選択により、個別の絵文字のテキスト入力領域への挿入及び絵文字キーボードの却下を引き起こす(例えば、かつ任意選択的に、絵文字キーボード602が表示される前に表示されていたユーザインタフェースを表示する)。図6UUでは、絵文字キーボード602は、9つの絵文字608-1~608-9を含む。
図6VVでは、ユーザ入力603は、絵文字608-5を選択して(例えば、タップして)受信される。図6VVに示す実施形態では、絵文字608-5は、2つのカスタマイズ可能な要素を有し、まだカスタマイズされていない。いくつかの実施形態では、ユーザ入力603に応じて、デバイス500は、図6WWに示すように、多要素カスタマイズユーザインタフェース642を表示する。いくつかの実施形態では、多要素カスタマイズユーザインタフェース642は、フルスクリーンモードで表示されて、仮想キーボード602の表示を置き換える(例えば、オーバーレイとしてではなく)。いくつかの実施形態では、多要素カスタマイズユーザインタフェース642は、多要素カスタマイズユーザインタフェース642を却下して、多要素ユーザインタフェースが表示される前に表示されていたユーザインタフェース(例えば、絵文字キーボード602)に戻るように選択可能な、選択可能なオプション644を含む。いくつかの実施形態では、多要素カスタマイズユーザインタフェース642は、(例えば、上述した多要素カスタマイズユーザインタフェース624と同様に)選択可能なオプションの3つのセクションを含む。いくつかの実施形態では、第1のセクションは、デフォルト変形630-1及びカスタム変形630-2を含む。いくつかの実施形態では、第2のセクションは、第1のカスタマイズ可能な要素をカスタマイズするための変形626-1~626-4を含む。いくつかの実施形態では、第2のセクションは、第2のカスタマイズ可能な要素をカスタマイズするための変形628-1~628-4(図示せず)を含む。いくつかの実施形態では、変形630-1、630-2、626-1~626-4、及び628-1~628-4は、上述したする変形と同様に挙動する。
いくつかの実施形態では、多要素カスタマイズユーザインタフェース642は、スクロール可能である。例えば、図6XXは、ユーザインタフェースを上向きにスクロールするための上向きスワイプジェスチャに対応するユーザ入力603を示す。いくつかの実施形態では、ユーザ入力603に応じて、多要素カスタマイズユーザインタフェース642は、上向きにスクロールされて、第2のカスタマイズ可能な要素をカスタマイズするための変形628-1~628-4を含む第3のセクションを見せる。いくつかの実施形態では、ウェアラブルデバイスのダイヤル(例えば、クラウン)を回転させることもまた、上向きスクロール入力として解釈される。いくつかの実施形態では、デフォルト変形630-1又は(カスタマイズが完了している場合)カスタム変形630-2の選択により、多要素カスタマイズユーザインタフェース642の却下、絵文字キーボード602が表示される前に表示されていたユーザインタフェース(例えば、絵文字が挿入されることになるユーザインタフェース)の表示、及びユーザインタフェース内のテキスト入力領域への個別の変形の挿入を引き起こす。いくつかの実施形態では、デフォルト変形630-1又は(カスタマイズが完了している場合)カスタム変形630-2の選択により、多要素カスタマイズユーザインタフェース642の却下、及び(例えば、その後、個別の変形をテキスト入力領域に挿入するように選択可能である)選択された変形を表示するように更新された個別の絵文字を有する絵文字キーボード602の表示を引き起こす。
図7A~図7Mは、絵文字をカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を示す流れ図である。方法700は、任意選択的に、図1A~図1B、図2~図3、図4A~図4B、及び図5A~図5Hを参照して上述したようなデバイス100、デバイス300、及びデバイス500などの電子デバイスにおいて実行される。方法700におけるいくつかの動作は、任意選択的に組み合わされ、及び/又は、いくつかの動作の順序は、任意選択的に変更される。
以下に説明するように、方法700は、絵文字などのグラフィカルオブジェクトをカスタマイズ及び挿入するためのカスタマイズユーザインタフェースを提示する方法を提供する。この方法は、本開示のデバイスのユーザインタフェースと対話するときのユーザの認識的負担を軽減し、それによって、より効率的なヒューマンマシンインタフェースを作り出す。バッテリ動作電子デバイスに関しては、ユーザインタフェースとのユーザの対話の効率を向上させることにより、電力が節約され、バッテリを充電する間隔が増大する。
いくつかの実施形態では、表示デバイス及び1つ以上の入力デバイスと通信する電子デバイス(例えば、デバイス100、デバイス300、若しくはデバイス500などの、タッチスクリーンを含む電子デバイス、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス)、又はタッチスクリーンを含むコンピュータ)は、表示デバイスを介してユーザインタフェース内に、テキスト入力領域及び仮想キーボードを表示し(702)、仮想キーボードは、図6Aのユーザインタフェース600のようになど、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む(例えば、絵文字キーボードを表示している仮想キーボード)。いくつかの実施形態では、ユーザインタフェースは、ユーザが仮想キーボードを使用してテキストを入力することができる任意のユーザインタフェースである。いくつかの実施例では、絵文字キーボードは、選択された絵文字をテキスト入力領域に挿入するように選択可能な、複数の絵文字を表示する。いくつかの実施形態では、絵文字キーボードは、絵文字の複数のカテゴリを含む。
いくつかの実施形態では、電子デバイスは、1つ以上の入力デバイスを介して、図6Eのユーザ入力603などの、グラフィカルオブジェクトの複数の表現のうちの第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第1のユーザ入力(例えば、タップ、長い押圧、又は絵文字キーボード上の第1の絵文字上の任意の他の好適な選択入力)を受信し(704)、第1のグラフィカルオブジェクトは、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素を含む複数のカスタマイズ可能な視覚要素に関連付けられている(例えば、第1の絵文字は、複数のカスタマイズ可能な要素を含む)。いくつかの実施形態では、第1のユーザ入力は、第1の絵文字をテキスト入力領域に挿入する要求に対応する。いくつかの実施形態では、第1のユーザ入力は、以下に説明するように、第1の絵文字をカスタマイズする要求に対応する。いくつかの実施形態では、第1の絵文字は、任意選択的に、複数の人々を含み(グループの絵文字、「ファミリー」の絵文字など)、絵文字内の各人は、カスタマイズ可能な要素である。いくつかの実施形態では、複数の人の絵文字内の各人の皮膚の色調は、個別にカスタマイズ可能である。いくつかの実施形態では、第1の絵文字は、カスタマイズ可能なアクセサリ(例えば、帽子タイプ、帽子色など)を含む。いくつかの実施例では、ユーザは、各カスタマイズ可能な要素のカスタマイズオプションを選択することができる。
いくつかの実施形態では、第1のユーザ入力を受信したことに応じて(706)、1つ以上の第1の基準が満たされているとの判定に従って(例えば、1つ以上の第1の基準が満たされている場合、カスタマイズユーザインタフェースは、ユーザが第1の絵文字の要素をカスタマイズするために表示される)、電子デバイスは、表示デバイスを介して、図6Fの多要素カスタマイズユーザインタフェース624などの、カスタマイズユーザインタフェースを表示する(708)(例えば、第1の絵文字のカスタマイズ可能な要素をカスタマイズするためのユーザインタフェースを表示する)。
いくつかの実施形態では、1つ以上の第1の基準が満たされていない場合、カスタマイズユーザインタフェースは表示されない。いくつかの実施形態では、カスタマイズユーザインタフェースは、1つ以上の第1の基準が満たされているかに関係なく表示される。いくつかの実施形態では、1つ以上の第1の基準が満たされていない場合、第1の絵文字は、テキスト入力領域に挿入される。いくつかの実施形態では、1つ以上の第1の基準は、ユーザが第1の絵文字のカスタマイズを以前に完了していない場合に満たされる。いくつかの実施形態では、1つ以上の第1の基準は、ユーザ入力が長い押圧(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒などの、所定の閾値よりも長い持続時間を有するタッチダウン及び継続した接触)である場合に満たされる。いくつかの実施形態では、1つ以上の第1の基準は、ユーザが第1の絵文字のカスタマイズを以前に完了している(例えば、各カスタマイズ可能な要素のカスタマイズオプションを選択している)場合、又は任意選択的に、ユーザが第1の絵文字のデフォルト変形を以前に選択してテキスト入力フィールドに挿入している場合には、満たされない。いくつかの実施形態では、1つ以上の第1の基準は、第1の絵文字がカスタマイズ可能な絵文字ではない、又は複数のカスタマイズ可能な要素を有する絵文字ではない(例えば、単一のカスタマイズ可能な要素のみを有する絵文字)場合には、満たされない。いくつかの実施形態では、カスタマイズユーザインタフェースは、カスタマイズユーザインタフェースが表示される前に表示されていたユーザインタフェースの要素の上に重ね合わされたユーザインタフェース要素(例えば、ポップアップユーザインタフェース)である。いくつかの実施形態では、カスタマイズユーザインタフェースは、フルスクリーンユーザインタフェースである。いくつかの実施形態では、カスタマイズユーザインタフェースは、カスタマイズ可能なユーザインタフェースが表示される前に表示されていたユーザインタフェースを表示するように却下可能である。
いくつかの実施形態では、カスタマイズユーザインタフェースは、図6Fの変形626-1~626-4などの、第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションを含む第1のセクション(710)(例えば、第1のカスタマイズ可能な視覚要素に対する1つ以上の変形を表示する第1の行)、図6Fの変形628-1~628-4などの、第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションを含む第2のセクション(712)(例えば、第2のカスタマイズ可能な視覚要素に対する1つ以上の変形を表示する第2の行)、及び図6Fのカスタマイズされた変形630-2などの、第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクション(714)(例えば、絵文字の現在のカスタマイズ状態の表現を表示する第3の行)を含む。
いくつかの実施例では、第1の行内の選択可能なオプションは、第1のカスタマイズ可能な視覚要素に対する個別の変形の視覚的プレビューである。いくつかの実施例では、第1の選択可能なオプションによってカスタマイズ可能でない視覚要素は、第1の選択可能なオプションによってカスタマイズ可能な視覚要素とは異なる視覚的特性で表示される。例えば、第1の絵文字がグループの絵文字(例えば、2人の人の絵文字)である場合、第1のセクションは、任意選択的に、左の人をカスタマイズするためのものである。そのような実施例では、第1のセクション内の選択可能なオプションは、任意選択的に、プレースホルダ外観を有する右の人で表示され(例えば、グレーアウトされて、第1のセクションが右の人をカスタマイズするためのものではないことを示す)、左の人は、個別の変形で表示される。例えば、第1のセクションは、任意選択的に、左の人の1つ以上の皮膚の色調オプションを含む。いくつかの実施例では、第2の行内の選択可能なオプションは、第2のカスタマイズ可能な視覚要素に対する個別の変形の視覚的プレビューである。いくつかの実施例では、第2の選択可能なオプションによってカスタマイズ可能でない視覚要素は、第2の選択可能なオプションによってカスタマイズ可能な視覚要素とは異なる視覚的特性で表示される。例えば、第1の絵文字がグループの絵文字(例えば、2人の人の絵文字)である場合、第2のセクションは、任意選択的に、右の人をカスタマイズするためのものである。そのような実施例では、第2のセクション内の選択可能なオプションは、任意選択的に、プレースホルダ外観を有する左の人で表示され(例えば、グレーアウトされて、第2のセクションが左の人をカスタマイズするためのものではないことを示す)、右の人は、個別の変形で表示される。例えば、第2のセクションは、任意選択的に、右の人の1つ以上の皮膚の色調オプションを含む。いくつかの実施形態では、絵文字がまだカスタマイズされていない場合、現在のカスタマイズ状態の表現は、絵文字がカスタマイズされていないことを示す。例えば、表現は、絵文字が部分的又は完全にカスタマイズされている場合とは異なる視覚的特性で表示されてもよい。いくつかの実施形態では、表現は、プレースホルダ外観(例えば、灰色)を有する視覚要素で表示される。いくつかの実施形態では、カスタマイズされていない絵文字は、絵文字をテキスト入力領域に挿入するように選択可能ではない。いくつかの実施形態では、3つのセクションは、カスタマイズユーザインタフェース上の別個の行として表示される。いくつかの実施形態では、3つのセクションは、単一の行に表示されるが、視覚的に分離されている(例えば、ホワイトスペース又は描写マーカによって)。
(例えば、絵文字キーボード上の絵文字のユーザ選択を受信して、絵文字がまだカスタマイズされていない場合には、絵文字の各カスタマイズ可能な構成要素のオプションを選択するための異なるセクションを有するカスタマイズユーザインタフェースを表示することによって)複数のカスタマイズ可能な構成要素を有する絵文字のカスタマイズユーザインタフェースを提供する上述した方法は、(例えば、選択された絵文字の各カスタマイズ可能な構成要素のカスタマイズオプションをユーザに提示することによって)ユーザが絵文字を挿入する要望を示した場合に、選択された絵文字をカスタマイズする迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが絵文字キーボード上の個別の絵文字を選択する前に別個のユーザインタフェースにナビゲートして絵文字の構成要素をカスタマイズする必要なしに、ユーザが各カスタマイズ可能な構成要素の利用可能なオプションを見て、絵文字の現在のカスタマイズ状態を見て、所望のカスタマイズオプションを選択することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の個別の表現は、変形626-1及び628-3の選択を反映する図6Pのカスタマイズされた変形630-2など、1つ以上の第1の選択可能なオプションに基づく第1のカスタマイズ可能な視覚要素、及び1つ以上の第2の選択可能なオプションに基づく第2のカスタマイズ可能な視覚要素を反映する(716)(例えば、絵文字が部分的又は完全にカスタマイズされている場合、第1の個別の表現は、ユーザのカスタマイズの結果を表示する(例えば、表現は、選択されたカスタマイズを反映する))。
いくつかの実施形態では、第1の個別の表現は、第1及び第2のセクションからのユーザの選択のプレビューを表示する。例えば、第1の絵文字がグループの絵文字(例えば、2人の人の絵文字)である場合、表現は、任意選択的に、プレースホルダ外観(例えば、灰色)で両方の人々を最初に表示して、どちらの人もまだカスタマイズされていないことを示す。そのような実施例では、ユーザが第1のセクション内のオプションを選択したことに応じて、表現は、任意選択的に、左の人が選択されたオプションで示され、右の人が依然としてプレースホルダ外観で表示される(例えば、ユーザは、まだ右の人のオプションを選択していないため)ように更新される。いくつかの実施形態では、ユーザが第2のセクション内のオプションを選択したことに応じて、表現は、任意選択的に、右の人が選択されたオプションで示されるように更新される。いくつかの実施形態では、カスタマイズを完了した後の別のオプションの選択により、以前の選択をオーバーライドし、表現は、更新されて、新しい選択を反映する。いくつかの実施形態では、ユーザがカスタマイズを完了している(例えば、各カスタマイズ可能な要素のオプションを選択している)場合、表現の選択により、カスタマイズされた絵文字をテキスト入力フィールドに挿入する。いくつかの実施形態では、ユーザがカスタマイズを完了していない(例えば、それぞれの必要なカスタマイズ可能な要素のオプションを選択していない)場合、表現の選択により、カスタマイズされた絵文字のテキスト入力フィールドへの挿入を引き起こさない。
(例えば、ユーザの選択に基づく視覚要素を反映する絵文字の表現を表示することによって)ユーザのカスタマイズ選択のプレビューを表示する上述した方法は、(例えば、ユーザがカスタマイズの選択を実行した同じユーザインタフェース上にユーザのカスタマイズを反映する表現を表示することによって)ユーザがカスタマイズオプションを選択するとユーザのカスタマイズの結果を表示する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが別個のユーザインタフェースにナビゲートしてユーザのカスタマイズの結果をプレビューする必要なしに、ユーザが絵文字をカスタマイズしている際にユーザがカスタム絵文字のプレビューを見ることを可能にし、これにより、カスタマイズ絵文字を作成する際のユーザの誤りを回避することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトの第1の個別の表現は、図6Hのカスタマイズされた変形630-2上の左及び右の人々などの、第1のカスタマイズ可能な視覚要素の表現及び第2のカスタマイズ可能な視覚要素の表現を含む(718)(例えば、第1の個別の表現は、カスタマイズ可能な視覚要素を含む個別の絵文字の画像である)。
いくつかの実施形態では、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素がカスタマイズされていない(例えば、2人の絵文字の左の人又は右の人のいずれかに対する変形が選択されていない)との判定に従って、第1のカスタマイズ可能な視覚要素の表現及び第2のカスタマイズ可能な視覚要素の表現は、図6Hのカスタマイズされた変形630-2内の灰色の輪郭のキャラクタなどの、第1及び第2のカスタマイズ可能な視覚要素がカスタマイズされていないことを示すプレースホルダ要素で表示される(720)(例えば、視覚要素がまだカスタマイズされていない場合、第1の個別の表現内の左及び右の人は、プレースホルダ要素である)。
いくつかの実施形態では、第1の個別の表現は、左又は右の人のいずれかにクロッピングすることなく、2人の人の絵文字の完全な画像である。いくつかの実施形態では、プレースホルダ要素は、有効な変形とは異なる視覚的特性を有するカスタマイズ可能な要素の表現である。例えば、左及び右の人々は、灰色、影付き、又は有効な変形とは異なる任意の他の視覚的特性などのプレースホルダ外観で表示される(例えば、プレースホルダ要素は、有効な皮膚の色調オプションを反映せず、任意選択的に、各カスタマイズ可能な要素の輪郭を表示する)。
カスタマイズ可能な視覚要素の代わりにプレースホルダ要素でグラフィカルオブジェクトのプレビューを表示する上述した方法は、(例えば、有効なカスタム変形の代わりにプレースホルダ要素を表示することにって)特定のカスタマイズ可能な視覚要素がまだカスタマイズされていないことをユーザに示す迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、第1の個別の表現をテキスト入力領域に挿入することができる前に、ユーザが追加の入力を実行又は別個のユーザインタフェースにナビゲートして、更なるカスタマイズが必要であるかどうかを判定する必要なしに、特定のカスタマイズ可能な視覚要素がまだカスタマイズされていないことをユーザが見ることを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトの第1の個別の表現が第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素に対するプレースホルダ要素で表示されている間に、1つ以上の入力デバイスを介して、図6Jのユーザ入力603などの、カスタマイズユーザインタフェース内の個別の選択可能なオプションを選択する第2のユーザ入力を受信する(722)(例えば、個別の表現がプレースホルダ要素(例えば人々の輪郭)のみを表示しているように、個別の絵文字が任意のカスタマイズを有していない間に、変形オプションを選択するカスタマイズユーザインタフェース上の入力を受信する)。
いくつかの実施形態では、個別の選択可能なオプションを選択する第2のユーザ入力を受信したことに応じて(724)、個別の選択可能なオプションが1つ以上の第1の選択可能なオプションの第1の選択可能なオプションであるとの判定に従って、電子デバイスは、図6Kでカスタマイズされた変形630-2の左の人が更新して変形626-1の皮膚の色調オプションを示すようになど、第1のグラフィカルオブジェクトの第1の個別の表現を更新して(726)、第1のカスタマイズ可能な視覚要素に対するプレースホルダ要素を第1の選択可能なオプションに対応する第1のカスタマイズ可能な視覚要素の第1の変形に置き換える(例えば、ユーザが第1のカスタマイズ可能な視覚要素(例えば、左の人)に対する変形を選択したことに応じて、第1の個別の表現を選択された変形で更新する)。
例えば、ユーザが左の人の皮膚の色調オプションを選択した場合、第1の個別の表現内の左の人は、更新されて、選択された皮膚の色調オプションを有する。したがって、いくつかの実施形態では、第1の個別の表現は、ユーザの選択のプレビューを表示する。いくつかの実施形態では、選択されなかったカスタマイズ可能な視覚要素は、プレースホルダ要素として表示され続ける(例えば、右の人は、灰色などのプレースホルダ外観で表示され続ける)。いくつかの実施形態では、ユーザが第1のカスタマイズ可能な視覚要素に対する変形を選択したことに応じて、選択された変形は、それが選択されているというインジケーションで表示される。例えば、選択された変形は、任意選択的に、特定の色で強調表示される、拡大される、又は任意の他の好適な視覚的特性で表示される。
いくつかの実施形態では、個別の選択可能なオプションを選択する第2のユーザ入力を受信したことに応じて(724)、個別の選択可能なオプションが1つ以上の第2の選択可能なオプションの第2の選択可能なオプションであるとの判定に従って、電子デバイスは、カスタマイズされた変形630-2の右の人が更新して図6Pの変形628-3の皮膚の色調オプションを示すなど、第1のグラフィカルオブジェクトの第1の個別の表現を更新して(728)、第2のカスタマイズ可能な視覚要素に対するプレースホルダ要素を第2の選択可能なオプションに対応する第2のカスタマイズ可能な視覚要素の第1の変形に置き換える(例えば、ユーザが第2のカスタマイズ可能な視覚要素(例えば、右の人)に対する変形を選択したことに応じて、第1の個別の表現を選択された変形で更新する)。
例えば、ユーザが右の人の皮膚の色調オプションを選択した場合、第1の個別の表現内の右の人は、更新されて、選択された皮膚の色調オプションを有する。したがって、いくつかの実施形態では、第1の個別の表現は、ユーザの選択のプレビューを表示する。いくつかの実施形態では、選択されなかったカスタマイズ可能な視覚要素は、プレースホルダ要素として表示され続ける(例えば、左の人は、灰色などのプレースホルダ外観で表示され続ける)。いくつかの実施形態では、ユーザが第2のカスタマイズ可能な視覚要素に対する変形を選択したことに応じて、選択された変形は、それが選択されているというインジケーションで表示される。例えば、選択された変形は、任意選択的に、特定の色で強調表示される、拡大される、又は任意の他の好適な視覚的特性を有する。いくつかの実施形態では、両方のオプションが現在選択されている場合、第1の個別の表現は、もはや任意のプレースホルダ要素を表示しない。いくつかの実施形態では、ユーザ入力がカスタマイズを完了した場合、カスタマイズが完了しているというインジケーションが表示される。いくつかの実施形態では、インジケーションは、(例えば、表現のサイズを一時的に拡大する)上述した変形のアニメーションと同様の第1の個別の表現上のアニメーションである。
ユーザが第1及び第2のカスタマイズ可能な視覚要素に対する変形を選択すると、グラフィカルオブジェクトのプレビュー内のプレースホルダ要素をユーザの選択に置き換える上述した方法は、(例えば、ユーザが変形を選択すると、プレースホルダ要素をユーザの選択した変形に置き換えることによって)選択が組み合わせでどう見えるかをユーザがプレビューする迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが絵文字を挿入する、追加の入力を実行する、又は別個のユーザインタフェースにナビゲートする必要なしに、ユーザがユーザのカスタマイズの結果をプレビューすることを可能にし、これにより、また絵文字をカスタマイズ/挿入する際のユーザの誤りを削減することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の選択可能なオプションに対応する第1のカスタマイズ可能な視覚要素の第1の変形で第1のグラフィカルオブジェクトの第1の個別の表現を更新した後に、電子デバイスは、1つ以上の入力デバイスを介して、図6Wのユーザ入力603などの、1つ以上の第1の選択可能なオプションの第3の選択可能なオプションを選択する第3のユーザ入力を受信する(730)(例えば、個別の表現が左の人のカスタマイズされた皮膚の色調を有している間に、左の人の別の皮膚の色調を選択するオプションを受信する)。
いくつかの実施形態では、第3のユーザ入力を受信したことに応じて、電子デバイスは、図6Xでカスタマイズされた変形630-2の左の人が更新して変形626-2の皮膚の色調を反映するようになど、第1のグラフィカルオブジェクトの第1の個別の表現を更新して、第1のカスタマイズ可能な視覚要素の第1の変形を第3の選択可能なオプションに対応する第1のカスタマイズ可能な視覚要素の第1の変形とは異なる第2の変形に置き換える(732)(例えば、第1の個別の表現を新しい皮膚の色調選択で更新する)。
例えば、第1の個別の表現の左の人が第1の皮膚の色調を表示していて、かつユーザが第2の皮膚の色調オプションを選択した場合、第1の個別の表現の左の人は、更新されて、第2の皮膚の色調を有する。いくつかの実施形態では、右の人(例えば、第2のカスタマイズ可能な要素)に対する新しい皮膚の色調変形を選択するユーザ入力により、同様に、第1の個別の表現に、右の人の皮膚の色調を新たに選択された皮膚の色調に更新させる。したがって、いくつかの実施形態では、以前に選択された変形は、別の変形の選択でオーバーライド又は置き換えられる。個別の絵文字のカスタマイズを変更することにより、任意選択的に、個別の絵文字の以前に挿入されたインスタンスを新しいカスタマイズに更新させず(例えば、テキスト入力領域に挿入された個別の絵文字の以前のバージョンは、それらが挿入されたときに適用された変形を維持する)、任意選択的に、個別の絵文字の今後の挿入にのみ適用されることが理解される。いくつかの実施形態では、カスタマイズが完了した後に、絵文字のカスタマイズは、異なる変形の選択により修正又は更新することができる。いくつかの実施形態では、絵文字のカスタマイズは、修正又は置き換えることのみができるが、クリア又はリセットする(例えば、カスタマイズがなく、かつプレースホルダ要素が示されてる状態にリセットする)ことはできない。
(例えば、現在選択されている変形とは異なる変形を選択するユーザ入力を受信し、プレビューを更新して新たに選択された変形を反映することによって)カスタマイズ選択を更新する上述した方法は、異なる変形をサンプリングして、(例えば、ユーザの新しい選択に基づいて変形のプレビューを更新することによって)ユーザの選択を変更する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが別個のユーザインタフェースにナビゲートする又は追加の入力を実行する必要なしに、ユーザが、ユーザの以前の選択を変更して、変更をプレビューすることを可能にするよって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトのカスタマイズ状態が部分的なカスタマイズ状態であり、かつ第1のグラフィカルオブジェクトの第1の個別の表現が第1のカスタマイズ可能な視覚要素に対する第1の変形及び第2のカスタマイズ可能な視覚要素に対するプレースホルダ要素で表示されている(例えば、左の人がカスタマイズされているが、右の人がまだカスタマイズされていない)間に、電子デバイスは、1つ以上の入力デバイスを介して、図6Mのユーザ入力603などの、カスタマイズユーザインタフェースを却下する要求に対応する第2のユーザ入力を受信する(734)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて、電子デバイスは、図6Nなどのカスタマイズユーザインタフェースの表示を中止する(736)(例えば、カスタマイズユーザインタフェースを表示することを却下する、又は他の方法で中止し、任意選択的に、カスタマイズユーザインタフェースが表示される前に表示されていたユーザインタフェースを表示する)。いくつかの実施形態では、絵文字がカスタマイズを完了しなかったため、仮想キーボード上に表示された個別の絵文字は、左及び右の人の両方に対するデフォルト変形(例えば、黄色などのデフォルト色を有する絵文字)の表示を維持する。
いくつかの実施形態では、カスタマイズユーザインタフェースの表示を中止した後に、かつ第1のグラフィカルオブジェクトのカスタマイズ状態が部分的なカスタマイズ状態である間に、電子デバイスは、1つ以上の入力デバイスを介して、図6Nのユーザ入力603などの、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第3のユーザ入力を受信する(738)(例えば、仮想キーボード上の部分的にカスタマイズされた絵文字を選択するユーザ入力を受信する)。
いくつかの実施形態では、第3のユーザ入力を受信したことに応じて、電子デバイスは、表示デバイスを介して、カスタマイズユーザインタフェースを表示し(740)、第1のグラフィカルオブジェクトの第1の個別の表現は、図6Oなどの、第1のカスタマイズ可能な視覚要素に対する第1の変形及び第2のカスタマイズ可能な視覚要素に対するプレースホルダ要素でカスタマイズユーザインタフェース内に表示される(例えば、カスタマイズユーザインタフェースを再表示する)。いくつかの実施形態では、カスタマイズユーザインタフェースは、カスタマイズ状態を保持する。例えば、個別の絵文字の左の人が以前にカスタマイズされているが、個別の絵文字の右の人がカスタマイズされていないため、個別の表現は、左の人に対するカスタマイズされた変形及び右の人に対するプレースホルダ要素を表示する。いくつかの実施形態では、カスタマイズ可能なユーザインタフェース内の選択可能なオプションはまた、それらの選択状態を維持する。例えば、以前に選択された(例えば、かつ第1の個別の表現に適用されている)左の人に対する変形は、それが選択されているというインジケーションで表示され続ける(例えば、強調表示される、拡大される、など)。
(例えば、ユーザがグラフィカルオブジェクトを部分的にカスタマイズしただけで、かつカスタマイズユーザインタフェースの却下後であっても、ユーザの選択を保存し、カスタマイズユーザインタフェースのその後の表示時にユーザの以前の選択を表示することによって)ユーザのカスタマイズ選択を維持する上述した方法は、ユーザが以前に部分的にカスタマイズされたグラフィカルオブジェクトをカスタマイズし続ける迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが既に以前に選択した変形(単数又は複数)を再選択する追加のユーザ入力をユーザが実行する必要なしに、ユーザが中止したカスタマイズプロセスをユーザが継続することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、複数のカスタマイズ可能な視覚要素が第3のカスタマイズ可能な視覚要素を含むとの判定に従って、カスタマイズユーザインタフェースは、図6QQなどの、第3のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第3の選択可能なオプションを含む第4のセクションを含む(742)(例えば、個別の絵文字が第3のカスタマイズ可能な視覚要素を有する場合、カスタマイズユーザインタフェースは、第3のカスタマイズ可能な視覚要素をカスタマイズするための選択可能なオプションの別の行を含む)。したがって、いくつかの実施形態では、カスタマイズユーザインタフェースは、個別の絵文字の各カスタマイズ可能な視覚要素の選択可能なオプションのセクション(例えば、行)を含む。いくつかの実施形態では、任意の数のカスタマイズ可能な視覚要素(例えば、2、3、4、5、10個のカスタマイズ可能な視覚要素など)が可能である。
グラフィカルオブジェクト内の各カスタマイズ可能な視覚要素の選択可能なオプションのセクションを表示する上述した方法は、(例えば、グラフィカルオブジェクトがどのくらい多くのカスタマイズ可能な視覚要素を有するかに基づいて、変形オプションのより多くの又はより少ないセクションを表示することによって)各カスタマイズ可能な視覚要素に対する異なる変形を提示する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、カスタマイズユーザインタフェースとのユーザ対話の一貫性を維持しながら、かつ各カスタマイズ可能な視覚要素に対する全ての利用可能な変形を見て選択するために、ユーザが別個のユーザインタフェースにナビゲートする又は追加の入力を実行する必要なしに、カスタマイズする視覚要素の数に基づいてカスタマイズユーザインタフェース内のセクションの数を調整することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、カスタマイズユーザインタフェースは、図6Fのデフォルト変形630-1などの、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素の既定の変形に対応する第1のグラフィカルオブジェクトの第2の個別の表現を含む(744)(例えば、カスタマイズユーザインタフェースは、デフォルト変形をテキスト入力領域に挿入するように選択可能な既定のデフォルト表現を含む)。例えば、既定のデフォルト表現は、任意選択的に、絵文字内の各要素について黄色などの、デフォルト色である。いくつかの実施形態では、既定のデフォルト表現は、カスタマイズ可能ではなく、カスタマイズユーザインタフェース内の変形の選択により、第1の個別の表現のみをカスタマイズし、第2の個別の表現をカスタマイズしない。いくつかの実施形態では、第2の個別の表現は、任意選択的に第1の個別の表現に隣接して、カスタマイズユーザインタフェースの第3のセクションに表示される。
(例えば、カスタマイズ可能な視覚要素に対するデフォルト変形で第1のグラフィカルオブジェクトの表現を含むことによって)第1のグラフィカルオブジェクトの既定のデフォルトバージョンを提供する上述した方法は、カスタマイズが実行された後でも、カスタマイズを選択することなく、第1のグラフィカルオブジェクトのデフォルトバージョンを選択する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが第1のグラフィカルオブジェクトのデフォルトバージョンを構築するために追加の入力を実行する必要なしに、ユーザが第1のグラフィカルオブジェクトをカスタマイズすることに関心がない場合に、ユーザがデフォルト変形を容易に選択することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトのカスタマイズ状態が完了したカスタマイズ状態ではない(例えば、部分的にカスタマイズされた、又はカスタマイズがない)間に、電子デバイスは、1つ以上の入力デバイスを介して、図6H及び図6Kのユーザ入力603などの、第1のグラフィカルオブジェクトの第1の個別の表現を選択する第2のユーザ入力(例えば、それがカスタマイズ可能な視覚要素のうちのいずれか又は全てにに対するプレースホルダ要素で表示されている間に、第1の個別の表現を選択するユーザ入力)を受信する(746)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(748)、第1のカスタマイズ可能な視覚要素がカスタマイズされていないとの判定に従って、電子デバイスは、表示デバイスを介して、図6Iのインジケーション632などの、第1のカスタマイズ可能な視覚要素がカスタマイズされていないという視覚的インジケーションを表示する(750)(例えば、第1のカスタマイズ可能な視覚要素がカスタマイズされていない場合に、第1のカスタマイズ可能な視覚要素をカスタマイズするための第1の選択可能なオプション上の視覚的インジケーションを表示する)。いくつかの実施形態では、第2のユーザ入力に応じて、第1の個別の表現は、テキスト入力フィールドに挿入されない。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(748)、第2のカスタマイズ可能な視覚要素がカスタマイズされていないとの判定に従って、電子デバイスは、表示デバイスを介して、図6Lのインジケーション632などの、第2のカスタマイズ可能な視覚要素がカスタマイズされていないという視覚的インジケーションを表示する(752)(例えば、第2のカスタマイズ可能な視覚要素がカスタマイズされていない場合に、第2のカスタマイズ可能な視覚要素をカスタマイズするための第2の選択可能なオプション上の視覚的インジケーションを表示する)。いくつかの実施形態では、第2のユーザ入力に応じて、個別の絵文字は、テキスト入力領域に挿入されない。いくつかの実施形態では、カスタマイズユーザインタフェースは、表示され続ける(例えば、却下されない)。
(例えば、ユーザがグラフィカルオブジェクトのカスタマイズされたバージョンを選択及び挿入することを試みるときに、個別のカスタマイズ可能な視覚要素がまだカスタマイズされていないというインジケーションを表示することによって)カスタマイズが完了していないことを示す上述した方法は、(例えば、第1の個別の表現を選択することによりグラフィカルオブジェクトのカスタマイズされたバージョンを挿入する前に、それぞれの変形の選択が依然として必要とされていることをユーザに示唆することによって)カスタマイズが完了していないことを示す迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、カスタマイズが完了しているかどうか及びグラフィカルオブジェクトのカスタムバージョンが挿入するために利用可能かどうかを判定するために、ユーザが別個のユーザインタフェースにナビゲートする又は追加の入力を実行する必要なしに、カスタマイズが完了していないというインジケーションを表示することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のカスタマイズ可能な視覚要素がカスタマイズされていないという視覚的インジケーションは、図6Iなどの、第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションの視覚的特性の変化をアニメーション化すること(例えば、第1の選択可能なオプションをアニメーション化すること)を含む(754)。いくつかの実施形態では、アニメーションは、第1の選択可能なオプションのサイズを一時的に増加及び減少させることを含む。いくつかの実施形態では、アニメーションは、第1の選択可能なオプションの一方の端から別の端に波様移動で進む。例えば、第1の選択可能なオプションのうちの第1のものは、サイズが増加し、第1の選択可能なオプションの他のものは、それらの元のサイズを維持し、次いで、第1の選択可能なオプションの第1のものがサイズを減少させるにつれて、第1の選択可能なオプションの第2のものは、サイズが増加する、などとなり、アニメーションが第1の選択可能なオプションの最後のものに到達するまで、前に進む。
いくつかの実施形態では、第2のカスタマイズ可能な視覚要素がカスタマイズされていないという視覚的インジケーションは、図6Lなどの、第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションの視覚的特性の変化をアニメーション化すること(例えば、第2の選択可能なオプションをアニメーション化すること)を含む(756)。いくつかの実施形態では、アニメーションは、第2の選択可能なオプションのサイズを一時的に増加及び減少させることを含む。いくつかの実施形態では、アニメーションは、第2の選択可能なオプションの一方の端から別の端に波様移動で進む。例えば、第2の選択可能なオプションのうちの第1のものは、サイズが増加し、第2の選択可能なオプションの他のものは、それらの元のサイズを維持し、次いで、第2の選択可能なオプションの第1のものがサイズを減少させるにつれて、第2の選択可能なオプションの第2のものは、サイズが増加する、などとなり、アニメーションが第2の選択可能なオプションの最後のものに到達するまで、前に進む。
(例えば、カスタマイズを完了するために選択を必要とする個別のカスタマイズ可能な視覚要素の選択可能なオプションをアニメーション化することによって)カスタマイズが完了していないこと及び特定の選択可能なオプションの選択がカスタマイズを完了するために必要とされていることを示す上述した方法は、(例えば、まだカスタマイズされていない個別のカスタマイズ可能な視覚要素の選択可能なオプション上のアニメーションを表示することによって)カスタマイズを完了するためにどのオプションを選択すべきかを示す迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、カスタマイズ可能な要素のうちのどれがカスタマイズされていないか及びどの選択可能なオプションがまだカスタマイズされていないカスタマイズ可能な要素をカスタマイズするためのものかをユーザが判定する必要なしに、それぞれの選択可能なオプションそれら自体上にインジケーションを表示することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトのカスタマイズ状態が、第1のカスタマイズ可能な視覚要素の個別の変形及び第2のカスタマイズ可能な視覚要素の個別の変形が選択されている完了したカスタマイズ状態である(例えば、絵文字のカスタマイズが完了しており、かつ第1の個別の表現が、任意のプレースホルダ要素なしに、第1及び第2のカスタマイズ可能な視覚要素に対する有効な変形で表示されている)間に、電子デバイスは、1つ以上の入力デバイスを介して、図6Qのユーザ入力603などの、第1のグラフィカルオブジェクトの第1の個別の表現を選択する第2のユーザ入力(例えば、完了した第1の個別の表現を選択するユーザ入力)を受信する(758)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて、電子デバイスは、図6Rでカスタマイズされた変形630-2をキャラクタ614-4としてテキスト入力領域604に挿入するようになど、第1のカスタマイズ可能な視覚要素の個別の変形及び第2のカスタマイズ可能な視覚要素の個別の変形を有する第1のグラフィカルオブジェクトをテキスト入力領域に挿入する(760)(例えば、第1及び第2のカスタマイズ可能な視覚要素に対するそれぞれの変形を有する個別の絵文字をテキスト入力領域に挿入する)。いくつかの実施形態では、挿入される絵文字のバージョンは、第1の個別の表現によって提供されるプレビューと同じである。いくつかの実施形態では、第2のユーザ入力に応じて、カスタマイズユーザインタフェースは、却下される(例えば、表示されることを中止する)。
カスタマイズされたグラフィカルオブジェクトを挿入する(例えば、ユーザが第1のグラフィカルオブジェクトの表現を選択したことに応じて、かつユーザが第1のグラフィカルオブジェクトのカスタマイズを完了した後に、ユーザのカスタマイズを有する第1のグラフィカルオブジェクトを挿入する)上述した方法は、(例えば、カスタマイズを選択するために使用される同じユーザインタフェース上に第1のグラフィカルオブジェクトに適用されるカスタマイズのプレビューを表示し、ユーザがプレビューを選択したことに応じて、カスタマイズされた第1のグラフィカルオブジェクトを挿入することによって)カスタムグラフィカルオブジェクトを挿入する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、カスタマイズされたグラフィカル要素をカスタマイズ及び挿入するために、ユーザが別個のユーザインタフェースにナビゲートする又は追加の入力を実行する必要なしに、ユーザがカスタマイズされた第1のグラフィカルオブジェクトをプレビューして挿入することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトの第1の個別の表現を選択する第2のユーザ入力を受信した後に、電子デバイスは、図6Rで絵文字608-6を更新してカスタマイズされた変形630-2を表示するようになど、仮想キーボード内の第1のグラフィカルオブジェクトの第1の選択可能な表現を更新して、第1のカスタマイズ可能な視覚要素の個別の変形及び第2のカスタマイズ可能な視覚要素の個別の変形を有する第1のグラフィカルオブジェクトの表現を表示する(762)(例えば、ユーザが絵文字のカスタマイズされたバージョンを選択してテキスト入力領域に挿入した後に、仮想キーボード上の個別の絵文字は、更新されて、絵文字のカスタマイズされたバージョンを反映する)。
例えば、仮想キーボード上の個別の絵文字は、第1及び第2のカスタマイズ可能な視覚要素に対するそれぞれの変形を含む(例えば、左及び右の人々は、カスタマイズユーザインタフェース上で選択された皮膚の色調を有する)。いくつかの実施形態では、個別の絵文字が絵文字のカスタマイズされたバージョンを表示している場合に、(例えば、カスタマイズユーザインタフェース内の異なる変形を選択することによって)ユーザがカスタマイズを更新又は修正するが、絵文字のカスタマイズされたバージョンをテキスト入力領域に挿入しない場合、仮想キーボードは、更新して、カスタマイズされたバージョンを表示する。したがって、いくつかの実施形態では、仮想キーボード上の個別の絵文字は、(例えば、デフォルト絵文字をテキスト入力領域に挿入させる、カスタマイズユーザインタフェース上の個別の絵文字のデフォルトバージョンを選択することによって)ユーザが仮想キーボード内の絵文字のデフォルト変形を表示する「デフォルト」モードに個別の絵文字を変更するまで、(例えば、カスタマイズを更新した後に、ユーザがカスタム絵文字を挿入したかどうかに関係なく)個別の絵文字の最新のカスタマイズされた状態を常に表示する「カスタマイズされた」モードに設定される。
仮想キーボード上にグラフィカルオブジェクトを表示する(例えば、直近に選択及び挿入されたカスタマイズ可能な視覚要素の変形で仮想キーボード内のグラフィカルオブジェクトを表示する)上述した方法は、(例えば、グラフィカルオブジェクトのカスタマイズされたバージョンを挿入するように選択可能な仮想キーボードそれ自体上のグラフィカルオブジェクトに適用されるカスタマイズのプレビューを表示することによって)グラフィカルオブジェクトの表現の選択時に挿入されるグラフィカルオブジェクトのバージョンをプレビューする迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、表現の選択時にグラフィカル要素のどのバージョンが挿入されるかを判定するために、ユーザが別個のユーザインタフェースにナビゲートする又は追加の入力を実行する必要なしに、ユーザがカスタマイズされた第1のグラフィカルオブジェクトをプレビュー及び挿入することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトのカスタマイズ状態が完了したカスタマイズ状態である間に、電子デバイスは、1つ以上の入力デバイスを介して、図6Rのユーザ入力603などの、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第2のユーザ入力を受信する(764)(例えば、個別の絵文字が完全にカスタマイズされた後に、仮想キーボード上の個別の絵文字を選択するユーザ入力を受信する)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(766)、第2のユーザ入力が所定の持続時間閾値(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)よりも短い第1のグラフィカルオブジェクトの第1の選択可能な表現の選択を含むとの判定に従って、電子デバイスは、図6Sでカスタマイズされた変形630-2をキャラクタ614-5としてテキスト入力領域604に挿入するようになど、カスタマイズユーザインタフェースを表示することなく、第1のグラフィカルオブジェクトをテキスト入力領域内に挿入する(768)(例えば、ユーザ入力がタップ入力である場合、個別の絵文字をテキスト入力領域に挿入し、カスタマイズユーザインタフェースを表示しない)。
いくつかの実施形態では、挿入される絵文字のバージョンは、仮想キーボード上に表示される同じバージョンである。例えば、仮想キーボード上の個別の絵文字が第1及び第2のカスタマイズ可能な視覚要素に対するそれぞれの変形を含む場合、挿入される絵文字は、第1及び第2のカスタマイズ可能な視覚要素に対するそれぞれの変形を有する。いくつかの実施形態では、仮想キーボード上の個別の絵文字が第1及び第2のカスタマイズ可能な視覚要素に対するデフォルト変形(例えば、黄色などのデフォルト色を有する絵文字)を含む場合、挿入される絵文字は、第1及び第2のカスタマイズ可能な視覚要素に対するデフォルト変形を有する。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(766)、第2のユーザ入力が所定の持続時間閾値より長い第1のグラフィカルオブジェクトの第1の選択可能な表現の選択を含むとの判定に従って、電子デバイスは、表示デバイスを介して、図6Uのようになど、第1のグラフィカルオブジェクトをテキスト入力領域に挿入することなく、カスタマイズユーザインタフェースを表示する(770)(例えば、ユーザ入力がプレスアンドホールド入力である場合、カスタマイズユーザインタフェースを表示し、個別の絵文字をテキスト入力領域に挿入しない)。いくつかの実施形態では、個別の絵文字のカスタマイズが完了した後に、プレスアンドホールドユーザ入力は、(例えば、ユーザがカスタマイズを更新することを可能にするために)カスタマイズユーザインタフェースの表示を引き起こす唯一の方法である。いくつかの実施形態では、カスタマイズユーザインタフェースは、第1のグラフィカルオブジェクトのカスタマイズ状態を表示する。例えば、第1及び第2のカスタマイズ可能な要素に対するそれぞれの変形は、強調表示され、第1の個別の表現(例えば、プレビュー)は、ユーザのカスタマイズを表示する。
グラフィカルオブジェクトを挿入及びカスタマイズする(例えば、ユーザ入力が短いタップである場合にグラフィカルオブジェクトを挿入する、又はユーザ入力が長い押圧である場合にカスタマイズユーザインタフェースを表示する)上述した方法は、(例えば、ユーザ入力の持続時間に基づいて同じ表現を使用して、グラフィカルオブジェクトを挿入する、又はグラフィカルオブジェクトをカスタマイズするのいずれかのオプションをユーザに提供することによって)グラフィカルオブジェクトを挿入する、又はグラフィカルオブジェクトのカスタマイズを見る若しくは更新するためにユーザインタフェースを提供するのいずれかの迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、カスタマイズを実行するために、ユーザが追加の入力を実行する又は別個のユーザインタフェースにナビゲートする必要なしに、グラフィカルオブジェクトを挿入する機能又はグラフィカルオブジェクトを更にカスタマイズする機能のいずれかをユーザが実行することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のグラフィカルオブジェクトをテキスト入力領域に挿入することは、第1のグラフィカルオブジェクトの第1の選択可能な表現が第1及び第2のカスタマイズ可能な視覚要素に対するデフォルト変形で表示されているとの判定に従って、図6EEのデフォルト変形630-1をキャラクタ614-8としてテキスト入力領域604に挿入することなどの、デフォルト変形を有する第1のグラフィカルオブジェクトを第1のテキスト入力領域に挿入すること(774)を含む(772)(例えば、挿入される絵文字は、仮想キーボード上に表示されている同じバージョンである)。いくつかの実施形態では、仮想キーボード上の個別の絵文字が第1及び第2のカスタマイズ可能な視覚要素に対するデフォルト変形(例えば、黄色などのデフォルト色を有する絵文字)を含む場合、挿入される絵文字は、第1及び第2のカスタマイズ可能な視覚要素に対するデフォルト変形を有する。
いくつかの実施形態では、第1のグラフィカルオブジェクトをテキスト入力領域に挿入することは、第1のグラフィカルオブジェクトの第1の選択可能な表現が第1及び第2のカスタマイズ可能な視覚要素に対するカスタマイズされた変形で表示されているとの判定に従って、図6Sのカスタマイズされた変形630-2をキャラクタ614-5としてテキスト入力領域604に挿入することなどの、カスタマイズされた変形を有する第1のグラフィカルオブジェクトを第1のテキスト入力領域に挿入すること(776)を含む(772)(例えば、仮想キーボード上の個別の絵文字が第1及び第2のカスタマイズ可能な視覚要素に対するそれぞれの変形を含む場合、挿入される絵文字は、第1及び第2のカスタマイズ可能な視覚要素に対するそれぞれの変形を有する)。したがって、いくつかの実施形態では、仮想キーボード上の個別の絵文字を選択することにより、個別の絵文字の以前に選択されたバージョンを自動的に挿入する。
グラフィカルオブジェクトを挿入する(例えば、仮想キーボード上に表示されているようにグラフィカルオブジェクトのバージョンを挿入する)上述した方法は、(例えば、カスタマイズされた変形が仮想キーボード上に表示されている場合にはカスタマイズされた変形、又はデフォルト変形が仮想キーボード上に表示されている場合にはデフォルト変形のいずれかを有するグラフィカルオブジェクトを挿入することによって)挿入されることになるグラフィカルオブジェクトがユーザに表示されているグラフィカルオブジェクトであることを検証する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、第1の選択可能な表現の選択時にどのバージョンが挿入されるかを判定するために、ユーザが追加の入力を実行する又は別個のユーザインタフェースにナビゲートする必要なしに、ユーザが挿入されるグラフィカルオブジェクトのバージョンをプレビュー及び検証することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1のユーザ入力は、1つ以上の入力デバイスのタッチ感知面からの接触のタッチダウン及びリフトオフを含み、カスタマイズユーザインタフェースは、図6Uの接触603が所定の持続時間閾値よりも長く保持されていることに応じた多要素カスタマイズユーザインタフェース624の表示のようになど、タッチ感知面上の接触のタッチダウン後に、かつタッチ感知面からの接触のリフトオフの前に表示される(778)(例えば、カスタマイズユーザインタフェースは、複数のカスタマイズ可能な要素に関連付けられた仮想キーボード内の絵文字上の接触のタッチダウンを検出したことに応じて表示される)。いくつかの実施形態では、カスタマイズが完了していない場合、カスタマイズユーザインタフェースは、接触の任意のタッチダウンに応じて表示される。いくつかの実施形態では、カスタマイズが完了している場合、カスタマイズユーザインタフェースは、タッチダウンが閾値持続時間(例えば、0.1秒、0.25秒、0.5秒、1秒、3秒、5秒など)にわたってタッチスクリーンと接触して保持されたことに応じて表示される。
いくつかの実施形態では、(例えば、カスタマイズが完了していない場合には短い接触、又はカスタマイズが完了している場合には長い接触のいずれかに応じて表示される)カスタマイズユーザインタフェースを表示している間に、電子デバイスは、図6Vなどの、タッチ感知面からの接触のリフトオフを検出する(780)。
いくつかの実施形態では、タッチ感知面からの接触のリフトオフを検出したことに応じて、電子デバイスは、表示デバイスを介して、図6Vなどの、カスタマイズユーザインタフェースの表示を維持する(782)(例えば、カスタマイズユーザインタフェースは、ユーザがタッチスクリーンとの接触を解放したときに却下されない)。いくつかの実施形態では、カスタマイズユーザインタフェースは、ユーザがテキスト入力領域に挿入する絵文字を選択する、又はカスタマイズユーザインタフェースの外側の位置を選択するまで、表示される。いくつかの実施形態では、ユーザ入力が元のタッチダウンから(例えば、カスタマイズユーザインタフェース上の)絵文字のデフォルトバージョン又は絵文字のカスタマイズされたバージョンのいずれかの位置への(例えば、接触を維持している間の)スワイプ含む場合、ユーザ入力のリフトオフ時に、(例えば、デフォルト又はカスタマイズされた)絵文字の個別のバージョンが選択されて、テキスト入力領域に挿入され、カスタマイズユーザインタフェースが却下される。いくつかの実施形態では、単一要素カスタマイズユーザインタフェース(例えば、1つのカスタマイズ可能な要素のみを有する絵文字)では、接触のリフトオフを検出することにより、常に、カスタマイズユーザインタフェースを却下させ、絵文字のバージョンをテキスト入力領域に挿入させる(例えば、ユーザの以前の選択、又はユーザ入力がリフトオフ前に新しい変形へのスワイプを含む場合にはユーザの新しい選択のいずれか)。
カスタマイズユーザインタフェースを表示する(例えば、接触のタッチダウンを検出したことに応じて、カスタマイズユーザインタフェースを表示し、接触のリフトオフを検出した後であっても、カスタマイズユーザインタフェースの表示を維持する)上述した方法は、(例えば、ユーザがカスタマイズユーザインタフェース上の所望の変形を選択するために追加の入力を実行することができるように、カスタマイズユーザインタフェースの表示を維持することによって)グラフィカルオブジェクトをカスタマイズする迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザがカスタマイズされる各要素についてカスタマイズユーザインタフェースを再表示する必要なしに、カスタマイズユーザインタフェースを表示した後に、ユーザがグラフィカルオブジェクトの複数の要素をカスタマイズすることを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、カスタマイズユーザインタフェースは、図6Fの多要素カスタマイズユーザインタフェース624のようになど、テキスト入力領域及び仮想キーボードを含むユーザインタフェースの上に重ね合わされる(786)(例えば、カスタマイズユーザインタフェースは、カスタマイズユーザインタフェースを表示するためのユーザ入力が受信されたときに表示されていた何でもの上部に重ね合わされて表示されたポップアップユーザインタフェース要素である)。
カスタマイズユーザインタフェースを表示する(例えば、カスタマイズユーザインタフェースが表示されるときに表示されていたユーザインタフェースの上にオーバーレイとしてカスタマイズユーザインタフェースを表示する)上述した方法は、ユーザインタフェースのコンテキスト連続性を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、グラフィカルオブジェクトのカスタマイズ及び挿入が以前に表示されていたインタフェースに関連付けられていることをユーザに視覚的に示し、最小限に侵入するユーザインタフェース要素を有するカスタマイズユーザインタフェースをユーザに提供することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、カスタマイズユーザインタフェースが表示デバイスの表示領域の所定量未満を包含する(例えば、カスタマイズユーザインタフェースが表示デバイスの全表示領域の25%、50%、66%、75%未満を占める)との判定に従って(788)、カスタマイズユーザインタフェースは、図6Fの多要素カスタマイズユーザインタフェース624のようになど、テキスト入力領域及び仮想キーボードを含むユーザインタフェースの上に重ね合わされる(例えば、カスタマイズユーザインタフェースは、カスタマイズユーザインタフェースを表示するためのユーザ入力が受信されたときに表示されていた何でもの上部に重ね合わされたポップアップユーザインタフェース要素として表示される)。
いくつかの実施形態では、カスタマイズユーザインタフェースが表示デバイスの表示領域の所定量よりも多くを包含する(例えば、カスタマイズユーザインタフェースが表示デバイスの全表示領域の25%、50%、66%、75%より多くを占める)との判定に従って、カスタマイズユーザインタフェースは、図6WWの多要素カスタマイズユーザインタフェース642のようになど、ユーザインタフェースの表示を置き換える(790)(例えば、カスタマイズユーザインタフェースは、フルスクリーンユーザインタフェースとして表示される)。いくつかの実施形態では、カスタマイズユーザインタフェースは、カスタマイズユーザインタフェースを却下するための選択可能なオプションを含む。いくつかの実施形態では、カスタマイズユーザインタフェースを却下するユーザ入力に応じて、デバイスは、カスタマイズユーザインタフェースを表示するためのユーザ入力が受信されたときに表示されていたユーザインタフェースを表示する(例えば、その表示を再開する)。
カスタマイズユーザインタフェースを表示する(例えば、カスタマイズユーザインタフェースが画面領域の特定の量未満を占める場合にはオーバーレイとして、又はカスタマイズユーザインタフェースが画面領域の特定の量より多くを占める場合にはフルスクリーンユーザインタフェースとして、カスタマイズユーザインタフェースを表示する)上述した方法は、適切な場合には、ユーザインタフェースのコンテキスト連続性を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、表示デバイスのサイズに関係なく、ユーザがカスタマイズを見て実行することを可能にするために、カスタマイズユーザインタフェースのスタイルを自動的に調整することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、カスタマイズユーザインタフェースを表示している間に、電子デバイスは、1つ以上の入力デバイスを介して、図6Mのユーザ入力603などの、カスタマイズユーザインタフェースの外側の位置に対応する第2のユーザ入力を受信する(792)(例えば、カスタマイズユーザインタフェースの外側のタッチスクリーン上の位置でユーザ入力を受信する)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて、電子デバイスは、図6Nのようになど、カスタマイズユーザインタフェースの表示を中止する(794)(例えば、カスタマイズユーザインタフェースを却下し、(例えば、カスタマイズユーザインタフェースによって遮られてない)仮想キーボード及びテキスト入力領域を含む全ユーザインタフェースを再表示する)。いくつかの実施形態では、カスタマイズユーザインタフェースの「パドル」部分を選択するユーザ入力もまた、カスタマイズユーザインタフェースを却下させる。いくつかの実施形態では、カスタマイズユーザインタフェースの「パドル」部分は、仮想キーボード上の対応する絵文字の上に重ね合わされる部分である。したがって、いくつかの実施形態では、カスタマイズユーザインタフェースの表示を引き起こした同じ位置を選択することにより、カスタマイズユーザインタフェースを却下させる。いくつかの実施形態では、カスタマイズユーザインタフェースを表示することを中止した後に、仮想キーボード内の個別の絵文字を選択する更なる入力により、カスタマイズがまだ完了していない場合、カスタマイズユーザインタフェースの再表示を引き起こす。
カスタマイズユーザインタフェースを却下する(例えば、カスタマイズユーザインタフェースの外側のタッチスクリーン上のユーザ入力に応じて、カスタマイズユーザインタフェースを却下する)上述した方法は、(例えば、ユーザがカスタマイズユーザインタフェースの外側でタップして、ユーザがカスタマイズを実行すること又はカスタマイズユーザインタフェースを見ることに関心がないことを示す場合に、カスタマイズユーザインタフェースを迅速に却下することによって)カスタマイズユーザインタフェースを却下する直感的かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、ユーザが「閉じる」若しくは「x」オプションを選択する又は追加の入力を実行する必要なしに、カスタマイズユーザインタフェースの領域の外側にある任意の入力に応じて、カスタマイズユーザインタフェースを却下することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、仮想キーボードに含まれる複数のグラフィカルオブジェクトの複数の選択可能な表現は、第2のグラフィカルオブジェクトの第2の選択可能な表現を更に含み、第2のグラフィカルオブジェクトは、図6Aの絵文字608-1のようになど、複数のカスタマイズ可能な視覚要素に関連付けられていない(796)(例えば、仮想キーボードは、個別の絵文字をカスタマイズ又は挿入するように選択可能な複数の異なる絵文字を表示する)。いくつかの実施形態では、複数の異なる絵文字は、カスタマイズ可能な視覚要素を有さない絵文字、1つのカスタマイズ可能な視覚要素を有する絵文字、及び複数のカスタマイズ可能な視覚要素を有する絵文字を含む。
仮想キーボード上にグラフィカルオブジェクトを提示する(例えば、仮想キーボード上に、複数のグラフィカルオブジェクトに関連付けられていないグラフィカルオブジェクトと一緒に、複数のカスタマイズ可能な視覚要素に関連付けられたグラフィカルオブジェクトを表示する)上述した方法は、(例えば、それらが複数のカスタマイズ可能なオブジェクトに関連付けられているかどうかに関係なく、複数のグラフィカルオブジェクトから選択するオプションをユーザに提供することによって)異なるグラフィカルオブジェクトを選択する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、複数のグラフィカルオブジェクトに関連付けられていないグラフィカルオブジェクトにアクセスするためのユーザインタフェース、及び複数のグラフィカルオブジェクトに関連付けられたグラフィカルオブジェクトにアクセスするための別のユーザインタフェースにユーザがナビゲートする必要なしに、ユーザが同じユーザインタフェースからの複数のグラフィカルオブジェクトから選択することを可能にすることによって)ユーザデバイスインタフェースをより効率的にし、加えて、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、1つ以上の入力デバイスを介して、図6Bのユーザ入力603などの、仮想キーボード内の複数の選択可能な表現の個別の選択可能な表現を選択する第2のユーザ入力を受信し(798)、個別の選択可能な表現は、個別のグラフィカルオブジェクトに関連付けられている(例えば、仮想キーボード上の絵文字を選択するユーザ入力を受信する)。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(799)、個別のグラフィカルオブジェクトが複数のカスタマイズ可能な視覚要素に関連付けられており、かつ1つ以上の第1の基準が満たされているとの判定に従って(例えば、選択された絵文字が複数のカスタマイズ可能な視覚要素を有し、かつ、カスタマイズが完了していない、又はユーザ入力が所定の持続時間閾値より長い接触であるのいずれかの場合)、電子デバイスは、表示デバイスを介して、図6Fの多要素カスタマイズユーザインタフェース624などの、個別のグラフィカルオブジェクトの複数のカスタマイズ可能な視覚要素をカスタマイズするための選択可能なオプションと、選択されたオプションに基づいて複数のカスタマイズ可能な視覚要素を反映する個別のグラフィカルオブジェクトの個別の表現と、を含む、第1のカスタマイズユーザインタフェースを表示し(797)、個別のグラフィカルオブジェクトの個別の表現は、個別の表現をテキスト入力領域に挿入するように選択可能である(例えば、複数のカスタマイズ可能な視覚要素をカスタマイズするための複数のセクションと、ユーザのカスタマイズをプレビューし、カスタマイズされた絵文字をテキスト入力領域に挿入するように選択可能な個別の表現と、を含む、上述した多要素カスタマイズユーザインタフェースと同様のカスタマイズユーザインタフェースを表示する)。いくつかの実施形態では、個別のグラフィカルオブジェクトの複数のカスタマイズ可能な視覚要素をカスタマイズするための選択可能なオプションは、個別のグラフィカルオブジェクトをテキスト入力領域に挿入することなく、個別のグラフィカルオブジェクトをカスタマイズするように選択可能である。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(799)、個別のグラフィカルオブジェクトが1つのカスタマイズ可能な視覚要素のみに関連付けられており、かつ1つ以上の第2の基準が満たされているとの判定に従って(例えば、選択された絵文字が1つのカスタマイズ可能な視覚要素のみを有し、かつ、カスタマイズが完了していない、又はユーザ入力が所定の持続時間閾値より長い接触であるのいずれかの場合)、電子デバイスは、表示デバイスを介して、図6Dの単一要素カスタマイズユーザインタフェース618などの、1つのカスタマイズ可能な視覚要素のそれぞれの変形に対応するそれぞれの表現を含む第2のカスタマイズユーザインタフェースを表示し(795)、それぞれの変形に対応するそれぞれの表現は、個別のグラフィカルオブジェクトの1つのカスタマイズ可能な視覚要素をカスタマイズして、個別のグラフィカルオブジェクトをテキスト入力領域に挿入するように選択可能である(例えば、複数のカスタマイズ可能な視覚要素をカスタマイズするための複数のセクションを有さない単一要素カスタマイズユーザインタフェースを表示する)。
いくつかの実施形態では、単一要素カスタマイズユーザインタフェースは、単一の行に1つのカスタマイズ可能な視覚要素の複数の変形を表示する。いくつかの実施形態では、単一要素カスタマイズユーザインタフェースは、ユーザのカスタマイズをプレビューする個別の表現を含まない。いくつかの実施形態では、選択された絵文字がカスタマイズされていない(例えば、変形が選択されていない)場合、接触のリフトオフを検出すると、単一要素カスタマイズユーザインタフェースの表示は、維持される。いくつかの実施形態では、複数の変形の個別の変形の選択により、個別の変形のテキスト入力領域への挿入を引き起こす(例えば、プレビューを更新することとは対照的に、プレビューは、複数のカスタマイズ可能な要素を有するグラフィカルオブジェクトの場合のように、挿入を引き起こすように選択可能である)。いくつかの実施形態では、選択された絵文字が既にカスタマイズされている(例えば、ユーザが1つのカスタマイズ可能な視覚要素に対する変形のうちの1つを以前に選択している)場合、接触のリフトオフを検出すると、絵文字は、テキスト入力領域に挿入され、単一要素カスタマイズユーザインタフェースは、却下される(例えば、単一要素カスタマイズユーザインタフェースは、ユーザ入力がタッチスクリーンに接触している間のみ表示される)。いくつかの実施形態では、挿入される絵文字は、絵文字の以前に選択された変形である。いくつかの実施形態では、接触が複数の変形の個別の変形に移動した場合、リフトオフ時に、挿入される絵文字は、個別の変形である。
いくつかの実施形態では、第2のユーザ入力を受信したことに応じて(799)、個別のグラフィカルオブジェクトが任意のカスタマイズ可能な視覚要素に関連付けられていないとの判定に従って(例えば、選択された絵文字が任意のカスタマイズ可能な視覚要素を有さない場合)、電子デバイスは、図6Cで絵文字608-1をキャラクタ614-1としてテキスト入力領域604に挿入するようになど、表示デバイスを介してカスタマイズユーザインタフェースを表示することなく、個別のグラフィカルオブジェクトを第1のテキスト入力領域に挿入する(793)(例えば、カスタマイズユーザインタフェースを表示することなく、選択された絵文字をテキスト入力領域に挿入する)。いくつかの実施形態では、ユーザ入力が所定の持続時間閾値より長い接触である場合、ポップアップが表示される。いくつかの実施形態では、ポップアップは、選択された絵文字の表現を含む。いくつかの実施形態では、接触のリフトオフを検出すると、絵文字は、テキスト入力領域に挿入される。いくつかの実施形態では、ポップアップは、絵文字をカスタマイズするための任意の選択可能なオプションを含まない。いくつかの実施形態では、ポップアップは、単に、挿入される絵文字のより大きな(例えば、仮想キーボード内の絵文字の表示よりも大きい)プレビューをユーザに提供する。
(例えば、仮想キーボード上のグラフィカルオブジェクト上のユーザ入力を受信して、グラフィカルオブジェクトが複数のカスタマイズ可能な要素に関連付けられている場合に多要素カスタマイズユーザインタフェース、グラフィカルオブジェクトが1つのカスタマイズ可能な要素のみに関連付けられている場合に単一要素カスタマイズユーザインタフェースを表示する、又はグラフィカルオブジェクトが任意のカスタマイズ可能な要素に関連付けられていない場合にグラフィカルオブジェクトを単に挿入することによって)グラフィカルオブジェクトをカスタマイズ及び挿入する上述した方法は、(例えば、選択されたグラフィカルオブジェクトをカスタマイズすることができるかどうか及びどれくらいカスタマイズが利用可能であるかを判定して、適切なカスタマイズユーザインタフェースを自動的に表示する(又は表示しない)ことによって)グラフィカルオブジェクトを挿入し、必要な場合にのみカスタマイズオプションを提示する迅速かつ効率的な方法を提供し、これにより、ユーザと電子デバイスとの間の対話を簡略化し、電子デバイスの操作性を向上させ、(例えば、特定のグラフィカルオブジェクトがカスタマイズをサポートしているかどうかをユーザが別個に判定して、カスタマイズをサポートするグラフィカルオブジェクトをカスタマイズ及び/又は挿入するための別個のユーザインタフェースにナビゲートするために、追加の入力を実行する必要なしに、カスタマイズが利用可能な場合に適切なカスタマイズユーザインタフェースを自動的に提示する、又はカスタマイズが利用可能でない場合にグラフィカルオブジェクトを挿入することによって)ユーザデバイスインタフェースをより効率的にし、加えて、デバイスの使用の誤りを削減しながら、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減して電子デバイスのバッテリ寿命を改善する。
図7A~図7Mにおける動作について記載された特定の順序は、単なる例示であり、記載された順序が動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
上述の情報処理方法における動作は、汎用プロセッサ(例えば、図1A~図1B、図3、図5A~図5Hに関して記載したような)又は特定用途向けチップなどの情報処理装置内の1つ以上の機能モジュールを実行することによって任意選択的に実施される。更に、図7A~図7Mを参照して上述した動作は、図1A~図1Bに示す構成要素によって任意選択的に実施される。例えば、表示する動作702、708、740、750、752、770、797、及び795、並びに、受信する動作704、730、734、738、746、758、764、792、及び798は、任意選択的に、イベントソータ170、イベント認識部180、及びイベント処理部190によって実施される。対応する既定のイベント又はサブイベントが検出されると、イベント認識部180は、そのイベント又はサブイベントの検出に関連付けられたイベント処理部190をアクティブ化する。イベント処理部190は、アプリケーション内部状態192を更新するために、データ更新部176又はオブジェクト更新部177を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベント処理部190は、アプリケーションにより表示されるものを更新するために、対応するGUI更新部178にアクセスする。同様に、当業者にとって、他のプロセスが、図1A~1Bに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
上述したように、本技術の一態様は、グラフィカルオブジェクトのカスタマイズを容易にするために、特定かつ正当なソースから利用可能なデータを収集して使用することを潜在的に含む。本開示は、場合によっては、この収集されたデータが、特定の人物を一意的に特定する、又は特定するために使用できる、個人情報データを含み得ることを想到している。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、オンライン識別子、使用履歴、皮膚の色調(又は他の視覚的外観情報)、皮膚の色調(又は他の視覚的外観)の選好、カスタマイズ選好、又は任意の他の個人情報などを挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、仮想キーボードを使用した電子デバイスとの対話に関する動作(例えば、仮想キーボードを使用したグラフィカルオブジェクトのカスタマイズ及び/又は挿入)を自動的に実行するために使用することができる。したがって、そのような個人情報データを使用することにより、ユーザは、グラフィカルオブジェクトに関するアクションを実行するために、より少ない入力を入力することが可能となる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、ユーザのカスタマイズ選択を使用して、ユーザへの提案されるカスタマイズを生成することができる。
本開示は、そのような個人情報データの収集、分析、開示、転送、記憶、又は他の使用に関与するそれらエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到している。具体的には、そのようなエンティティは、ユーザのプライバシーを維持するための業界又は政府の要件を満たす又は上回ると一般に認識されるプライバシー慣行を実現し、一貫して適用することが予想されるであろう。個人データの使用に関するそのような情報は目立つべきであり、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、正当な使用のためのみに収集されるべきである。更に、そのような収集/共有は、ユーザの承諾を受けた後に、又は適用可能な法律に明記された他の正当な根拠に基づいて行われるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、より高い基準を課す役割を担い得る管轄権固有の考慮事項を含めた、適用可能な法令及び基準に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律(HIPAA)などの、連邦法及び/又は州法によって管理されてもよく、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び/又はソフトウェア要素が提供され得ることを意図している。例えば、ユーザは、電子デバイスの発見又はプライバシー設定を変更するために、1つ以上の電子デバイスを構成することができる。例えば、ユーザは、特定の電子デバイスがユーザのカスタマイズ選択にアクセスする(例えば、かつ、カスタマイズ選択を別の電子デバイスに共有しない、かつ/又は選択をサーバに送信しない)ことのみを可能にする設定を選択することができる。別の実施例では、ユーザは、ユーザのカスタマイズ選択のプライバシーを管理することができる。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、かつ、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、識別子を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって集約すること)、及び/又は差分プライバシーなどの他の方法によって、容易にしてもよい。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分が欠如することにより、動作不可能にされるものではない。例えば、ユーザは、任意のカスタマイズ選択を提供する必要なしに、グラフィカルオブジェクトと対話し、グラフィカルオブジェクトをテキスト入力領域に挿入することができる。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (28)

  1. 表示デバイス及び1つ以上の入力デバイスと通信する電子デバイスにおいて、
    前記表示デバイスを介してユーザインタフェース内に、テキスト入力領域と、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む仮想キーボードとを表示することと、
    前記1つ以上の入力デバイスを介して、グラフィカルオブジェクトの前記複数の表現のうちの第1のグラフィカルオブジェクトであって、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素を含む複数のカスタマイズ可能な視覚要素に関連付けられている、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第1のユーザ入力を受信することと、
    前記第1のユーザ入力を受信したことに応じて、
    1つ以上の第1の基準が満たされているとの判定に従って、前記表示デバイスを介して、カスタマイズユーザインタフェースであって、
    前記第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションを含む第1のセクションと、
    前記第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションを含む第2のセクションと、
    前記第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す前記第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクションと、
    を含む、カスタマイズユーザインタフェースを表示することと、
    を含む、方法。
  2. 前記第1の個別の表現が、前記1つ以上の第1の選択可能なオプションに基づく前記第1のカスタマイズ可能な視覚要素、及び前記1つ以上の第2の選択可能なオプションに基づく前記第2のカスタマイズ可能な視覚要素を反映する、請求項1に記載の方法。
  3. 前記第1のグラフィカルオブジェクトの前記第1の個別の表現が、前記第1のカスタマイズ可能な視覚要素の表現と、前記第2のカスタマイズ可能な視覚要素の表現と、を含み、
    前記第1のカスタマイズ可能な視覚要素及び前記第2のカスタマイズ可能な視覚要素がカスタマイズされていないとの判定に従って、前記第1のカスタマイズ可能な視覚要素の前記表現及び前記第2のカスタマイズ可能な視覚要素の前記表現が、前記第1のカスタマイズ可能な視覚要素及び前記第2のカスタマイズ可能な視覚要素がカスタマイズされていないことを示す、プレースホルダ要素で表示される、
    請求項1又は2に記載の方法。
  4. 前記第1のグラフィカルオブジェクトの前記第1の個別の表現が前記第1のカスタマイズ可能な視覚要素及び前記第2のカスタマイズ可能な視覚要素に対するプレースホルダ要素で表示されている間に、前記1つ以上の入力デバイスを介して、前記カスタマイズユーザインタフェース内の個別の選択可能なオプションを選択する第2のユーザ入力を受信することと、
    前記個別の選択可能なオプションを選択する前記第2のユーザ入力を受信したことに応じて、
    前記個別の選択可能なオプションが、前記1つ以上の第1の選択可能なオプションの第1の選択可能なオプションであるとの判定に従って、前記第1のグラフィカルオブジェクトの前記第1の個別の表現を更新して、前記第1のカスタマイズ可能な視覚要素に対する前記プレースホルダ要素を前記第1の選択可能なオプションに対応する前記第1のカスタマイズ可能な視覚要素の第1の変形に置き換えることと、
    前記個別の選択可能なオプションが、前記1つ以上の第2の選択可能なオプションの第2の選択可能なオプションであるとの判定に従って、前記第1のグラフィカルオブジェクトの前記第1の個別の表現を更新して、前記第2のカスタマイズ可能な視覚要素に対する前記プレースホルダ要素を前記第2の選択可能なオプションに対応する前記第2のカスタマイズ可能な視覚要素の第1の変形に置き換えることと、
    を更に含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記第1の選択可能なオプションに対応する前記第1のカスタマイズ可能な視覚要素の前記第1の変形で前記第1のグラフィカルオブジェクトの前記第1の個別の表現を更新した後に、前記1つ以上の入力デバイスを介して、前記1つ以上の第1の選択可能なオプションの第3の選択可能なオプションを選択する第3のユーザ入力を受信することと、
    前記第3のユーザ入力を受信したことに応じて、前記第1のグラフィカルオブジェクトの前記第1の個別の表現を更新して、前記第1のカスタマイズ可能な視覚要素の前記第1の変形を前記第3の選択可能なオプションに対応する前記第1のカスタマイズ可能な視覚要素の前記第1の変形とは異なる第2の変形に置き換えることと、
    を更に含む、請求項4に記載の方法。
  6. 前記第1のグラフィカルオブジェクトの前記カスタマイズ状態が部分的なカスタマイズ状態であり、かつ前記第1のグラフィカルオブジェクトの前記第1の個別の表現が前記第1のカスタマイズ可能な視覚要素に対する第1の変形及び前記第2のカスタマイズ可能な視覚要素に対するプレースホルダ要素で表示されている間に、前記1つ以上の入力デバイスを介して、前記カスタマイズユーザインタフェースを却下する要求に対応する第2のユーザ入力を受信することと、
    前記第2のユーザ入力を受信したことに応じて、前記カスタマイズユーザインタフェースの表示を中止することと、
    前記カスタマイズユーザインタフェースの前記表示を中止した後に、かつ前記第1のグラフィカルオブジェクトの前記カスタマイズ状態が前記部分的なカスタマイズ状態である間に、前記1つ以上の入力デバイスを介して、前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現を選択する第3のユーザ入力を受信することと、
    前記第3のユーザ入力を受信したことに応じて、前記表示デバイスを介して、前記カスタマイズユーザインタフェースであって、前記第1のグラフィカルオブジェクトの前記第1の個別の表現が、前記第1のカスタマイズ可能な視覚要素に対する前記第1の変形及び前記第2のカスタマイズ可能な視覚要素に対する前記プレースホルダ要素で前記カスタマイズユーザインタフェース内に表示される、前記カスタマイズユーザインタフェースを表示することと、
    を更に含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記複数のカスタマイズ可能な視覚要素が第3のカスタマイズ可能な視覚要素を含むとの判定に従って、前記カスタマイズユーザインタフェースが、前記第3のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第3の選択可能なオプションを含む第4のセクションを含む、
    請求項1から6のいずれか一項に記載の方法。
  8. 前記カスタマイズユーザインタフェースが、前記第1のカスタマイズ可能な視覚要素及び前記第2のカスタマイズ可能な視覚要素の既定の変形に対応する前記第1のグラフィカルオブジェクトの第2の個別の表現を含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記第1のグラフィカルオブジェクトの前記カスタマイズ状態が完了したカスタマイズ状態ではない間に、前記1つ以上の入力デバイスを介して、前記第1のグラフィカルオブジェクトの前記第1の個別の表現を選択する第2のユーザ入力を受信することと、
    前記第2のユーザ入力を受信したことに応じて、
    前記第1のカスタマイズ可能な視覚要素がカスタマイズされていないとの判定に従って、前記表示デバイスを介して、前記第1のカスタマイズ可能な視覚要素がカスタマイズされていないという視覚的インジケーションを表示することと、
    前記第2のカスタマイズ可能な視覚要素がカスタマイズされていないとの判定に従って、前記表示デバイスを介して、前記第2のカスタマイズ可能な視覚要素がカスタマイズされていないという視覚的インジケーションを表示することと、
    を更に含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記第1のカスタマイズ可能な視覚要素がカスタマイズされていないという前記視覚的インジケーションが、前記第1のカスタマイズ可能な視覚要素をカスタマイズするための前記1つ以上の第1の選択可能なオプションの視覚的特性の変化をアニメーション化することを含み、
    前記第2のカスタマイズ可能な視覚要素がカスタマイズされていないという前記視覚的インジケーションが、前記第2のカスタマイズ可能な視覚要素をカスタマイズするための前記1つ以上の第2の選択可能なオプションの視覚的特性の変化をアニメーション化することを含む、
    請求項9に記載の方法。
  11. 前記第1のグラフィカルオブジェクトの前記カスタマイズ状態が、前記第1のカスタマイズ可能な視覚要素の個別の変形及び前記第2のカスタマイズ可能な視覚要素の個別の変形が選択されている完了したカスタマイズ状態である間に、前記1つ以上の入力デバイスを介して、前記第1のグラフィカルオブジェクトの前記第1の個別の表現を選択する第2のユーザ入力を受信することと、
    前記第2のユーザ入力を受信したことに応じて、前記第1のカスタマイズ可能な視覚要素の前記個別の変形及び前記第2のカスタマイズ可能な視覚要素の前記個別の変形を有する前記第1のグラフィカルオブジェクトを前記テキスト入力領域に挿入することと、
    を更に含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記第1のグラフィカルオブジェクトの前記第1の個別の表現を選択する前記第2のユーザ入力を受信した後に、前記仮想キーボード内の前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現を更新して、前記第1のカスタマイズ可能な視覚要素の前記個別の変形及び前記第2のカスタマイズ可能な視覚要素の前記個別の変形を有する前記第1のグラフィカルオブジェクトの表現を表示すること、
    を更に含む、請求項11に記載の方法。
  13. 前記第1のグラフィカルオブジェクトの前記カスタマイズ状態が完了したカスタマイズ状態である間に、前記1つ以上の入力デバイスを介して、前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現を選択する第2のユーザ入力を受信することと、
    前記第2のユーザ入力を受信したことに応じて、
    前記第2のユーザ入力が、所定の持続時間閾値よりも短い前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現の選択を含むとの判定に従って、前記カスタマイズユーザインタフェースを表示することなく、前記第1のグラフィカルオブジェクトを前記テキスト入力領域に挿入することと、
    前記第2のユーザ入力が、前記所定の持続時間閾値よりも長い前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現の選択を含むとの判定に従って、前記表示デバイスを介して、前記第1のグラフィカルオブジェクトを前記テキスト入力領域に挿入することなく、前記カスタマイズユーザインタフェースを表示することと、
    を更に含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記第1のグラフィカルオブジェクトを前記テキスト入力領域に挿入することが、
    前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現が前記第1のカスタマイズ可能な視覚要素及び前記第2のカスタマイズ可能な視覚要素に対するデフォルト変形で表示されているとの判定に従って、前記デフォルト変形を有する前記第1のグラフィカルオブジェクトを前記第1のテキスト入力領域に挿入することと、
    前記第1のグラフィカルオブジェクトの前記第1の選択可能な表現が前記第1のカスタマイズ可能な視覚要素及び前記第2のカスタマイズ可能な視覚要素に対するカスタマイズされた変形で表示されているとの判定に従って、前記カスタマイズされた変形を有する前記第1のグラフィカルオブジェクトを前記第1のテキスト入力領域に挿入することと、
    を含む、請求項13に記載の方法。
  15. 前記第1のユーザ入力が、前記1つ以上の入力デバイスのタッチ感知面からの接触のタッチダウン及びリフトオフを含み、前記カスタマイズユーザインタフェースが、前記タッチ感知面上の前記接触の前記タッチダウン後に、かつ前記タッチ感知面からの前記接触の前記リフトオフの前に表示され、前記方法が、
    前記カスタマイズユーザインタフェースを表示している間に、前記タッチ感知面からの前記接触の前記リフトオフを検出することと、
    前記タッチ感知面からの前記接触の前記リフトオフを検出したことに応じて、前記表示デバイスを介して、前記カスタマイズユーザインタフェースの表示を維持することと、
    を更に含む、請求項1から14のいずれか一項に記載の方法。
  16. 前記カスタマイズユーザインタフェースが、前記テキスト入力領域及び前記仮想キーボードを含む前記ユーザインタフェースの上に重ね合わされる、請求項1から15のいずれか一項に記載の方法。
  17. 前記カスタマイズユーザインタフェースが前記表示デバイスの表示領域の所定量未満を包含するとの判定に従って、前記カスタマイズユーザインタフェースが、前記テキスト入力領域及び前記仮想キーボードを含む前記ユーザインタフェースの上に重ね合わされ、
    前記カスタマイズユーザインタフェースが前記表示デバイスの前記表示領域の前記所定量よりも多くを包含するとの判定に従って、前記カスタマイズユーザインタフェースが、前記ユーザインタフェースの前記表示を置き換える、
    請求項1から16のいずれか一項に記載の方法。
  18. 前記カスタマイズユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記カスタマイズユーザインタフェースの外側の位置に対応する第2のユーザ入力を受信することと、
    前記第2のユーザ入力を受信したことに応じて、前記カスタマイズユーザインタフェースの表示を中止することと、
    を更に含む、請求項1から17のいずれか一項に記載の方法。
  19. 前記仮想キーボードに含まれる前記複数のグラフィカルオブジェクトの前記複数の選択可能な表現が、第2のグラフィカルオブジェクトの第2の選択可能な表現を更に含み、前記第2のグラフィカルオブジェクトが、複数のカスタマイズ可能な視覚要素に関連付けられていない、請求項1から18のいずれか一項に記載の方法。
  20. 前記1つ以上の入力デバイスを介して、前記仮想キーボード内の前記複数の選択可能な表現の個別の選択可能な表現であって、個別のグラフィカルオブジェクトに関連付けられている、個別の選択可能な表現を選択する第2のユーザ入力を受信することと、
    前記第2のユーザ入力を受信したことに応じて、
    前記個別のグラフィカルオブジェクトが複数のカスタマイズ可能な視覚要素に関連付けられており、かつ前記1つ以上の第1の基準が満たされているとの判定に従って、前記表示デバイスを介して、前記個別のグラフィカルオブジェクトの前記複数のカスタマイズ可能な視覚要素をカスタマイズするための選択可能なオプションと、前記選択可能なオプションに基づいて前記複数のカスタマイズ可能な視覚要素を反映する前記個別のグラフィカルオブジェクトの個別の表現であって、前記個別の表現を前記テキスト入力領域に挿入するように選択可能である、前記個別のグラフィカルオブジェクトの個別の表現と、を含む、第1のカスタマイズユーザインタフェースを表示することと、
    前記個別のグラフィカルオブジェクトが1つのカスタマイズ可能な視覚要素のみに関連付けられており、かつ1つ以上の第2の基準が満たされているとの判定に従って、前記表示デバイスを介して、前記1つのカスタマイズ可能な視覚要素のそれぞれの変形に対応するそれぞれの表現であって、前記個別のグラフィカルオブジェクトの前記1つのカスタマイズ可能な視覚要素をカスタマイズし、前記個別のグラフィカルオブジェクトを前記テキスト入力領域に挿入するように選択可能である、それぞれの変形に対応するそれぞれの表現を含む第2のカスタマイズユーザインタフェースを表示することと、
    前記個別のグラフィカルオブジェクトが任意のカスタマイズ可能な視覚要素に関連付けられていないとの判定に従って、前記表示デバイスを介してカスタマイズユーザインタフェースを表示することなく、前記個別のグラフィカルオブジェクトを前記第1のテキスト入力領域に挿入することと、
    を更に含む、請求項19に記載の方法。
  21. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、
    を備える、電子デバイスであって、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、
    表示デバイスを介してユーザインタフェース内に、テキスト入力領域と、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む仮想キーボードとを表示し、
    1つ以上の入力デバイスを介して、グラフィカルオブジェクトの前記複数の表現のうちの第1のグラフィカルオブジェクトであって、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素を含む複数のカスタマイズ可能な視覚要素に関連付けられている、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第1のユーザ入力を受信し、
    前記第1のユーザ入力を受信したことに応じて、
    1つ以上の第1の基準が満たされているとの判定に従って、前記表示デバイスを介して、カスタマイズユーザインタフェースであって、
    前記第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションを含む第1のセクションと、
    前記第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションを含む第2のセクションと、
    前記第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す前記第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクションと、
    を含む、カスタマイズユーザインタフェースを表示する、
    命令を含む、電子デバイス。
  22. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
    表示デバイスを介してユーザインタフェース内に、テキスト入力領域と、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む仮想キーボードとを表示することと、
    1つ以上の入力デバイスを介して、グラフィカルオブジェクトの前記複数の表現のうちの第1のグラフィカルオブジェクトであって、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素を含む複数のカスタマイズ可能な視覚要素に関連付けられている、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第1のユーザ入力を受信することと、
    前記第1のユーザ入力を受信したことに応じて、
    1つ以上の第1の基準が満たされているとの判定に従って、前記表示デバイスを介して、カスタマイズユーザインタフェースであって、
    前記第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションを含む第1のセクションと、
    前記第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションを含む第2のセクションと、
    前記第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す前記第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクションと、
    を含む、カスタマイズユーザインタフェースを表示することと、
    を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。
  23. 1つ以上のプロセッサと、
    メモリと、
    表示デバイスを介してユーザインタフェース内に、テキスト入力領域と、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む仮想キーボードとを表示する手段と、
    1つ以上の入力デバイスを介して、グラフィカルオブジェクトの前記複数の表現のうちの第1のグラフィカルオブジェクトであって、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素を含む複数のカスタマイズ可能な視覚要素に関連付けられている、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第1のユーザ入力を受信する手段と、
    前記第1のユーザ入力を受信したことに応じて、
    1つ以上の第1の基準が満たされているとの判定に従って、前記表示デバイスを介して、カスタマイズユーザインタフェースであって、
    前記第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションを含む第1のセクションと、
    前記第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションを含む第2のセクションと、
    前記第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す前記第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクションと、
    を含む、カスタマイズユーザインタフェースを表示する手段と、
    を備える、電子デバイス。
  24. 電子デバイスで使用するための情報処理装置であって、
    表示デバイスを介してユーザインタフェース内に、テキスト入力領域と、複数のグラフィカルオブジェクトの複数の選択可能な表現を含む仮想キーボードとを表示する手段と、
    1つ以上の入力デバイスを介して、グラフィカルオブジェクトの前記複数の表現のうちの第1のグラフィカルオブジェクトであって、第1のカスタマイズ可能な視覚要素及び第2のカスタマイズ可能な視覚要素を含む複数のカスタマイズ可能な視覚要素に関連付けられている、第1のグラフィカルオブジェクトの第1の選択可能な表現を選択する第1のユーザ入力を受信する手段と、
    前記第1のユーザ入力を受信したことに応じて、
    1つ以上の第1の基準が満たされているとの判定に従って、前記表示デバイスを介して、カスタマイズユーザインタフェースであって、
    前記第1のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第1の選択可能なオプションを含む第1のセクションと、
    前記第2のカスタマイズ可能な視覚要素をカスタマイズするための1つ以上の第2の選択可能なオプションを含む第2のセクションと、
    前記第1のグラフィカルオブジェクトの現在のカスタマイズ状態を示す前記第1のグラフィカルオブジェクトの第1の個別の表現を表示するための第3のセクションと、
    を含む、カスタマイズユーザインタフェースを表示する手段と、
    を備える、情報処理装置。
  25. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、
    を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項1から20のいずれか一項に記載の方法を実行する命令を含む、
    電子デバイス。
  26. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項1から20のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
  27. 1つ以上のプロセッサと、
    メモリと、
    請求項1から20のいずれか一項に記載の方法を実行する手段と、
    を備える、電子デバイス。
  28. 電子デバイスで使用するための情報処理装置であって、
    請求項1から20のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
JP2022519025A 2019-09-27 2020-09-14 グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース Active JP7349566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023147066A JP2023175770A (ja) 2019-09-27 2023-09-11 グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962907437P 2019-09-27 2019-09-27
US62/907,437 2019-09-27
PCT/US2020/050755 WO2021061435A1 (en) 2019-09-27 2020-09-14 User interfaces for customizing graphical objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023147066A Division JP2023175770A (ja) 2019-09-27 2023-09-11 グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2022550732A true JP2022550732A (ja) 2022-12-05
JP7349566B2 JP7349566B2 (ja) 2023-09-22

Family

ID=72659368

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022519025A Active JP7349566B2 (ja) 2019-09-27 2020-09-14 グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース
JP2023147066A Pending JP2023175770A (ja) 2019-09-27 2023-09-11 グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023147066A Pending JP2023175770A (ja) 2019-09-27 2023-09-11 グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース

Country Status (7)

Country Link
US (2) US11868592B2 (ja)
EP (1) EP4034980A1 (ja)
JP (2) JP7349566B2 (ja)
KR (1) KR20220050187A (ja)
CN (1) CN114514497A (ja)
AU (2) AU2020356289B2 (ja)
WO (1) WO2021061435A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD818497S1 (en) * 2015-01-06 2018-05-22 King.Com Limited Display screen with icon
EP3788775B1 (en) * 2018-05-02 2021-09-22 Telefonaktiebolaget LM Ericsson (publ) User equipment, method by a user equipment, and network node
US11416670B2 (en) * 2020-03-02 2022-08-16 Jocelyn Bruno Method of generating stylized text messages
US11609640B2 (en) 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
US11531406B2 (en) 2021-04-20 2022-12-20 Snap Inc. Personalized emoji dictionary
US11593548B2 (en) * 2021-04-20 2023-02-28 Snap Inc. Client device processing received emoji-first messages
US11888797B2 (en) 2021-04-20 2024-01-30 Snap Inc. Emoji-first messaging
US11601387B2 (en) * 2021-06-08 2023-03-07 Microsoft Technology Licensing, Llc Generating composite images by combining subsequent data
US11568131B1 (en) 2021-11-11 2023-01-31 Microsoft Technology Licensing, Llc Command based personalized composite templates
US11635871B1 (en) 2021-11-11 2023-04-25 Microsoft Technology Licensing, Llc Command based personalized composite icons
US20230359325A1 (en) * 2022-05-05 2023-11-09 Adobe Inc. User interface for editing of a composite document through intelligently zoomed previews

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019885A1 (en) * 2012-07-13 2014-01-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20170083174A1 (en) * 2015-09-21 2017-03-23 Microsoft Technology Licensing, Llc Facilitating Selection of Attribute Values for Graphical Elements
JP2019050049A (ja) * 2018-12-12 2019-03-28 株式会社コロプラ 感情テキスト表示プログラム、方法およびシステム
US20190260702A1 (en) * 2018-02-22 2019-08-22 Mercury Universe Llc Method and system for creating a mercemoji

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6323846B1 (en) 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7913176B1 (en) * 2003-03-03 2011-03-22 Aol Inc. Applying access controls to communications with avatars
US8171084B2 (en) * 2004-01-20 2012-05-01 Microsoft Corporation Custom emoticons
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8166418B2 (en) * 2006-05-26 2012-04-24 Zi Corporation Of Canada, Inc. Device and method of conveying meaning
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US9614685B2 (en) 2009-03-09 2017-04-04 Nokia Technologies Oy Methods, apparatuses, and computer program products for facilitating synchronization of setting configurations
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US8620850B2 (en) * 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
KR20120080922A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR101956082B1 (ko) * 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10613743B2 (en) 2012-05-09 2020-04-07 Apple Inc. User interface for receiving user input
US20150286371A1 (en) * 2012-10-31 2015-10-08 Aniways Advertising Solutions Ltd. Custom emoticon generation
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
IL226047A (en) * 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US9250780B2 (en) * 2013-10-28 2016-02-02 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
JP6484079B2 (ja) * 2014-03-24 2019-03-13 株式会社 ハイディープHiDeep Inc. 感性伝達方法及びそのための端末機
WO2015175240A1 (en) * 2014-05-15 2015-11-19 Narvii Inc. Systems and methods implementing user interface objects
KR20150142462A (ko) * 2014-06-12 2015-12-22 삼성전자주식회사 전자 장치 및 그 제어 방법
US20160259502A1 (en) * 2014-09-10 2016-09-08 Katrina Parrott Diverse emojis/emoticons
KR101624454B1 (ko) * 2015-01-22 2016-05-25 서용창 홀로그램 영상 기반 메시지 서비스 제공 방법 및 사용자 단말, 그리고 홀로그램 영상 표시 장치
CN105119812B (zh) * 2015-08-26 2018-05-18 小米科技有限责任公司 在聊天界面更改表情符号的方法、装置及终端设备
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
WO2017075515A1 (en) 2015-10-30 2017-05-04 Loji, Llc Interactive icons with embedded functionality used in text messages
EP3398082A1 (en) 2015-12-29 2018-11-07 Mz Ip Holdings, Llc Systems and methods for suggesting emoji
US11494547B2 (en) 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170308289A1 (en) 2016-04-20 2017-10-26 Google Inc. Iconographic symbol search within a graphical keyboard
US20170308290A1 (en) 2016-04-20 2017-10-26 Google Inc. Iconographic suggestions within a keyboard
US20170308293A1 (en) * 2016-04-25 2017-10-26 Kapps Media LLC Systems and methods for dynamically updating virtual mobile keyboards
US10331336B2 (en) 2016-05-18 2019-06-25 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US20170353842A1 (en) 2016-06-07 2017-12-07 Nuance Communications, Inc. Secure communications via a mobile keyboard application of a mobile device
US10607386B2 (en) * 2016-06-12 2020-03-31 Apple Inc. Customized avatars and associated framework
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US10504260B2 (en) * 2016-08-09 2019-12-10 Pegge Vissicaro Keyboard with in-line user created emojis
US20180068475A1 (en) * 2016-09-08 2018-03-08 Tenor, Inc. Dynamic ad hoc generation of customizable image-based files on computing device displays over interactive data networks
US20180173692A1 (en) 2016-12-19 2018-06-21 Google Inc. Iconographic symbol predictions for a conversation
US10298522B2 (en) 2017-04-10 2019-05-21 Amojee, Inc. Messaging including custom characters with tags localized to language of user receiving message
US20180329622A1 (en) 2017-05-12 2018-11-15 Apple Inc. Portable Computing Input Devices and Methods
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10540018B2 (en) 2017-06-05 2020-01-21 Facebook, Inc. Systems and methods for multilingual emoji search
CN107566243B (zh) * 2017-07-11 2020-07-24 阿里巴巴集团控股有限公司 一种基于即时通信的图片发送方法和设备
US10748322B1 (en) 2017-10-13 2020-08-18 Umojify, Inc. Systems and methods for generating cartoon images from images
US10348659B1 (en) * 2017-12-21 2019-07-09 International Business Machines Corporation Chat message processing
US11334376B2 (en) 2018-02-13 2022-05-17 Samsung Electronics Co., Ltd. Emotion-aw are reactive interface
US10706271B2 (en) 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
CN109271223A (zh) * 2018-09-05 2019-01-25 Oppo广东移动通信有限公司 窗口切换方法、装置、终端及计算机可读存储介质
US10922449B2 (en) * 2018-11-21 2021-02-16 Best Apps, Llc Computer aided systems and methods for creating custom products
KR20200101208A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
US20200301566A1 (en) 2019-03-22 2020-09-24 Microsoft Technology Licensing, Llc Environmental context based emoji selection in computing devices
US11209964B1 (en) 2020-06-05 2021-12-28 SlackTechnologies, LLC System and method for reacting to messages
US11609640B2 (en) 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
US11290408B2 (en) 2020-08-28 2022-03-29 Slack Technologies, Llc Rendering custom emojis in cross-organization communications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140019885A1 (en) * 2012-07-13 2014-01-16 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20170083174A1 (en) * 2015-09-21 2017-03-23 Microsoft Technology Licensing, Llc Facilitating Selection of Attribute Values for Graphical Elements
US20190260702A1 (en) * 2018-02-22 2019-08-22 Mercury Universe Llc Method and system for creating a mercemoji
JP2019050049A (ja) * 2018-12-12 2019-03-28 株式会社コロプラ 感情テキスト表示プログラム、方法およびシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANO SARA, [IPHONEの使い方]人の絵文字の肌色変更の方法! 2019年には59類の種新絵文字が追加予定なの, JPN6023018297, 10 March 2019 (2019-03-10), JP, ISSN: 0005054903 *

Also Published As

Publication number Publication date
US20210096729A1 (en) 2021-04-01
US11868592B2 (en) 2024-01-09
JP7349566B2 (ja) 2023-09-22
JP2023175770A (ja) 2023-12-12
CN114514497A (zh) 2022-05-17
AU2020356289A1 (en) 2022-04-07
US20240086047A1 (en) 2024-03-14
AU2020356289B2 (en) 2023-08-31
AU2023270188A1 (en) 2023-12-14
KR20220050187A (ko) 2022-04-22
WO2021061435A1 (en) 2021-04-01
EP4034980A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
KR102386734B1 (ko) 전자 디바이스 상의 시스템 사용자 인터페이스들에 대한 액세스
JP7349566B2 (ja) グラフィカルオブジェクトをカスタマイズするためのユーザインタフェース
US20230252659A1 (en) Displaying and editing images with depth information
US11144176B2 (en) User interfaces for electronic voice communications
CN117369635A (zh) 用于伴有动态反馈的媒体控制的方法和界面
CN112262560B (zh) 用于更新外部设备的网络连接设置的用户界面的方法、电子设备和非暂态计算机可读存储介质
US11609640B2 (en) Emoji user interfaces
US11888796B2 (en) User interfaces for messaging conversations
JP2023036715A (ja) グラフィカルユーザインタフェースのためのメディアキャプチャロックアフォーダンス
US11800001B2 (en) User interfaces for presenting indications of incoming calls
WO2021247446A1 (en) User interfaces for transitioning between selection modes
US20240163358A1 (en) User interfaces for presenting indications of incoming calls
US20230395082A1 (en) Methods and user interfaces for managing audio channels
US20240143553A1 (en) User interfaces for messages and shared documents
US20230393719A1 (en) Sticker creation for messaging
US20230376193A1 (en) User interfaces for device controls

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7349566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150