JP2019128941A - Devices, methods and graphical user interfaces for system-wide behavior for 3d models - Google Patents
Devices, methods and graphical user interfaces for system-wide behavior for 3d models Download PDFInfo
- Publication number
- JP2019128941A JP2019128941A JP2018183940A JP2018183940A JP2019128941A JP 2019128941 A JP2019128941 A JP 2019128941A JP 2018183940 A JP2018183940 A JP 2018183940A JP 2018183940 A JP2018183940 A JP 2018183940A JP 2019128941 A JP2019128941 A JP 2019128941A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- representation
- input
- cameras
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
Description
［関連出願］
本願は、参照によりその全体を本明細書に組み込む、２０１８年１月２４日出願の米国仮許出願第６２／６２１５２９号に関する。
[Related Application]
This application is related to US Provisional Application No. 62 / 621,529, filed January 24, 2018, which is incorporated herein by reference in its entirety.
［技術分野］
本発明は、一般に、限定されるわけではないが様々な状況で仮想オブジェクトを表示する電子デバイスなど、仮想オブジェクトを表示する電子デバイスに関する。
[Technical field]
The present invention relates generally to electronic devices that display virtual objects, such as, but not limited to, electronic devices that display virtual objects in various situations.
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。仮想／拡張現実環境と対話するには、コンピュータシステム及び他の電子コンピューティングデバイスのタッチ感知面などの入力デバイスを使用する。例示的なタッチ感知面としては、タッチパッド、タッチ感知遠隔制御装置、及びタッチスクリーンディスプレイが挙げられる。これらの表面を使用して、ディスプレイ上で、ユーザーインターフェース及びその中のオブジェクトを操作する。例示的なユーザーインターフェースオブジェクトは、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む。 Development of computer systems for augmented reality has made significant progress in recent years. An exemplary augmented reality environment includes at least some virtual elements that replace or enhance the physical world. To interact with the virtual / augmented reality environment, use input devices such as touch sensitive surfaces of computer systems and other electronic computing devices. Exemplary touch sensitive surfaces include touch pads, touch sensitive remote controls, and touch screen displays. These surfaces are used to manipulate the user interface and objects therein on a display. Exemplary user interface objects include digital images, videos, text, icons, and control elements such as buttons and other graphics.
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、混合現実環境、及び仮想現実環境）と対話する方法及びインターフェースは、煩雑で、非効率で、限定されたものである。例えば、拡張現実環境で仮想オブジェクトを向き及び位置決めするために一連の入力を使用すると、時間がかかり、かなりの認知上の負担がユーザーにかかり、仮想／拡張現実環境のエクスペリエンスが損なわれる。更に、これらの方法は、必要以上に時間がかかり、それによりエネルギーを浪費する。後者の問題は、バッテリ動作デバイスにおいては特に重要である。 However, methods and interfaces that interact with environments (eg, applications, augmented reality environments, mixed reality environments, and virtual reality environments) that include at least some virtual elements are cumbersome, inefficient, and limited. For example, using a series of inputs to orient and position virtual objects in an augmented reality environment is time consuming, places a significant cognitive burden on the user, and compromises the virtual / augmented reality environment experience. Furthermore, these methods take longer than necessary, thereby wasting energy. The latter problem is particularly important in battery operated devices.
したがって、仮想オブジェクトと対話するための改善された方法及びインターフェースを備えたコンピュータシステムが必要とされている。このような方法及びインターフェースは、任意選択的に、仮想オブジェクトと対話するための従来の方法を補完する、又はこれらに取って代わるものである。このような方法及びインターフェースは、ユーザーからの入力の数、範囲、及び／又は種類を減少させ、より効率的な人間機械インターフェースを生成する。バッテリ動作デバイスでは、このような方法及びインターフェースにより、電力が節約され、バッテリの充電間の時間が長くなる。 Therefore, there is a need for a computer system with an improved method and interface for interacting with virtual objects. Such methods and interfaces optionally complement or replace conventional methods for interacting with virtual objects. Such methods and interfaces reduce the number, range, and / or types of input from the user, creating a more efficient human-machine interface. In battery operated devices, such a method and interface saves power and increases the time between battery charges.
仮想オブジェクトと対話するためのインターフェース（例えば、拡張現実（ＡＲ）のためのユーザーインターフェース及び関連する非ＡＲインターフェース）に関連する上記の不具合及びその他の問題は、開示するコンピュータシステムによって軽減又は解消される。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計などのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」とも呼ばれる）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザーインターフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザーは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと対話する。いくつかの実施形態では、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。これらの機能を実行するための実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体、又は１つ以上のプロセッサによって実行されるように構成されたその他のコンピュータプログラム製品に含まれる。 The above problems and other problems associated with interfaces for interacting with virtual objects (eg, user interfaces for augmented reality (AR) and related non-AR interfaces) are mitigated or eliminated by the disclosed computer system . In some embodiments, the computer system includes a desktop computer. In some embodiments, the computer system is portable (eg, a notebook computer, a tablet computer, or a handheld device). In some embodiments, the computer system includes a personal electronic device (eg, a wearable electronic device such as a watch). In some embodiments, the computer system has (and / or is in communication with) a touchpad. In some embodiments, the computer system has (and / or is in communication with) a touch-sensitive display (also referred to as a “touch screen” or “touch screen display”). In some embodiments, a computer system includes a graphical user interface (GUI), one or more processors, memory, and one or more modules, programs, or instructions stored in memory for performing multiple functions. Have a set. In some embodiments, the user interacts with the GUI, in part, through stylus and / or finger contacts and gestures on the touch sensitive surface. In some embodiments, the functions optionally, gameplay, image editing, drawing, presenting, word processing, spreadsheet creation, telephone, video conferencing, email, instant messaging, training support, digital photography Digital video shooting, web browsing, digital music playback, note taking, and / or digital video playback. Executable instructions for performing these functions are optionally included in a non-transitory computer readable storage medium or other computer program product configured to be executed by one or more processors.
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上における仮想オブジェクトの表現に対応したタッチ感知面上の場所で接触による第１の入力を検出することを含む。この方法は、また、接触による第１の入力を検出したことに応答して、接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域の少なくとも一部分の表示を１つ以上のカメラの視野の表現で置き換えることを含む、ディスプレイに第２のユーザーインターフェース領域を表示することと、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に、仮想オブジェクトの表現を連続的に表示することと、を含む。 According to some embodiments, the method is performed on a computer system having a display, a touch sensitive surface, and one or more cameras. The method includes displaying a representation of a virtual object in a first user interface area on a display. The method also includes touching a location on the touch-sensitive surface corresponding to the representation of the virtual object on the display while displaying the first representation of the virtual object on the first user interface area on the display. Detecting the first input. The method may also be responsive to detecting the first input due to the contact in accordance with a determination that the first input due to the contact satisfies the first criterion, at least a portion of the first user interface region. Displaying the second user interface area on the display and displaying the first user interface area from the display including replacing the display with a representation of the field of view of the one or more cameras. Displaying the representation of the virtual object continuously while switching to.
いくつかの実施形態によれば、方法は、ディスプレイ、タッチ感知面、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示することを含む。この方法は、また、ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示している間に、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で第１の接触による第１の入力を検出することを含む。この方法は、また、第１の接触による第１の入力を検出したことに応答して、第１の接触による第１の入力が第１の基準を満足するとの判定にしたがって、第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示することを含む。この方法は、また、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示している間に、第２の入力を検出することと、第２の入力を検出したことに応答して、第２の入力が第２のユーザーインターフェース領域内で仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、第２の入力に基づいて第２のユーザーインターフェース領域内で仮想オブジェクトの第２の表現の表示特性を変化させることと、第２の入力が拡張現実環境内に仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、１つ以上のカメラの視野の表現とともに仮想オブジェクトの第３の表現を表示することと、を含む。 According to some embodiments, the method is performed on a computer system having a display, a touch sensitive surface, and one or more cameras. The method includes displaying a first representation of the virtual object in a first user interface area on the display. The method also includes, while displaying a first representation of the virtual object in a first user interface area on the display, a location on the touch sensitive surface corresponding to the first representation of the virtual object on the display And detecting a first input due to the first contact. The method is also responsive to detecting the first input by the first contact in response to determining that the first input by the first contact satisfies the first criterion. Displaying the second representation of the virtual object in a second user interface area different from the interface area. The method also is responsive to detecting the second input and detecting the second input while displaying the second representation of the virtual object in the second user interface region. , The second input may correspond to a request for operating the virtual object in the second user interface area, and the second input may be used to generate a second virtual object in the second user interface area. A virtual along with a representation of the field of view of one or more cameras according to changing the display characteristics of the two representations and determining that the second input corresponds to the requirement to display the virtual object in the augmented reality environment Displaying a third representation of the object.
いくつかの実施形態によれば、方法は、ディスプレイ及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、第１のユーザーインターフェースを表示する要求に応答して、第１のアイテムの表現とともに第１のユーザーインターフェースを表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第１のアイテムの表現を表示することを含む。この方法は、また、第１のアイテムの表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信することを含む。この方法は、また、第２のユーザーインターフェースを表示する要求に応答して、第２のアイテムの表現とともに第２のユーザーインターフェースを表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに第２のアイテムの表現を表示することを含む。この方法は、また、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、視覚的な指示なしで第２のアイテムの表現を表示することを含む。 According to some embodiments, the method is performed on a computer system having a display and a touch-sensitive surface. The method includes displaying the first user interface with the representation of the first item in response to the request to display the first user interface. The method also indicates that the first item corresponds to the first respective virtual three-dimensional object, according to the determination that the first item corresponds to the respective virtual three-dimensional object. Displaying a representation of the first item with visual instructions. The method also includes displaying a representation of the first item without visual indication in accordance with the determination that the first item does not correspond to a respective virtual three-dimensional object. The method also includes receiving a request to display a second user interface including the second item after displaying the representation of the first item. The method also includes displaying the second user interface with the representation of the second item in response to the request to display the second user interface. The method also indicates that the second item corresponds to the second respective virtual three-dimensional object according to the determination that the second item corresponds to the respective virtual three-dimensional object Displaying a representation of the second item along with visual instructions. The method also includes displaying a representation of the second item without visual indication in accordance with the determination that the second item does not correspond to a respective virtual three-dimensional object.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することを含む。この方法は、また、仮想オブジェクトを第１のユーザーインターフェース領域に表示する要求に応答して、表示生成コンポーネントを介して第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部分の上に仮想オブジェクトの表現を表示することを含み、ここで、１つ以上のカメラの視野は、１つ以上のカメラが位置している物理的環境のビューである。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満足されていないとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性で、かつ物理的環境のうちのどの部分が１つ以上のカメラの視野内に表示されているかとは無関係の第１の向きで、表示することであり、オブジェクト配置基準が、満たされるためには、仮想オブジェクトの配置場所が１つ以上のカメラの視野内で特定されることを必要とする、こと、及びオブジェクト配置基準が満足されたとの判定にしたがって、仮想オブジェクトの表現を、第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ１つ以上のカメラの視野内で検出された物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む。 According to some embodiments, the method is performed on a computer system having a display generation component, one or more input devices, and one or more cameras. The method includes receiving a request to display a virtual object in a first user interface area that includes at least a portion of a field of view of one or more cameras. The method also includes, in response to a request to display a virtual object in the first user interface area, at least a portion of the field of view of one or more cameras included in the first user interface area via the display generation component. Including displaying a representation of the virtual object above, wherein the field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. Displaying the representation of the virtual object follows the determination that the object placement criteria are not satisfied, the representation of the virtual object, the first set of visual characteristics, and which portion of the physical environment is Displaying in a first orientation independent of whether it is displayed in the field of view of one or more cameras, and in order for the object placement criteria to be met, the placement location of the virtual object is one or more The representation of the virtual object is determined to be identified within the field of view of the camera, and a second of the representation of the virtual object being distinct from the first set of visual characteristics according to the determination that the object placement criteria have been met Displaying with a set of visual characteristics and in a second orientation corresponding to a plane in the physical environment detected within the field of view of one or more cameras.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上のカメラ、及び１つ以上のカメラを含むデバイスの姿勢の変化を検出する１つ以上の姿勢センサを有するコンピュータシステムで実行される。この方法は、物理的環境の拡張現実ビューを１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信することを含む。この方法は、また、物理的環境の拡張現実ビューを表示する要求を受信したことに応答して、１つ以上のカメラの視野の表現を表示することと、物理的環境の拡張現実ビューについて較正基準が満足されていないとの判定にしたがって、物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含み、較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間に、１つ以上の姿勢センサを介して、物理的環境における１つ以上のカメラの姿勢の変化を検出することと、物理的環境における１つ以上のカメラの姿勢の変化を検出したことに応答して、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがって較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整することと、を含む。この方法は、また、物理的環境における１つ以上のカメラの姿勢の検出した変化にしたがってディスプレイ上を移動する較正ユーザーインターフェースオブジェクトを表示している間に、較正基準が満たされたことを検出することを含む。この方法は、また、較正基準が満たされたことを検出したことに応答して、較正ユーザーインターフェースオブジェクトを表示することを停止することを含む。 According to some embodiments, a method detects one or more attitude changes of a device including a display generation component, one or more input devices, one or more cameras, and one or more cameras. It is implemented in a computer system having a sensor. The method includes receiving a request to display an augmented reality view of a physical environment in a first user interface area that includes a representation of one or more camera views. The method also displays a representation of the field of view of the one or more cameras in response to receiving a request to display the augmented reality view of the physical environment, and calibrates the augmented reality view of the physical environment Displaying the calibration user interface object dynamically animated according to the movement of one or more cameras in the physical environment according to the determination that the criteria are not satisfied; The displaying may include, while displaying the calibration user interface object, detecting a change in posture of the one or more cameras in the physical environment via the one or more posture sensors, and in the physical environment In response to detecting a change in posture of one or more cameras, one or more in the physical environment. According posture of the camera detected change of containing, and adjusting at least one display parameter of the calibration user interface objects. The method also detects that the calibration criteria have been met while displaying a calibration user interface object moving on the display in accordance with a detected change in the attitude of one or more cameras in the physical environment. Including. The method also includes stopping displaying the calibration user interface object in response to detecting that the calibration criteria are met.
いくつかの実施形態によれば、表示生成コンポーネントと、タッチ感知面を含む１つ以上の入力デバイスとを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示することを含む。この方法は、また、仮想三次元オブジェクトの第１の視点の表現をディスプレイ上の第１のユーザーインターフェース領域に表示している間に、仮想三次元オブジェクトの第１の視点から視認不能である仮想三次元オブジェクトの部分を表示するために表示に対して仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することを含む。この方法は、また、第１の入力を検出したことに応答して、第１の入力が三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを、第１の軸に対して、第１の入力の大きさに基づいて決定され、かつ第１の軸に対する閾値回転量を超える量の仮想三次元オブジェクトの回転を制約する移動に課される限界によって制約された量だけ、回転させることと、第１の入力が、第１の軸とは異なる第２の軸の周りで三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、仮想三次元オブジェクトを第２の軸に対して第１の入力の大きさに基づいて決定された量だけ回転させることと、を含み、それぞれの閾値を超える大きさを有する入力について、デバイスは、仮想三次元オブジェクトを第２の軸に対して閾値回転量を超える量だけ回転させる。 According to some embodiments, implemented on a computer system having a display generation component and one or more input devices including a touch sensitive surface. The method includes displaying, by the display generation component, a representation of a first viewpoint of the virtual three-dimensional object in a first user interface area. The method also allows a virtual three-dimensional object to be invisible from the first perspective of the virtual three-dimensional object while displaying a representation of the first perspective of the virtual three-dimensional object in a first user interface area on the display. Detecting a first input corresponding to a request to rotate the virtual three-dimensional object relative to the display to display a portion of the three-dimensional object. The method is also virtual based on the determination that the first input corresponds to a request to rotate the three-dimensional object about the first axis in response to detecting the first input. The three-dimensional object is moved relative to the first axis based on the magnitude of the first input and constrains the rotation of the virtual three-dimensional object by an amount that exceeds the threshold rotation amount relative to the first axis. Rotating by an amount constrained by the imposed limits, and the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis Rotating the virtual three-dimensional object by an amount determined based on the magnitude of the first input with respect to the second axis according to the determination, and for inputs having magnitudes that exceed the respective threshold values. , Devices, The virtual three-dimensional object by an amount exceeding a threshold amount of rotation relative to the second shaft is rotated.
いくつかの実施形態によれば、方法は、表示生成コンポーネント及びタッチ感知面を有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実行される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示することを含む。この方法は、また、第１のユーザーインターフェース領域を表示する間に、タッチ感知面にわたる１つ以上の接触の移動を検出することを含む、ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出することと、タッチ感知面において１つ以上の接触が検出されている間に、第１のジェスチャ認識基準と第２のジェスチャ認識基準の両方に関して１つ以上の接触の移動を評価することと、を含む。この方法は、また、入力の第１の部分を検出したことに応答して、入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することであり、入力の第１の部分が第２のジェスチャ認識基準を満たす前に第１のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第２のジェスチャ認識基準の閾値を増大させることによって第２のジェスチャ認識基準を更新することと、入力が第１のジェスチャ認識基準を満たす前に第２のジェスチャ認識基準を満足するとの判定にしたがって、入力の第１の部分に基づいて第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させること、及び第１のジェスチャ認識基準の閾値を増大させることによって第１のジェスチャ認識基準を更新すること、を含む、ことを含む。 According to some embodiments, the method is performed on a computer system having a display generation component and a touch-sensitive surface. The method is performed via the display generation component in response to a first object manipulation behavior performed in response to an input that meets the first gesture recognition criteria and an input that satisfies the second gesture recognition criteria. Displaying a first user interface region including user interface objects associated with the plurality of object operation behaviors including the second object operation behavior. The method also includes detecting a movement of the one or more contacts across the touch-sensitive surface while displaying the first user interface area, wherein the first portion of the input directed to the user interface object is Detecting and evaluating movement of the one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion while the one or more contacts are detected on the touch sensitive surface. ,including. The method also includes updating the appearance of the user interface object based on the first part of the input in response to detecting the first part of the input, wherein the first part of the input is the first part. Changing the appearance of the user interface object according to the first object manipulation behavior based on the first part of the input according to the determination that the first gesture recognition criterion is satisfied before satisfying the two gesture recognition criteria; And updating the second gesture recognition criterion by increasing the threshold of the second gesture recognition criterion, and determining that the input satisfies the second gesture recognition criterion before the input meets the first gesture recognition criterion. Thus, according to the second object manipulation behavior based on the first part of the input, the user interface Changing the appearance of the scan object, and updating the first gesture recognition criteria by increasing the threshold of the first gesture recognition criteria, including includes.
いくつかの実施形態によれば、方法は、表示生成コンポーネント、１つ以上の入力デバイス、１つ以上の音声出力生成器、及び１つ以上のカメラを有するコンピュータシステムで実行される。この方法は、表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することを含み、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出することを含む。この方法は、また、１つ以上のカメラの視野を調整するデバイスの移動を検出したことに応答して、１つ以上のカメラの視野が調整されるにつれて、仮想オブジェクトと１つ以上のカメラの視野内で検出されるプレーンとの間の第１の空間的関係にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示を調整することと、デバイスの移動が仮想オブジェクトの閾値量より大きな量を１つ以上のカメラの視野の表示部分の外部に移動させるとの判定にしたがって、１つ以上の音声出力生成器を介して、第１の音声警報を生成することと、を含む。 According to some embodiments, the method is performed on a computer system having a display generation component, one or more input devices, one or more audio output generators, and one or more cameras. The method includes displaying a representation of a virtual object in a first user interface area including a representation of a field of view of one or more cameras via a display generation component, the displaying comprising And maintaining a first spatial relationship between the planes detected in the physical environment captured within the field of view of the one or more cameras. The method also includes detecting movement of the device that adjusts the field of view of the one or more cameras. The method also includes, in response to detecting movement of the device adjusting a field of view of the one or more cameras, the virtual object and the one or more cameras as the field of view of the one or more cameras is adjusted. Adjusting the display of the representation of the virtual object in the first user interface area according to the first spatial relationship with the plane detected in the field of view, and the movement of the device from the threshold amount of the virtual object Generating the first audio alert via the one or more audio output generators in accordance with the determination to move the large amount outside of the display portion of the field of view of the one or more cameras.
いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、１つ以上のプロセッサと、１つ以上のプログラムを記憶したメモリとを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、命令を記憶しており、これらの命令は、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスによって実行されたときに、このデバイスに、本明細書に記載する方法のうちのいずれかの動作を実行させる、又はその実行を引き起こさせる。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサと、メモリと、メモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えた電子デバイスのグラフィカルユーザーインターフェースは、本明細書に記載する方法のうちのいずれかに記載するように、入力に応答して更新される本明細書に記載する方法のいずれかで表示される要素のうちの１つ以上を含む。いくつかの実施形態によれば、電子デバイスは、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサと、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段とを含む。いくつかの実施形態によれば、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な姿勢の変化を検出する１つ以上の姿勢センサとを備えた電子デバイスで使用される情報処理装置は、本明細書に記載する方法のうちのいずれかの動作を実行する、又はその実行を引き起こす手段を含む。 According to some embodiments, the electronic device includes a display generation component, an optional one or more input devices, an optional one or more touch sensing surfaces, and an optional one or more One or more sensors for detecting the intensity of contact between the camera and the optional touch-sensitive surface, an optional one or more audio output generators, and an optional one or more device orientations Stores sensors, optionally one or more tactile output generators, optionally one or more attitude sensors that detect changes in attitude, one or more processors, and one or more programs And one or more programs are configured to be executed by one or more processors, and one or more programs operate according to any of the methods described herein. Perform or Including instructions that cause the execution. According to some embodiments, a computer readable storage medium stores instructions, which instructions include a display generation component, an optional one or more input devices, and an optional one. The touch-sensitive surface, the optional one or more cameras, the one or more sensors for detecting the strength of contact with the optional touch-sensitive surface, and the optional one or more audio outputs. Performed by an electronic device comprising a generator, optionally one or more device orientation sensors, optionally one or more tactile output generators, and optionally one or more attitude sensors When done, cause the device to perform or cause the operation of any of the methods described herein. According to some embodiments, a display generation component, an optional one or more input devices, an optional one or more touch sensing surfaces, and an optional one or more cameras One or more sensors that detect the intensity of contact with the optional touch-sensitive surface, an optional one or more audio output generators, an optional one or more device orientation sensors, and an optional One or more optional tactile output generators, optionally one or more attitude sensors, a memory, and one or more processors that execute one or more programs stored in the memory The graphical user interface of the electronic device is an element displayed in any of the methods described herein that is updated in response to input, as described in any of the methods described herein. Out of Including one or more. According to some embodiments, the electronic device includes a display generation component, an optional one or more input devices, an optional one or more touch sensing surfaces, and an optional one or more And one or more sensors to detect the strength of the contact with the optional touch sensitive surface, an optional one or more audio output generator, and an optional one or more device orientations A sensor, optionally one or more tactile output generators, one or more attitude sensors for detecting optional attitude changes, and operation of any of the methods described herein And means for causing the execution. According to some embodiments, a display generation component, an optional one or more input devices, an optional one or more touch sensing surfaces, and an optional one or more cameras One or more sensors that detect the intensity of contact with the optional touch-sensitive surface, an optional one or more audio output generators, an optional one or more device orientation sensors, and an optional An information processing apparatus for use in an electronic device comprising one or more selective tactile output generators and one or more attitude sensors for detecting an optional attitude change is described herein. Means for performing or causing the action of any of the methods.
したがって、表示生成コンポーネントと、任意選択的な１つ以上の入力デバイスと、任意選択的な１つ以上のタッチ感知面と、任意選択的な１つ以上のカメラと、任意選択的なタッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的な１つ以上の音声出力生成器と、任意選択的な１つ以上のデバイス向きセンサと、任意選択的な１つ以上の触知出力生成器と、任意選択的な１つ以上の姿勢センサとを備えた電子デバイスに、様々なコンテキストで仮想オブジェクトを表示するための改善された方法及びインターフェースが与えられ、これにより、これらのデバイスの有効性、効率、及びユーザー満足度が向上する。これらの方法及びインターフェースは、様々なコンテキストで仮想オブジェクトを表示する従来の方法を補完する、又はそれらに取って代わることができる。 Thus, a display generation component, an optional one or more input devices, an optional one or more touch sensing surfaces, an optional one or more cameras, and an optional touch sensing surface One or more sensors for detecting the strength of the contact with the user, an optional one or more audio output generator, an optional one or more device orientation sensors, and an optional one or more An electronic device comprising a tactile output generator and optionally one or more attitude sensors is provided with improved methods and interfaces for displaying virtual objects in various contexts, such that Device effectiveness, efficiency, and user satisfaction. These methods and interfaces can complement or replace conventional methods of displaying virtual objects in various contexts.
記載する様々な実施形態をより良好に理解するためには、以下で、全ての図面を通じて対応する部品を同じ参照番号で示す以下の図面と関連付けて、発明を実施するための形態を参照されたい。 For a better understanding of the various embodiments described, reference should be made to the following description, in connection with the following figures in which corresponding parts are indicated by the same reference numerals throughout the figures. .
仮想オブジェクトは、仮想環境における三次元オブジェクトのグラフィック表現である。仮想オブジェクトと対話して、仮想オブジェクトをアプリケーションユーザーインターフェース（例えば拡張現実環境を表示しない二次元アプリケーションユーザーインターフェース）のコンテキストに表示される状態から、拡張現実環境（例えば物理的世界では入手できない追加情報をユーザーに提供する補足情報によって物理的世界のビューを拡張する環境）のコンテキストに表示される状態に移行させる従来の方法は、複数の別個の入力（例えばジェスチャ及びボタン押圧のシーケンスなど）が所期の結果（例えば拡張現実環境において本物のように、又は望ましいように見えるように仮想オブジェクトのサイズ、場所及び／又は向きを調節するなど）をもたらすことを必要とすることが多い。更に、従来の入力方法は、拡張現実環境を表示することを求める要求を受信してから拡張現実環境を表示するまでに、１つ以上のデバイスカメラを起動して物理的世界のビューをキャプチャするのに必要な時間、並びに／又は拡張現実環境に置かれる可能性がある仮想オブジェクトに関連して物理的世界のビューを分析及び特徴づける（例えば物理的世界のキャプチャされたビュー内でプレーン及び／又は表面を検出する）のに必要な時間による遅延を伴うことが多い。本明細書の実施形態は、様々なコンテキストで仮想オブジェクトを表示し、かつ／又は（例えばアプリケーションユーザーインターフェースのコンテキストで仮想オブジェクトを表示する状態から拡張現実環境で仮想オブジェクトを表示する状態にスイッチングする入力をユーザーが提供できるようにすること、拡張現実環境に仮想オブジェクトを表示する前に（例えば三次元ステージング環境で）仮想オブジェクトの表示特性をユーザーが変更できるようにすること、ユーザーがシステム全体で複数のアプリケーションにわたって仮想オブジェクトを容易に識別できるようにする指示を提供すること、オブジェクトの配置情報を決定しながらオブジェクトの視覚特性を改変すること、較正に必要なデバイスの動きを示すアニメーション化された較正ユーザーインターフェースオブジェクトを提供すること、表示される仮想オブジェクトの軸の周りの回転を制約すること、第１のオブジェクトの操作挙動についての閾値移動大きさが満たされるときに第２のオブジェクトの操作挙動についての閾値移動大きさを増大させること、及び仮想オブジェクトが表示される視野の外に移動したことを示す音声警報を提供することなどによって）これらの仮想オブジェクトと対話する直観的な方法をユーザーに提供する。 A virtual object is a graphic representation of a three-dimensional object in a virtual environment. Interact with the virtual object to display additional information that is not available in the augmented reality environment (for example, in the physical world) from the state in which the virtual object is displayed in the context of the application user interface The conventional method of transitioning to the state displayed in the context of an environment that extends the view of the physical world with supplemental information provided to the user is to expect multiple separate inputs (e.g. a sequence of gestures and button presses etc) It is often necessary to provide the results of (e.g., adjusting the size, location and / or orientation of the virtual object to appear real or desirable in an augmented reality environment, etc.). In addition, conventional input methods activate one or more device cameras to capture a view of the physical world upon receiving a request to display the augmented reality environment and before displaying the augmented reality environment. Analyze and characterize the view of the physical world in relation to the time required for it and / or the virtual objects that may be placed in the augmented reality environment (eg planes and / or within the captured view of the physical world Or a delay due to the time required to detect the surface). Embodiments herein may display virtual objects in various contexts and / or (eg, switch from displaying virtual objects in the context of an application user interface to displaying virtual objects in an augmented reality environment) Enabling the user to provide, allowing the user to change the display characteristics of the virtual object (eg in a 3D staging environment) before displaying the virtual object in the augmented reality environment, multiple users throughout the system Providing instructions to allow easy identification of virtual objects across applications, altering the visual characteristics of the objects while determining their placement information, and animating the movements of the devices required for calibration. Providing a calibrated user interface object, constraining rotation about an axis of the displayed virtual object, manipulating the second object when the threshold displacement magnitude for the manipulation behavior of the first object is satisfied Users with an intuitive way to interact with these virtual objects) by increasing the threshold movement magnitude for the behavior and providing an audio alert indicating that the virtual object has moved out of the field of view to be displayed To provide.
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザーインターフェース対話を改善する。例えば、本明細書に記載するシステム、方法、及びＧＵＩは、拡張現実環境に仮想オブジェクトを表示し、様々な入力に応じて、拡張現実環境に表示される仮想オブジェクトの見た目を調整することを容易にする。 The systems, methods, and GUIs described herein improve user interface interaction with a virtual / augmented reality environment in a number of ways. For example, the systems, methods, and GUIs described herein facilitate displaying a virtual object in an augmented reality environment and adjusting the appearance of the virtual object displayed in the augmented reality environment in response to various inputs. To.
以下、図１Ａ〜図１Ｂ、図２、及び図３は、例示的なデバイスの説明を提供する。図４Ａ〜図４Ｂ、図５Ａ〜図５ＡＴ、図６Ａ〜図６ＡＪ、図７Ａ〜図７Ｐ、図１１Ａ〜図１１Ｖ、図１２Ａ〜図１２Ｌ、図１３Ａ〜図１３Ｍ、図１４Ａ〜図１４Ｚ、及び図１５Ａ〜図１５ＡＩは、様々なコンテキストで仮想オブジェクトを表示する例示的なユーザーインターフェースを示す図である。図８Ａ〜図８Ｅは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することにスイッチングしている間に仮想オブジェクトの表現を表示するプロセスを示す図である。図９Ａ〜図９Ｄは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示し、１つ以上のカメラの視野の表現によって仮想オブジェクトの第３の表現を表示するプロセスを示す図である。図１０Ａ〜図１０Ｄは、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示とともにアイテムを表示するプロセスを示す図である。図１６Ａ〜図１６Ｇは、オブジェクト配置基準が満たされるかどうかに応じて異なる視覚特性を備えた仮想オブジェクトを表示するプロセスを示す図である。図１７Ａ〜図１７Ｄは、デバイスの１つ以上のカメラの動きにしたがって動的にアニメーション化された較正ユーインオブジェクトを表示するプロセスを示す図である。図１８Ａ〜図１８Ｉは、仮想オブジェクトの軸の周りの回転を制約するプロセスを示す図である。図１４ＡＡ〜図１４ＡＤ及び図１９Ａ〜図１９Ｈは、第１のオブジェクトの操作挙動について第１の閾値移動大きさが満たされるとの判定にしたがって、第２のオブジェクトの操作挙動について必要とされる第２の閾値移動大きさを増大させるプロセスを示す図である。図２０Ａ〜図２０Ｆは、デバイスの動きによって仮想オブジェクトが１つ以上のデバイスカメラの表示される視野の外に移動するとの判定にしたがって、音声警報を生成するプロセスを示す図である。図５Ａ〜図５ＡＴ、図６Ａ〜図６ＡＪ、図７Ａ〜図７Ｐ、図１１Ａ〜図１１Ｖ、図１２Ａ〜図１２Ｌ、図１３Ａ〜図１３Ｍ、図１４Ａ〜図１４Ｚ、及び図１５Ａ〜図１５ＡＩのユーザーインターフェースを使用して、図８Ａ〜図８Ｅ、図９Ａ〜図９Ｄ、図１０Ａ〜図１０Ｄ、図１４ＡＡ〜図１４ＡＤ、図１６Ａ〜図１６Ｇ、図１７Ａ〜図１７Ｄ、図１８Ａ〜図１８Ｉ、図１９Ａ〜図１９Ｈ、及び図２０Ａ〜図２０Ｆのプロセスを説明する。
例示的なデバイス
In the following, FIGS. 1A-1B, 2 and 3 provide a description of an exemplary device. 4A-4B, 5A-5AT, 6A-6AJ, 7A-7P, 11A-11V, 12A-12L, 13A-13M, 14A-14Z, and FIG. 15A-15AI illustrate exemplary user interfaces displaying virtual objects in various contexts. 8A-8E illustrate a process of displaying a representation of a virtual object while switching from displaying a first user interface area to displaying a second user interface area. 9A-9D display a first representation of a virtual object in a first user interface area, a second representation of a virtual object in a second user interface area, and a field of view of one or more cameras FIG. 7 illustrates the process of displaying a third representation of a virtual object by the representation of 10A-10D are diagrams illustrating a process for displaying an item with a visual indication that the item corresponds to a virtual three-dimensional object. 16A-16G are diagrams illustrating a process for displaying virtual objects with different visual characteristics depending on whether the object placement criteria are met. 17A-17D are diagrams illustrating a process of displaying a calibration animated ine object that is dynamically animated according to the movement of one or more cameras of the device. 18A-18I illustrate the process of constraining the rotation of the virtual object about its axis. 14AA to 14AD and 19A to 19H show that the operation behavior of the second object is required according to the determination that the first threshold movement magnitude is satisfied for the operation behavior of the first object FIG. 5 illustrates the process of increasing the threshold shift magnitude of 2; 20A-20F illustrate a process of generating an audio alert according to a determination that movement of the device causes the virtual object to move out of the displayed field of view of one or more device cameras. 5A-5AT, 6A-6AJ, 7A-7P, 11A-11V, 12A-12L, 13A-13M, 14A-14Z, and 15A-15AI 8A-8E, 9A-9D, 10A-10D, 14AA-14AD, 16A-16G, 17A-17D, 18A-18I, 19A using the interface. The processes of FIGS. 19H and 20A-20F are described.
Exemplary device
次に、添付の図面にその実施例を示す実施形態を詳細に参照する。以下の詳細な説明では、記載する様々な実施形態が完全に理解されるように、多数の具体的な詳細を記載する。しかし、記載する様々な実施形態は、これらの具体的な詳細がなくても実施することができることは、当業者には明らかであろう。その他、周知の方法、手順、コンポーネント、回路、及びネットワークについては、実施形態の態様を不要に曖昧にしないよう、詳細には説明しない。 Reference will now be made in detail to the embodiments, examples of which are illustrated in the accompanying drawings. In the following detailed description, numerous specific details are set forth in order to provide a thorough understanding of the various described embodiments. However, it will be apparent to one skilled in the art that the various embodiments described may be practiced without these specific details. In other instances, well-known methods, procedures, components, circuits, and networks have not been described in detail as not to unnecessarily obscure aspects of the embodiments.
本明細書では、一部の例において第１、第２などの用語を使用して様々な要素を説明するが、これらの要素は、これらの用語によって限定されないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用されているものである。例えば、記載する様々な実施形態の範囲を逸脱することなく、第１の接点は、第２の接点と称することもでき、同様に、第２の接点を第１の接点と称することもできる。第１の接点及び第２の接点は両方とも接点であるが、文脈が明らかにそうでないことを示していない限り、両者は同じ接点ではない。 Although various elements are described herein using first, second, etc. terms in some instances, it will also be understood that these elements are not limited by these terms. These terms are only used to distinguish one element from another. For example, without departing from the scope of the various embodiments described, the first contact may be referred to as a second contact, and similarly, the second contact may be referred to as a first contact. The first contact and the second contact are both contacts, but they are not the same contact unless the context clearly indicates otherwise.
本明細書に記載する様々な実施形態の説明で使用する用語は、特定の実施形態を説明することのみを目的とするものであり、限定することを意図したものではない。記載する様々な実施形態の説明及び添付の特許請求の範囲で使用する単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかにそうでないことを示していない限り、複数形も含むものとして意図されている。また、本明細書で使用する「及び／又は」という用語は、関連する列挙したアイテムのうちの１つ以上の任意の全ての可能な組合せを指し、これらを含むことも理解されたい。更に、本明細書で使用する「含む」、「含み」、「備える」、及び／又は「備え」という用語は、記載する特徴、整数、ステップ、動作、要素、及び／又は構成要素が存在することは指定するが、１つ以上のその他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループが存在すること、又は追加されることを除外しないことも理解されるであろう。 The terminology used in the description of the various embodiments set forth herein is for the purpose of describing particular embodiments only and is not intended to be limiting. As used in the description of the various embodiments described and in the appended claims, the singular forms "a", "an" and "the" are intended to include the plural forms as well, unless the context clearly indicates otherwise. Intended as including. It is also to be understood that the term "and / or" as used herein refers to and includes any and all possible combinations of one or more of the associated listed items. Further, as used herein, the terms "including", "including", "includes", and / or "includes" have the recited feature, integer, step, action, element, and / or component. It is also understood that although specified, one or more other features, integers, steps, operations, elements, components, and / or groups thereof are not present or excluded. I will.
本明細書で使用する「〜場合」という用語は、任意選択的に、文脈に応じて「〜とき」、又は「〜すると」、又は「〜と判定したことに応答して」、又は「〜を検出したことに応答して」を意味するものと解釈される。同様に、「〜と判定された場合」又は「（記載する条件又はイベント）が検出された場合」という表現は、任意選択的に、文脈に応じて「〜と判定すると」、又は「〜と判定したことに応答して」、又は「（記載する条件又はイベント）が検出されると」、又は「（記載する条件又はイベント）を検出したことに応答して」を意味するものと解釈される。 As used herein, the term “when” optionally refers to “when” or “when” or “in response to a determination as” or “to” depending on the context. In response to the detection of. Similarly, the expression “when determined to be” or “when (a condition or event to be described) is detected” optionally refers to “when determined to be” or “to” depending on the context. "In response to the determination", or "when (the condition or event to be described) is detected" or "in response to the detection of (the condition or event to be described)" Ru.
電子デバイス、それらのデバイスのユーザーインターフェース、及びそれらのデバイスを使用するための関連するプロセスの実施形態を記載する。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったデバイスを含むが、これらに限定されない。タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなど、他のポータブル電子デバイスも、任意選択的に使用される。また、いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えばタッチスクリーンディスプレイ及び／又はタッチパッド）を有するデスクトップコンピュータであることも理解されたい。 Embodiments of electronic devices, their user interfaces, and associated processes for using these devices are described. In some embodiments, the device is a portable communication device such as a mobile phone that also includes other features such as PDA capabilities and / or music player capabilities. Exemplary embodiments of portable multifunction devices include, but are not limited to, devices such as iPhon®, iPod Touch®, and iPad® from Apple, Inc. of Cupperino, California, USA. . Other portable electronic devices are also optionally used, such as laptops or tablet computers with touch sensitive surfaces (eg, touch screen displays and / or touch pads). It should also be understood that in some embodiments, the device is not a portable communications device but a desktop computer having a touch-sensitive surface (eg, a touch screen display and / or touchpad).
以下の説明では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかし、電子デバイスは、任意選択的に、物理的キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理的ユーザーインターフェースデバイスを含むことを理解されたい。 The following description describes electronic devices that include a display and a touch sensitive surface. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices such as a physical keyboard, mouse, and / or joystick.
デバイスは、一般に、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレイヤアプリケーション及び／又はデジタルビデオプレイヤアプリケーションのうちの１つ以上など、様々なアプリケーションをサポートする。 Devices generally include note-taking applications, drawing applications, presentation applications, word processing applications, website creation applications, disk authoring applications, spreadsheet applications, gaming applications, telephone applications, video conferencing applications, email applications, instant messaging applications, One or more of a training support application, a photo management application, a digital camera application, a digital video camera application, a web browsing application, a digital music player application and / or a digital video player application , To support a variety of applications.
このデバイスで実行される様々なアプリケーションは、任意選択的に、タッチ感知面などの少なくとも１つの共通の物理的ユーザーインターフェースデバイスを使用する。タッチ感知面の１つ以上の機能、並びにデバイスに表示される対応する情報は、任意選択的に、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、調節及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザーにとって直観的かつ透過的なユーザーインターフェースを備える様々なアプリケーションをサポートする。 The various applications implemented on this device optionally use at least one common physical user interface device, such as a touch sensitive surface. One or more features of the touch sensitive surface, as well as corresponding information displayed on the device, are optionally adjusted and / or changed per application and / or within each application. Thus, the common physical architecture of the devices (such as the touch sensitive surface) optionally supports various applications with a user interface that is intuitive and transparent to the user.
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注目する。図１Ａは、いくつかの実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれることもあり、単にタッチ感知ディスプレイと呼ばれることもある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００（例えばデバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらのコンポーネントは、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
Attention is now directed to an embodiment of a portable device comprising a touch sensitive display. FIG. 1A is a block diagram illustrating a
デバイス１００は、ポータブル多機能デバイスの１実施例に過ぎず、デバイス１００は、任意選択的に、示しているよりコンポーネントの数が多い、若しくは少ないことも、任意選択的に、２つ以上のコンポーネントを組みあわせることも、又は、任意選択的に、コンポーネントの異なる構成若しくは配置を有することもあることを理解されたい。図１Ａに示す様々なコンポーネントは、１つ以上の信号処理回路及び／又は特定用途向け集積回路など、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せで実装される。
The
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性固体状態メモリデバイスなどの不揮発性メモリも含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インターフェース１１８などデバイス１００の他のコンポーネントによるメモリ１０２へのアクセスは、任意選択的に、メモリコントローラ１２２によって制御される。
Memory 102 optionally includes high-speed random access memory, and optionally also non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid state memory devices. Including. Access to the memory 102 by other components of the
周辺機器インターフェース１１８を使用して、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
いくつかの実施形態では、周辺機器インターフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態では、それらは、任意選択的に、別々のチップ上に実装される。
In some embodiments,
ＲＦ（radio frequency、高周波）回路１０８は、電磁信号とも呼ばれるＲＦ信号を受信及び送信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらに限定されるわけではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、及びメモリなど、これらの機能を実行する周知の回路を含む。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は、任意選択的に、これらに限定されるわけではないが、移動通信用のグローバルシステム（Global System for Mobile Communication、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ、Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（ＤＣ−ＨＳＰＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えばＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル（例えばインターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protorol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスレバレッジング拡張用セッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）など、複数の通信規格、プロトコル、及び技術のうちのいずれか、又は本文書の出願日現在でまだ開発されていない通信プロトコルを含む任意のその他の適当な通信プロトコルを使用する。
An RF (radio frequency)
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザーとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インターフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０は、ヘッドセットジャック（例えば図２の２１２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインターフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インターフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力又は制御デバイスのための１つ以上の入力コントローラ１６０を含む。この１つ以上の入力コントローラ１６０は、他の入力又は制御デバイス１１６から電気信号を受信し、それらに電気信号を送信する。その他の入力又は制御デバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。一部の代替の実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３のボリューム制御のためのアップ／ダウンボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば図２の２０６）を含む。
The I /
タッチ感知ディスプレイシステム１１２は、デバイスとユーザーとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、かつ／又はタッチ感知ディスプレイシステム１１２に電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザーに視覚出力を表示する。視覚出力は、任意選択的に、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組合せ（「グラフィック」と総称する）を含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザーインターフェースオブジェクトに対応する。本明細書で使用する「アフォーダンス」という用語は、ユーザー対話型のグラフィカルユーザーインターフェースオブジェクト（例えばそのグラフィカルユーザーインターフェースオブジェクトに向けられた入力に対して応答するように構成されたグラフィカルユーザーインターフェースオブジェクト）を指す。ユーザー対話型のグラフィカルユーザーインターフェースオブジェクトの例としては、これらに限定されるわけではないが、ボタン、スライダ、アイコン、選択可能メニューアイテム、スイッチ、ハイパーリンク、又はその他のユーザーインターフェース制御が挙げられる。
Touch
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知接触に基づくユーザーからの入力を受け付けるタッチ感知面、センサ、又はセンサセットを有する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６（任意の関連するモジュール及び／又はメモリ１０２内の命令セットも含む）は、タッチ感知ディスプレイシステム１１２上の接触（及びその接触の任意の動き又は中断）を検出し、検出した接触をタッチ感知ディスプレイシステム１１２に表示されるユーザーインターフェースオブジェクト（例えば１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザーとの間の接触点は、ユーザーの指又はスタイラスに対応する。
The touch
タッチ感知ディスプレイシステム１１２は、任意選択的に、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を使用するが、他の実施形態では、他の表示技術を使用する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、任意選択的に、これらに限定されるわけではないが、静電容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びにタッチ感知ディスプレイシステム１１２との１つ以上の接触点を決定するその他の近接センサレイ又は他の要素など、現在既知の、又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触と、接触の任意の動き又は中断とを検出する。いくつかの実施形態では、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などの、投影型相互静電容量感知技術が使用される。
Touch-
タッチ感知ディスプレイシステム１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンのビデオ解像度は、４００ｄｐｉを超える（例えば５００ｄｐｉ、８００ｄｐｉ、又はそれより高い）。ユーザーは、任意選択的に、スタイラス、指などの任意の好適なオブジェクト又は付属物を使用して、タッチ感知ディスプレイシステム１１２に接触する。いくつかの実施形態では、ユーザーインターフェースは、指による接触及びジェスチャで機能するように設計されるが、指による接触及びジェスチャは、指がタッチスクリーンと接触する面積が大きいために、スタイラスによる入力よりも精度が低くなる可能性がある。いくつかの実施形態では、デバイスは、指による粗い入力を、精密なポインタ／カーソル位置、又はユーザーの望むアクションを実行するコマンドに変換する。
Touch-
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッド（図示せず）を含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチ感知ディスプレイシステム１１２から分離したタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の延長部である。
In some embodiments, in addition to a touch screen,
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えばバッテリ、交流（ＡＣ））、再充電システム、電源異常検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理及び分配に関連するその他の任意のコンポーネントを含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示している。光センサ１６４（単数又は複数）は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４（単数又は複数）は、１つ以上のレンズを通じて投影される環境からの光を受光し、この光を画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と協働して、光センサ（単数又は複数）１６４は、任意選択的に、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、光センサを、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置付けて、タッチスクリーンを静止画像及び／又はビデオ画像取得を取得するビューファインダとして使用することができるようにする。いくつかの実施形態では、別の光センサを、デバイスの前面に位置付けて、ユーザーの画像が取得されるようにする（例えば自撮りのため、ユーザーがビデオ会議に参加しながらタッチスクリーン上で他のビデオ会議参加者を見るためなど）。
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された接触強度センサを示している。接触強度センサ（単数又は複数）１６５は、任意選択的に、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又はその他の強度センサ（例えばタッチ感知面上の接触の力（又は圧力）を測定するために使用されるセンサ）を含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば圧力情報又は圧力情報の代わりになるもの）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インターフェース１１８に結合された近接センサ１６６を示している。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、多機能デバイスがユーザーの耳の近くに配置されているとき（例えばユーザーが電話しているとき）に、近接センサは、タッチ感知ディスプレイシステム１１２をオフにして、使用不可状態にする。
The
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示している。いくつかの実施形態では、触知出力生成器（単数又は複数）１６７は、スピーカ若しくはその他のオーディオコンポーネントなどの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ若しくはその他の触知出力生成コンポーネント（例えば電気信号をデバイス上での触知出力に変換するコンポーネント）などのエネルギーを直線状の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６７は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザーが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向に（例えばデバイス１００の表面の内／外に）、又は横方向に（例えばデバイス１００の表面と同じプレーン内で前後に）移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対側のデバイス１００の背面上に位置する。
The
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示している。あるいは、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、タッチスクリーンディスプレイに横長表示又は縦長表示で表示される。デバイス１００は、任意選択的に、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば縦長又は横長）に関する情報を取得するＧＰＳ（又はＧＬＯＮＡＳＳ若しくはその他のグローバルナビゲーションシステム）受信機（図示せず）を含む。
The
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェアコンポーネントは、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、触覚フィードバックモジュール（又は命令セット）１３３、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示すように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、タッチ感知ディスプレイシステム１１２の様々な領域を、どんなアプリケーション、ビュー、又はその他の情報が占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの位置及び／又は姿勢に関する位置及び／又は姿勢情報、のうちの１つ以上を含む。
In some embodiments, the software components stored in memory 102 may include
オペレーティングシステム１２６（例えばｉＯＳ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えばメモリ管理、記憶デバイス制御、電力管理など）を制御及び管理する様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェアコンポーネントとソフトウェアコンポーネントとの間の通信を円滑化する。 Operating system 126 (eg, embedded operating system such as iOS, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, or VxWorks) controls overall system tasks (eg, memory management, storage device control, power management, etc.) And various software components and / or drivers to manage and facilitate communication between the various hardware and software components.
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を円滑化し、また、ＲＦ回路１０８及び／又は外部ポート１２４が受信するデータを処理する様々なソフトウェアコンポーネントも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用される３０ピンコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるマルチピン（例えば３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ社製のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）といったいくつかのデバイスで使用されるＬｉｇｈｔｎｉｎｇコネクタと同じである、又はこれに類似している、及び／又はこれと互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。
The
接触／動きモジュール１３０は、任意選択的に、タッチ感知ディスプレイシステム１１２との接触を（ディスプレイコントローラ１５６と協働して）検出し、また他のタッチ感知デバイス（例えばタッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が発生したかを判定する（例えば指が下りるイベントを検出する）、接触の強度（例えば接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定する、接触の移動があるかを判定してタッチ感知面にわたるその移動を追跡する（例えば１つ以上の指のドラッグイベントを検出する）、接触が終了したかどうかを判定する（例えば指が上がるイベント又は接触の中断を検出する）など、（例えば指又はスタイラスによる）接触の検出に関連する様々な動作を実行する様々なソフトウェアコンポーネントを含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を決定することを含む。これらの動作は、任意選択的に、個別の接触（例えば１本の指による接触又は１つのスタイラスによる接触）、又は複数の同時接触（例えば「マルチタッチ」／複数本の指による接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
The touch /
接触／動きモジュール１３０は、任意選択的に、ユーザーによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャの検出は、（例えばアイコンの位置で）指が下りるイベントを検出した後に、指が下りるイベントと同じ位置（又は実質的に同じ位置）で指が上がる（リフトオフ）イベントを検出することを含む。別の実施例では、タッチ感知面上の指のスワイプジェスチャの検出は、指が下りるイベントを検出した後に、１つ以上の指のドラッグイベントを検出し、その後に、指が上がる（リフトオフ）イベントを検出することを含む。スタイラスについても同様に、タップ、スワイプ、ドラッグ、及びその他のジェスチャは、任意選択的に、そのスタイラスについての特定の接触パターンを検出することによって検出される。
Contact /
いくつかの実施形態では、指のタップジェスチャの検出は、指が下りるイベントを検出してから指が上がるイベントを検出するまでの時間の長さに依存するが、指が下りるイベントを検出してから指が上がるイベントを検出するまでの間の指の接触の強度には左右されない。いくつかの実施形態では、タップジェスチャは、タップ中の指の接触の強度が、軽い押圧又は深い押圧の強度閾値など所与の強度閾値（公称接触検出強度閾値よりも大きい）を満たすかどうかに関わりなく、指が下りるイベントから指が上がるイベントまでの間の時間の長さが所定の値よりも小さい（例えば０．１秒、０．２秒、０．３秒、０．４秒、又は０．５秒よりも短い）との判定にしたがって検出される。したがって、指のタップジェスチャは、その特定の入力基準が満たされるために接触の特性強度が所与の強度閾値を満たすことを必要としない、特定の入力基準を満たせばよい。明確にするために、指が下りるイベントが検出されるためには、タップジェスチャにおける指の接触は、通常は、それを下回ると接触が検出されない公称接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによる接触またはその他の接触によるタップジェスチャの検出にも当てはまる。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することができる場合には、公称接触検出強度閾値は、任意選択的に、指又はスタイラスとタッチ感知面との間の物理的接触に対応しない。 In some embodiments, detection of a finger tap gesture depends on the length of time between detecting a finger down event and detecting a finger up event, but detecting a finger down event It does not depend on the strength of the finger contact during the period from when the finger is lifted to when the finger is lifted. In some embodiments, the tap gesture determines whether the strength of the finger touch during the tap meets a given strength threshold (greater than the nominal touch detection strength threshold) such as a light or deep pressure strength threshold. Regardless, the length of time between the finger down event and the finger up event is less than a predetermined value (eg, 0.1 seconds, 0.2 seconds, 0.3 seconds, 0.4 seconds, or It is detected in accordance with the determination of “less than 0.5 seconds”. Thus, a finger tap gesture may meet a particular input criterion that does not require the characteristic strength of the touch to meet a given intensity threshold in order for that particular input criterion to be met. For clarity, in order for a finger down event to be detected, the finger touch in the tap gesture usually needs to meet a nominal touch detection intensity threshold below which no touch is detected. Similar analysis applies to the detection of tap gestures by stylus contact or other touches. If the device is capable of detecting finger or stylus contact hovering on the touch sensitive surface, the nominal touch detection intensity threshold may optionally be physical contact between the finger or stylus and the touch sensitive surface Does not correspond to
同じ概念が、他のタイプのジェスチャにも同様に当てはまる。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長押しジェスチャは、任意選択的に、ジェスチャに含まれる接触の強度と無関係であるか、又はジェスチャを行う接触（単数又は複数）が認識されるのに強度閾値に到達することを必要としない基準が満たされることに基づいて、検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、２つ以上の接触の互いに向かう移動に基づいて検出され、デピンチジェスチャは、２つ以上の接触の互いに遠ざかる移動に基づいて検出され、長押しジェスチャは、移動量が閾値移動量未満であるタッチ感知面上の接触の持続時間に基づいて検出される。したがって、特定のジェスチャ認識基準が、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャにおける接触（単数又は複数）がそれぞれの強度閾値に達しない場合にもその特定のジェスチャ認識基準を満たすことができ、またジェスチャにおける接触のうちの１つ以上がそれぞれの強度閾値に達しない、又はそれを超えない状況でも満たすことができることを意味している。いくつかの実施形態では、タップジェスチャは、接触が所定の期間中にそれぞれの強度閾値を上回る又は下回るかどうか関わらず、指が下りるイベント及び指が上がるイベントがその所定の期間内に検出されたとの判定に基づいて検出され、スワイプジェスチャは、接触の移動の終わりにその接触がそれぞれの強度閾値を上回る場合でも、接触の移動が所定の大きさよりも大きいとの判定に基づいて検出される。ジェスチャの検出が、ジェスチャを行う接触の強度の影響を受ける実施態様（例えば、デバイスが、接触の強度が強度閾値を上回るときには早めに長押しを検出する、又は接触の強度が高いときにはタップ入力の検出を遅らせる）でも、接触が特定の強度閾値に達しない状況でそのジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するためにかかる時間の長さが変化する場合でも）、これらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。 The same concept applies to other types of gestures as well. For example, swipe gestures, pinch gestures, depinch gestures, and / or long press gestures are optionally unrelated to the strength of the touch included in the gesture, or the touch (s) performing the gesture are recognized Detection is based on meeting criteria that do not require reaching the intensity threshold to be done. For example, a swipe gesture is detected based on the amount of movement of one or more contacts, a pinch gesture is detected based on the movement of two or more contacts toward each other, and a depinching gesture is detected for two or more contacts. The long press gesture is detected based on the movement away from each other, and the long press gesture is detected based on the duration of the touch on the touch sensing surface whose movement amount is less than the threshold movement amount. Thus, a statement that a particular gesture recognition criterion does not require the intensity of the contact (s) to meet the respective intensity threshold in order for that particular gesture recognition criterion to be met is a statement that the contact (single or The specific gesture recognition criteria can be met even if multiple) do not reach their respective intensity thresholds, and one or more of the contacts in the gesture do not reach or exceed their respective intensity thresholds But that means it can be met. In some embodiments, the tap gesture may indicate that a finger down event and a finger up event are detected within the predetermined time period, regardless of whether contact is above or below a respective intensity threshold during the predetermined time period. And a swipe gesture is detected based on a determination that the movement of the contact is greater than a predetermined magnitude even if the contact exceeds a respective intensity threshold at the end of the movement of the contact. Embodiments in which gesture detection is affected by the strength of the contact making the gesture (eg, the device detects a long press earlier when the contact strength exceeds the strength threshold, or tap input when the contact strength is high) As long as the criteria for recognizing the gesture can be met in situations where the contact does not reach a certain intensity threshold (e.g., even if the length of time it takes to recognize the gesture changes) Detection of these gestures does not require the touch to reach a particular intensity threshold.
いくつかの状況では、接触強度閾値、持続時間閾値、及び移動閾値を、様々に異なる組合せで組み合わせて、同じ入力要素又は領域に向けられた２つ以上の異なるジェスチャを区別するヒューリスティックスを作成して、同じ入力要素との複数の異なる対話によってより豊かなユーザー対話及び応答のセットを提供することができるようにする。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、そのジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない第１のジェスチャの第１のジェスチャ認識基準が、接触（単数又は複数）がそれぞれの強度閾値に到達することに依存する第２のジェスチャの第２のジェスチャ認識基準と競合する。このような競合時には、ジェスチャは、任意選択的に、第２のジェスチャの第２のジェスチャ認識基準が先に満たされた場合には、第１のジェスチャの第１のジェスチャ認識基準を満足しているものとは認識されない。例えば、接触が所定の移動量を移動する前にそれぞれの強度閾値に達した場合には、スワイプジェスチャではなく深押しジェスチャが検出される。逆に、接触が所定の移動量を移動した後でそれぞれの強度閾値に達した場合には、深押しジェスチャではなくスワイプジェスチャが検出される。このような状況でも、やはり、第１のジェスチャの第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない。これは、ジェスチャの終わりまで接触がそれぞれの強度閾値を下回ったままであったとしたら（例えばそれぞれの強度閾値を上回る強度まで増大しない接触を有するスワイプジェスチャの場合）、そのジェスチャは、第１のジェスチャ認識基準によってスワイプジェスチャとして認識されているはずであるからである。したがって、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、（例えばタップジェスチャの）強度閾値に関して接触の強度を無視し、かつ／又は（Ｂ）いくつかの状況では、競合する強度依存ジェスチャ認識基準（例えば長押しジェスチャの認識基準）のセットがある入力を強度依存ジェスチャに対応するものとして認識した後で、その特定のジェスチャ認識基準がその入力に対応するジェスチャ（例えば深押しジェスチャと認識をめぐって競合する長押しジェスチャ）を認識した場合には、その特定のジェスチャ認識基準（例えば長押しジェスチャの認識基準）が満たされないという意味で、依然として強度閾値に関して接触の強度に依存する。 In some situations, the contact strength threshold, the duration threshold, and the movement threshold are combined in various different combinations to create a heuristic that distinguishes two or more different gestures directed to the same input element or region. , Allow multiple rich interactions with the same input element to provide a richer set of user interactions and responses. The statement that a particular set of gesture recognition criteria does not require that the intensity of the touch (s) meet the respective intensity threshold in order for that particular gesture recognition criterion to be met is that the gestures have respective intensity thresholds It does not exclude at the same time evaluating other intensity-dependent gesture recognition criteria to identify other gestures having criteria that are fulfilled when including a touch having an intensity exceeding. For example, in some situations, the first gesture recognition criterion of the first gesture does not require that the intensity of the touch (es) meet the respective intensity threshold in order for the gesture recognition criterion to be met. Competing with the second gesture recognition criteria of the second gesture in which the touch (es) rely on reaching the respective intensity threshold. At such time of competition, the gesture optionally satisfies the first gesture recognition criterion of the first gesture, if the second gesture recognition criterion of the second gesture is met first. Is not recognized. For example, if the touch reaches its respective intensity threshold before moving a predetermined amount of movement, a deep press gesture is detected rather than a swipe gesture. Conversely, a swipe gesture is detected rather than a deep press gesture if the touch moves through a predetermined amount of movement and then reaches its respective intensity threshold. Even in such a situation, again, the first gesture recognition criteria of the first gesture require that the strength of the touch (s) meet the respective strength threshold in order for the first gesture recognition criteria to be satisfied. And not. This is because if the touch remains below the respective intensity threshold until the end of the gesture (e.g., in the case of a swipe gesture having a touch that does not increase to an intensity above the respective intensity threshold), the gesture is a first gesture recognition This is because the reference should be recognized as a swipe gesture. Thus, certain gesture recognition criteria that do not require that the strength of the touch (s) meet the respective strength threshold in order for that particular gesture recognition criterion to be satisfied are: Ignore the strength of the touch with respect to the strength threshold (for example of a tap gesture) and / or (B) in some situations, strength the input with a set of competing strength dependent gesture recognition criteria (eg recognition criteria for long press gestures) After recognizing that the particular gesture recognition criteria correspond to the dependent gesture, if the particular gesture recognition criterion recognizes a gesture corresponding to the input (e.g., a long press gesture that competes for a deep press gesture and a recognition), that particular gesture In the sense that the recognition criteria (for example the recognition criteria for long press gestures) are not fulfilled, It depends on the intensity of the contact with respect to the intensity threshold to.
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又はその他の視覚特性）を変更するコンポーネントなど、タッチ感知ディスプレイシステム１１２又はその他のディスプレイ上でグラフィックをレンダリング及び表示する様々な既知のソフトウェアコンポーネントを含む。本明細書で使用する「グラフィック」という用語は、これらに限定されるわけではないが、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザーインターフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなど、ユーザーに対して表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に表示されるグラフィックを指定する１つ以上のコードを受信し、次いで、ディスプレイコントローラ１５６に出力するスクリーン画像データを生成する。
In some embodiments,
触覚フィードバックモジュール１３３は、デバイス１００とのユーザー対話に応答して、触知出力生成器（単数又は複数）１６７を使用してデバイス１００上の１つ以上の位置で触知出力を生成する命令（例えば触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェアコンポーネントを含む。
テキスト入力モジュール１３４は、任意選択的にグラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とするその他の任意のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
The
ＧＰＳモジュール１３５は、デバイスの場所を決定し、この情報を、様々なアプリケーションで使用されるように提供する（例えば、電話１３８に提供して場所に基づくダイヤル発呼に使用する、写真／ビデオのメタデータとしてカメラ１４３に提供する、並びに天気ウィジェット、地域の電話帳ウィジェット、及び地図／ナビゲーションウィジェットなど場所に基づくサービスを提供するアプリケーションに提供するなど）。
The
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●ビデオ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／若しくはビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●天気ウィジェット１４９−１、株価ウィジェット１４９−２、計算機ウィジェット１４９−３、目覚まし時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザーが取得したその他のウィジェット、並びにユーザー作成ウィジェット１４９−６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザー作成ウィジェット１４９−６を作成するウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレーヤーモジュール及び音楽プレーヤモジュールで構成される、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、並びに／又は
●オンラインビデオモジュール１５５。
Contacts module 137 (sometimes called an address book or contact list),
●
●
●
Instant messaging (IM)
●
●
●
●
Weather widget 149-1, stock price widget 149-2, calculator widget 149-3, alarm clock widget 149-4, dictionary widget 149-5, and other widgets acquired by the user, and user created widget 149-6
●
●
A video and
●
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
Examples of
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、連絡先モジュール１３７は、アドレス帳に名前（単数又は複数）を追加する、アドレス帳から名前（単数又は複数）を削除する、電話番号（単数又は複数）、メールアドレス（単数又は複数）、物理アドレス（単数又は複数）又はその他の情報を名前と関連付ける、画像を名前と関連付ける、名前を分類して整理する、電話番号及び／又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０又はＩＭ１４１によって通信を開始及び／又は円滑化するなど、（例えばメモリ１０２又はメモリ３７０の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含む。
In connection with the touch
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断する、又は電話を切る実行可能命令を含む。上述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
In conjunction with
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８に関連して、ビデオ会議モジュール１３９は、ユーザーの命令にしたがってユーザーと１人以上の他の参加者との間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、電子メールクライアントモジュール１４０は、ユーザーの命令に応答して電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４に関連して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
In conjunction with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、以前に入力された文字を修正し、（例えば電話によるインスタントメッセージ用のショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットによるインスタントメッセージ用のＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）若しくはＩＭＰＳを使用して）それぞれのインスタントメッセージを伝送し、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、伝送及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又はその他の添付物を含む。本明細書で使用する「インスタントメッセージ」は、電話によるメッセージ（例えばＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットによるメッセージ（例えばＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されるメッセージ）の両方を指す。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２に関連して、トレーニングサポートモジュール１４２は、（例えば時間、距離、及び／又はカロリー消費目標を有する）トレーニングを作成し、（スポーツデバイス及びスマートウォッチの）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択して再生し、トレーニングデータを表示、記憶、及び伝送する実行可能命令を含む。
Training support module in conjunction with
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４に関連して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）をキャプチャして、それらをメモリ１０２に記憶し、静止画像若しくはビデオの特性を修正し、かつ／又はメモリ１０２から静止画像若しくはビデオを削除する実行可能命令を含む。
In connection with touch-
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３に関連して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正（例えば編集）するなどして操作し、ラベル付けし、削除し、（例えばデジタルスライドショーで、又はアルバムとして）提示し、記憶する実行可能命令を含む。
In connection with the touch
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、ブラウザモジュール１４７は、ウェブページ又はその一部、並びにウェブページにリンクされた添付物及びその他のファイルを検索する、それらにリンクする、受信する、及び表示するなど、ユーザーの命令にしたがってインターネットを閲覧する実行可能命令を含む。
In conjunction with
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、カレンダモジュール１４８は、ユーザーの命令にしたがって、カレンダ及びカレンダに関連するデータ（例えばカレンダ項目、ＴｏＤｏリストなど）を作成し、表示し、修正し、記憶する実行可能命令を含む。
In connection with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットモジュール１４９は、任意選択的にユーザーによってダウンロードされて使用されるミニアプリケーション（例えば気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、目覚まし時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）であるか、又はユーザーによって作成されるミニアプリケーション（例えばユーザー作成ウィジェット１４９−６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Extensible Markup Language、拡張可能マークアップ言語）ファイル、及びＪａｖａＳｃｒｉｐｔファイル（例えばＹａｈｏｏ！ウィジェット）を含む。
In conjunction with the
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７に関連して、ウィジェットクリエータモジュール１５０は、ウィジェットを作成する（例えばウェブページのユーザー指定部分をウィジェットにする）実行可能命令を含む。
In conjunction with the
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、検索モジュール１５１は、ユーザーの命令にしたがって、１つ以上の検索基準（例えば１つ以上のユーザー指定の検索語）と一致する、メモリ１０２内のテキスト、音楽、音声、画像、ビデオ、及び／又はその他のファイルを検索する実行可能命令を含む。
In conjunction with the touch
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７に関連して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又はその他の音声ファイルをユーザーがダウンロードして再生することを可能にする実行可能命令、及び（例えばタッチ感知ディスプレイシステム１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）ビデオを表示したり提示したりするなどして再生する実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
In connection with touch
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４に関連して、メモモジュール１５３は、ユーザーの命令にしたがって、メモ、ＴｏＤｏリストなどを作成して管理する実行可能命令を含む。
In connection with the touch-
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７に関連して、地図モジュール１５４は、ユーザーの命令にしたがって、地図及び地図に関連するデータ（例えば、運転方向、特定の場所又はその付近の店舗及びその他の対象地点についてのデータ、並びにその他の場所に基づくデータ）を受信し、表示し、修正し、記憶する実行可能命令を含む。
In conjunction with the
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７に関連して、オンラインビデオモジュール１５５は、ユーザーがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えばストリーミング及び／又はダウンロードによって）受信し、（例えばタッチスクリーン１１２上で、又は無線で、若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを有する電子メールを送信し、またその他の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１を使用して、特定のオンラインビデオへのリンクを送信する。
In connection with touch
上記で特定したモジュール及びアプリケーションの各々は、上述した１つ以上の機能を実行する実行可能命令のセット、及び本願で説明する方法（例えば本明細書で説明するコンピュータ実施方法及びその他の情報処理方法）に対応する。これらのモジュール（すなわち命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、様々な実施形態では、これらのモジュールの様々なサブセットを、任意選択的に、組み合わせるなどして再構成する。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、任意選択的に、上記で説明していない追加のモジュール及びデータ構造を記憶する。 Each of the modules and applications identified above is a set of executable instructions to perform one or more of the functions described above, and the methods described herein (eg, computer-implemented methods and other information processing methods described herein) Corresponding to). These modules (ie, instruction sets) need not be implemented as separate software programs, procedures, or modules, and thus, in various embodiments, optionally combine various subsets of these modules Reconfigure and so on. In some embodiments, the memory 102 optionally stores a subset of the modules and data structures identified above. In addition, the memory 102 optionally stores additional modules and data structures not described above.
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイヤルなど）の数が削減される。
In some embodiments,
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザーインターフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザーによってタッチされたときに、デバイス１００上に表示される任意のユーザーインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力制御デバイスである。
The set of predetermined functions performed only through the touch screen and / or touch pad optionally includes navigation between user interfaces. In some embodiments, the touch pad navigates the
図１Ｂは、いくつかの実施形態によるイベントハンドリングのための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、（例えばオペレーティングシステム１２６の）イベントソータ１７０及びそれぞれのアプリケーション１３６−１（例えば上述したアプリケーション１３６、１３７〜１５５、３８０〜３９０のうちのいずれか）を含む。
FIG. 1B is a block diagram illustrating exemplary components for event handling according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or 370 (FIG. 3) includes event sorter 170 (eg, of operating system 126) and respective application 136-1 (eg,
イベントソータ１７０は、イベント情報を受信し、イベント情報の送達先となるアプリケーション１３６−１及びアプリケーション１３６−１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブである、又は実行中であるときにタッチ感知ディスプレイシステム１１２に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７をイベントソータ１７０が使用して、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定し、アプリケーション内部状態１９２をイベントソータ１７０が使用して、イベント情報の送達先となるアプリケーションビュー１９１を決定する。
The event sorter 170 receives the event information, and determines the application 136-1 and the application view 191 of the application 136-1 as a delivery destination of the event information. The event sorter 170 includes an
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開するときに使用される再開情報、アプリケーション１３６−１によって表示されている、又は表示される準備ができている情報を示すユーザーインターフェース状態情報、ユーザーがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザーが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
In some embodiments, application
イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えばマルチタッチジェスチャの一部としてのタッチ感知ディスプレイシステム１１２上のユーザーのタッチ）についての情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
The event monitor 171 receives event information from the
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応答して、周辺機器インターフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、及び／又は所定の持続時間よりも長い入力を受信すること）があったときのみ、イベント情報を伝送する。
In some embodiments, event monitor 171 sends requests to peripherals interface 118 at predetermined intervals. In response, peripherals interface 118 transmits event information. In other embodiments, the
いくつかの実施形態では、イベントソータ１７０は、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
In some embodiments, the event sorter 170 includes a hit
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するときに、１つ以上のビュー内のどこでサブイベントが発生したかを決定するソフトウェア手順を提供する。ビューは、ユーザーがディスプレイ上で見ることができる制御要素およびその他の要素で構成される。
Hit
アプリケーションに関連するユーザーインターフェースの別の態様は、その中に情報が表示され、タッチによるジェスチャが行われる、本明細書でアプリケーションビュー又はユーザーインターフェースィンドウと呼ぶこともあるビューのセットである。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。 Another aspect of the user interface associated with the application is a set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and touch gestures are performed. The application view (of the respective application) in which the touch is detected optionally corresponds to the program level in the program hierarchy or view hierarchy of the application. For example, the lowest level view in which a touch is detected is optionally referred to as a hit view, and the set of events recognized as appropriate input is optionally initially initiated a gesture by touch Determined based at least in part on the hit view of the touch.
ヒットビュー判定モジュール１７２は、タッチによるジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（すなわちイベント又は潜在的なイベントを形成するサブイベントのシーケンスのうちの最初のサブイベント）が発生する最下位レベルビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、そのヒットビューは、通常は、それがヒットビューとして特定されたのと同じタッチ又は入力源に関連する全てのサブイベントを受信する。
The hit
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連する領域に完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
The active event
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３によって判定されたイベント認識部にイベント情報を送達する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取得されるイベント情報を、イベント待ち行列に記憶する。
The
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６−１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型モジュール、又は接触／動きモジュール１３０などのメモリ１０２に記憶された別のモジュールの一部である。
In some embodiments,
いくつかの実施形態では、アプリケーション１３６−１は、アプリケーションのユーザーインターフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令をそれぞれ含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。通常は、それぞれのアプリケーションビュー１９１が、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上が、ユーザーインターフェースキット（図示せず）、又はアプリケーション１３６−１がメソッド及びその他の性質をそこから継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベントハンドラ１９０は、データアップデーター１７６、オブジェクトアップデーター１７７、ＧＵＩアップデーター１７８、及び／又はイベントソータ１７０から受信するイベントデータ１７９のうちの１つ以上を含む。イベントハンドラ１９０は、任意選択的に、データアップデーター１７６、オブジェクトアップデーター１７７、又はＧＵＩアップデーター１７８を利用して、又は呼び出して、アプリケーション内部状態１９２を更新する。あるいは、アプリケーションビュー１９１のうちの１つ以上は、それぞれ１つ以上のイベントハンドラ１９０を含む。また、いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
In some embodiments, application 136-1 includes a plurality of
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えばイベントデータ１７９）を受信し、そのイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０は、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
Each
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、例えばタッチ又はタッチの移動などのサブイベントに関する情報を含む。サブイベントによっては、イベント情報は、サブイベントの位置などの追加の情報も含む。サブイベントがタッチの動きに関するものであるときには、イベント情報は、任意選択的に、サブイベントの速さ及び方向も含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
The
イベント比較部１８４は、イベント情報を所定のイベント又はサブイベントの定義と比較し、この比較に基づいて、イベント又はサブイベントを決定する、又はイベント若しくはサブイベントの状態を決定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７−１）及びイベント２（１８７−２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ移動、タッチ取消し、及び複数タッチを含む。１実施例では、イベント１（１８７−１）の定義は、表示されたオブジェクト上でのダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上での所定の期間にわたる第１のタッチ（タッチ開始）と、所定の期間にわたる第１のリフトオフ（タッチ終了）と、表示されたオブジェクト上での所定の期間にわたる第２のタッチ（タッチ開始）と、所定の期間にわたる第２のリフトオフ（タッチ終了）とを含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上での所定の期間にわたるタッチ（又は接触）と、タッチ感知ディスプレイシステム１１２にわたるタッチの移動と、タッチのリフトオフ（タッチ終了）とを含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベントハンドラ１９０についての情報も含む。
The
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザーインターフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザーインターフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザーインターフェースオブジェクトがタッチ感知ディスプレイシステム１１２に表示されるアプリケーションビューでは、タッチ感知ディスプレイシステム１１２上でタッチが検出されると、イベント比較部１８４は、ヒットテストを実行して、３つのユーザーインターフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定する。表示された各オブジェクトが、それぞれイベントハンドラ１９０と関連付けられている場合には、イベント比較部は、ヒットテストの結果を使用して、どのイベントハンドラ１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
In some embodiments, event definition 187 includes an event definition for each user interface object. In some embodiments,
いくつかの実施形態では、それぞれのイベント１８７の定義は、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の送達を遅延させる遅延アクションも含む。 In some embodiments, the definition of each event 187 also includes a delayed action that delays delivery of event information until it is determined whether the sequence of sub-events corresponds to the event type of the event recognizer.
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
If each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント送達システムがどのようにしてサブイベント送達を実行すべきかをアクティブに関わりがあるイベント認識部に対して示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における様々なレベルに送達されるかどうかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
In some embodiments, each
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報を、イベントハンドラ１９０に送達する。イベントハンドラ１９０をアクティブ化することは、サブイベントをそれぞれのヒットビューに送信すること（及び遅らせて送信すること）とは異なる。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベントハンドラ１９０は、そのフラグを捕らえ、所定のプロセスを実行する。
In some embodiments, each
いくつかの実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化せずにサブイベントについてのイベント情報を送達するサブイベント配信命令を含む。このサブイベント配信命令は、その代わりに、一連のサブイベントと関連付けられたイベントハンドラ、又はアクティブに関わりがあるビューに、イベント情報を送達する。一連のサブイベント又はアクティブに関わりがあるビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定のプロセスを実行する。
In some embodiments,
いくつかの実施形態では、データアップデーター１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データアップデーター１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデーター１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデーター１７７は、新たなユーザーインターフェースオブジェクトを作成する、又はユーザーインターフェースオブジェクトの位置を更新する。ＧＵＩアップデーター１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデーター１７８は、表示情報を準備し、この表示情報をタッチ感知ディスプレイ上に表示するためにグラフィックモジュール１３２に送信する。
In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, data updater 176 may update the telephone number used by
いくつかの実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデーター１７６、オブジェクトアップデーター１７７及びＧＵＩアップデーター１７８を含む、又はそれらへのアクセスを有する。いくつかの実施形態では、データアップデーター１７６、オブジェクトアップデーター１７７、及びＧＵＩアップデーター１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, event handler (s) 190 includes or has access to data updater 176, object updater 177 and GUI updater 178. In some embodiments, data updater 176, object updater 177, and GUI updater 178 are included in a single module of each application 136-1 or application view 191. In other embodiments, they are included in more than one software module.
タッチ感知ディスプレイ上のユーザーのタッチのイベント処理に関する以上の説明は、その全てがタッチスクリーン上で開始されるとは限らない、入力デバイスを備える多機能デバイス１００を動作させるためのその他の形態のユーザー入力にも当てはまることを理解されたい。例えば、任意選択的に１回又は複数回のキーボードの押圧又は保持と連携したマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
The above description regarding event handling of user touches on a touch-sensitive display is not limited to being initiated on a touch screen, but other forms of users for operating a
図１Ｃは、いくつかの実施形態による触知出力モジュールを示すブロック図である。いくつかの実施形態では、Ｉ／Ｏサブシステム１０６（例えば触覚フィードバックコントローラ１６１（図１Ａ）及び／又はその他の入力コントローラ（単数又は複数）１６０（図１Ａ）は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。いくつかの実施形態では、周辺機器インターフェース１１８は、図１Ｃに示す例示的な構成要素のうちの少なくともいくつかを含む。
FIG. 1C is a block diagram illustrating a tactile output module according to some embodiments. In some embodiments, the I / O subsystem 106 (eg, the haptic feedback controller 161 (FIG. 1A) and / or other input controller (s) 160 (FIG. 1A) may be configured as shown in FIG. 1C. In at least some of the elements, in some embodiments,
いくつかの実施形態では、触知出力モジュールは、触覚フィードバックモジュール１３３を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、電子デバイス上のソフトウェアアプリケーションからのユーザーインターフェースフィードバックのために触覚出力（例えば、表示されたユーザーインターフェースに対応するユーザー入力に応答するフィードバック、並びに電子デバイスのユーザーインターフェースの動作の性能又はイベントの発生を示す警告及びその他の通知）を集成し、結合する。触覚フィードバックモジュール１３３は、波形モジュール１２３（触知出力を生成するために使用される波形を提供する）、ミキサ１２５（異なるチャネルの波形など複数の波形を混合する）、圧縮機１２７（波形のダイナミックレンジを縮小又は圧縮する）、低域通過フィルタ１２９（波形の高周波信号成分をフィルタリングによって除去する）、及び熱コントローラ１３１（熱的条件にしたがって波形を調整する）のうちの１つ以上を含む。いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックコントローラ１６１（図１Ａ）に含まれる。いくつかの実施形態では、触覚フィードバックモジュール１３３の別のユニット（又は触覚フィードバックモジュール１３３の別の実施態様）が、オーディオコントローラ（例えば図１Ａのオーディオ回路１１０）にも含まれ、オーディオ信号を生成するために使用される。いくつかの実施形態では、単一の触覚フィードバックモジュール１３３を使用して、オーディオ信号を生成し、触知出力の波形を生成する。
In some embodiments, the tactile output module includes a
いくつかの実施形態では、触覚フィードバックモジュール１３３は、トリガモジュール１２１（例えば、生成する触知出力を決定し、対応する触知出力を生成するプロセスを開始するソフトウェアアプリケーション、オペレーティングシステム、又はその他のソフトウェアモジュール）も含む。いくつかの実施形態では、トリガモジュール１２１は、（例えば波形モジュール１２３による）波形の生成を開始するトリガ信号を生成する。例えば、トリガモジュール１２１は、予め設定されたタイミング基準に基づいてトリガ信号を生成する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３の外部からトリガ信号を受信し（例えば、いくつかの実施形態では、触覚フィードバックモジュール１３３は、触覚フィードバックモジュール１３３の外部に位置するハードウェア入力処理モジュール１４６からトリガ信号を受信する）、このトリガ信号を、触覚フィードバックモジュール１３３内の他の構成要素（例えば波形モジュール１２３）、又はユーザーインターフェース要素（例えばアプリケーション内のアプリケーションアイコン又はアフォーダンス）のアクティブ化に基づいて（例えばトリガモジュール１２１によって）動作をトリガするソフトウェアアプリケーション、又はハードウェア入力デバイス（例えばホームボタン又は強度感知タッチスクリーンなどの強度感知入力面）に中継する。いくつかの実施形態では、トリガモジュール１２１は、（例えば、図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック生成命令も受信する。いくつかの実施形態では、トリガモジュール１２１は、触覚フィードバックモジュール１３３（又は触覚フィードバックモジュール１３３内のトリガモジュール１２１）が（例えば図１Ａ及び図３の触覚フィードバックモジュール１３３から）触知フィードバック命令を受信したのに応答して、トリガ信号を生成する。
In some embodiments, the
波形モジュール１２３は、（例えばトリガモジュール１２１から）トリガ信号を入力として受信し、トリガ信号を受信したのに応答して、１つ以上の触知出力を生成するための波形（例えば、図４Ｆ〜図４Ｇを参照して以下で更に詳細に述べる波形など、波形モジュール１２３によって使用されるように指定された波形の所定のセットから選択された波形）を提供する。 The waveform module 123 receives a trigger signal as input (eg, from the trigger module 121), and generates a waveform (eg, FIG. A waveform selected from a predetermined set of waveforms designated for use by the waveform module 123, such as those described in more detail below with reference to FIG. 4G.
ミキサ１２５は、（例えば波形モジュール１２３から）入力として波形を受信し、これらの波形を混合する。例えば、ミキサ１２５が２つ以上の波形（例えば第１のチャネルの第１の波形及び第１の波形と少なくとも部分的に重なる第２のチャネルの第２の波形）を受信したときには、ミキサ１２５は、この２つ以上の波形の和に対応する合成波形を出力する。また、いくつかの実施形態では、ミキサ１２５は、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させることによって）この２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。いくつかの状況では、ミキサ１２５は、合成波形から除去する１つ以上の波形を選択する（例えば、触知出力生成器１６７によって同時に出力されることが要求されている４つ以上のソースからの波形があるときには、最も古いソースの波形を除去する）。 The mixer 125 receives the waveforms as input (e.g., from the waveform module 123) and mixes the waveforms. For example, when mixer 125 receives more than one waveform (eg, a first waveform of a first channel and a second waveform of a second channel that at least partially overlaps the first waveform), mixer 125 may The composite waveform corresponding to the sum of the two or more waveforms is output. Also, in some embodiments, the mixer 125 (eg, by increasing the scale of a particular waveform or waveforms and / or reducing the scale of the remaining waveforms) One or more of the waveforms are modified to emphasize the particular waveform or waveforms over the remaining of the two or more waveforms. In some situations, mixer 125 selects one or more waveforms to remove from the synthesized waveform (eg, from four or more sources that are required to be output simultaneously by tactile output generator 167) If there is a waveform, remove the oldest source waveform).
圧縮機１２７は、波形（例えばミキサ１２５からの合成波形）を入力として受信し、これらの波形を修正する。いくつかの実施形態では、圧縮機１２７は、波形に対応する触知出力が減少するように、（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３）の物理的仕様にしたがって）波形を減少させる。いくつかの実施形態では、圧縮機１２７は、波形に対して所定の最大振幅を課すことなどによって、波形を制限する。例えば、圧縮機１２７は、所定の振幅閾値を超えない波形部分の振幅を維持する一方で、所定の振幅閾値を超える波形部分の振幅を減少させる。いくつかの実施形態では、圧縮機１２７は、波形のダイナミックレンジを減少させる。いくつかの実施形態では、圧縮機１２７は、合成波形が触知出力生成器１６７の性能仕様（例えば、力及び／又は可動質量変位の限界）内に留まるように、波形のダイナミックレンジを動的に減少させる。 The compressor 127 receives as input (e.g., the combined waveform from the mixer 125) and corrects these waveforms. In some embodiments, the compressor 127 (eg, according to the physical specifications of the tactile output generator 167 (FIG. 1A) or 357 (FIG. 3), such that the tactile output corresponding to the waveform is reduced. Reduce the waveform. In some embodiments, compressor 127 limits the waveform, such as by imposing a predetermined maximum amplitude on the waveform. For example, the compressor 127 reduces the amplitude of the waveform portion above the predetermined amplitude threshold while maintaining the amplitude of the waveform portion not exceeding the predetermined amplitude threshold. In some embodiments, compressor 127 reduces the dynamic range of the waveform. In some embodiments, compressor 127 may dynamically move the dynamic range of the waveform so that the combined waveform remains within the performance specifications of tactile output generator 167 (eg, force and / or movable mass displacement limits). Reduce to
低域通過フィルタ１２９は、波形（例えば圧縮機１２７からの圧縮波形）を入力として受信し、これらの波形をフィルタリング（例えば平滑化）する（例えば、波形の高周波信号成分を除去又は低減する）。例えば、いくつかの場合には、圧縮機１２７は、圧縮波形中に、触知出力の生成を妨害し、かつ／又は圧縮波形にしたがって触知出力を生成したときに触知出力生成器１６７の性能仕様を超える外来信号（例えば高周波信号成分）を含む。低域通過フィルタ１２９は、波形中のこのような外来信号を低減又は除去する。 The low-pass filter 129 receives a waveform (for example, a compressed waveform from the compressor 127) as an input, and filters (for example, smoothes) these waveforms (for example, removes or reduces a high-frequency signal component of the waveform). For example, in some cases, the compressor 127 interferes with the generation of the tactile output during the compressed waveform and / or generates the tactile output according to the compressed waveform. Includes extraneous signals (eg, high frequency signal components) that exceed performance specifications. The low-pass filter 129 reduces or eliminates such extraneous signals in the waveform.
熱コントローラ１３１は、波形（例えば、低域通過フィルタ１２９からのフィルタリングされた波形）を入力として受信し、これらの波形を、デバイス１００の熱的条件にしたがって（例えば、触覚フィードバックコントローラ１６１の温度などデバイス１００内で検出される内部温度、及び／又はデバイス１００によって検出される外部温度に基づいて）調整する。例えば、いくつかの場合には、触覚フィードバックコントローラ１６１の出力は、温度に応じて変化する（例えば、触覚フィードバックコントローラ１６１は、同じ波形を受信したのに応答して、触覚フィードバックコントローラ１６１が第１の温度であるときには第１の触知出力を生成し、触覚フィードバックコントローラ１６１が第１の温度とは別個の第２の温度であるときには第２の触知出力を生成する）。例えば、触知出力の大きさ（又は振幅）は、温度に応じて変化することもある。温度変化の影響を低下させるために、波形を修正する（例えば、波形の振幅を、温度に基づいて増大又は減少させる）。
The thermal controller 131 receives as inputs the waveforms (eg, filtered waveforms from the low pass filter 129) and these waveforms according to the thermal conditions of the device 100 (eg, the temperature of the
いくつかの実施形態では、触覚フィードバックモジュール１３３（例えばトリガモジュール１２１）は、ハードウェア入力処理モジュール１４６に結合される。いくつかの実施形態では、図１Ａの他の入力コントローラ（単数又は複数）１６０が、ハードウェア入力処理モジュール１４６を含む。いくつかの実施形態では、ハードウェア入力処理モジュール１４６は、ハードウェア入力デバイス１４５（例えば、ホームボタン、又は強度感知タッチスクリーンなどの強度感知入力面など、図１Ａの他の入力又は制御デバイス１１６）から入力を受信する。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、タッチパッド３５５（図３）、他の入力若しくは制御デバイス１１６（図１Ａ）のうちの１つ、又は強度感知ホームボタンなど、本明細書に記載する任意の入力デバイスである。いくつかの実施形態では、ハードウェア入力デバイス１４５は、タッチ感知ディスプレイシステム１１２（図１Ａ）、キーボード／マウス３５０（図３）、又はタッチパッド３５５（図３）ではなく、強度感知ホームボタンからなる。いくつかの実施形態では、ハードウェア入力デバイス１４５（例えば強度感知ホームボタン又はタッチスクリーン）からの入力に応答して、ハードウェア入力処理モジュール１４６は、ホームボタンの「クリック」（例えば「ダウンクリック」又は「アップクリック」）に対応する入力など、所定の入力基準を満たすユーザー入力が検出されたことを示す１つ以上のトリガ信号を、触覚フィードバックモジュール１３３に提供する。いくつかの実施形態では、触覚フィードバックモジュール１３３は、ホームボタンの「クリック」に対応する入力に応答して、ホームボタンの「クリック」に対応する波形を提供して、物理ホームボタンを押す触覚フィードバックをシミュレートする。
In some embodiments, haptic feedback module 133 (eg, trigger module 121) is coupled to hardware
いくつかの実施形態では、触覚出力モジュールは、触知出力の生成を制御する触覚フィードバックコントローラ１６１（例えば図１Ａの触覚フィードバックコントローラ１６１）を含む。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、複数の触知出力生成器に結合され、この複数の触知出力生成器のうちの１つ以上の触知出力生成器を選択し、選択した１つ以上の触知出力生成器に波形を送信して、触知出力を生成する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力要求、及びソフトウェアイベントに対応する触知出力要求（例えば触覚フィードバックモジュール１３３からの触知出力要求）を調整し、（例えば、特定の波形（単数又は複数）のスケールを増大させ、かつ／又は残りの波形のスケールを低減させて、ハードウェア入力デバイス１４５のアクティブ化に対応する触知出力をソフトウェアイベントに対応する触知出力よりも優先することなどによって）２つ以上の波形のうちの１つ以上の波形を修正して、特定の波形（単数又は複数）を２つ以上の波形のうちの残りの波形より強調する。
In some embodiments, the haptic output module includes a haptic feedback controller 161 (eg,
いくつかの実施形態では、図１Ｃに示すように、触覚フィードバックコントローラ１６１の出力は、デバイス１００のオーディオ回路（例えば図１Ａのオーディオ回路１１０）に結合され、デバイス１００のオーディオ回路にオーディオ信号を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、触知出力を生成するために使用される波形と、触知出力の生成に関連して音声出力を提供するために使用されるオーディオ信号の両方を提供する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、オーディオ信号及び／又は（触知出力を生成するために使用される）波形を、（例えばオーディオ信号及び／又は波形を遅延させることによって）音声出力及び触知出力が同期するように修正する。いくつかの実施形態では、触覚フィードバックコントローラ１６１は、デジタル波形を、増幅器１６３及び／又は触知出力生成器１６７によって受信されるアナログ信号に変換するために使用される、デジタルアナログ変換器を含む。
In some embodiments, as shown in FIG. 1C, the output of
いくつかの実施形態では、触知出力モジュールは、増幅器１６３を含む。いくつかの実施形態では、増幅器１６３は、（例えば触覚フィードバックコントローラ１６１から）波形を受信し、これらの波形を増幅した後で、これらの増幅した波形を触知出力生成器１６７（例えば触知出力生成器１６７（図１Ａ）又は３５７（図３））に送信する。例えば、増幅器１６３は、受信した波形を、触知出力生成器１６７の物理的仕様に応じた信号レベルに増幅し（例えば、触知出力生成器１６７に送信される信号が触覚フィードバックコントローラ１６１から受信した波形に対応する触知出力を生成するように、触知出力を生成する触知出力生成器１６７が必要とする電圧及び／又は電流に増幅し）、この増幅した波形を触知出力生成器１６７に送信する。これに応答して、触知出力生成器１６７は、（例えば、可動質量をその可動質量の中立位置を基準として１つ以上の方向に往復させることによって）触覚出力を生成する。
In some embodiments, the tactile output module includes an
いくつかの実施形態では、触知出力モジュールは、触知出力生成器１６７に結合されたセンサ１６９を含む。センサ１６９は、触知出力生成器１６７又は触知出力生成器１６７の１つ以上の構成要素（例えば、触覚出力を生成するために使用される膜などの１つ以上の可動部）の状態又は状態変化（例えば、機械的位置、物理的変位、及び／又は移動）を検出する。いくつかの実施形態では、センサ１６９は、磁場センサ（例えばホール効果センサ）、又はその他の変位及び／若しくは移動センサである。いくつかの実施形態では、センサ１６９は、触覚フィードバックコントローラ１６１に情報（例えば触知出力生成器１６７の１つ以上の部分の位置、変位、及び／又は移動）を提供し、触覚フィードバックコントローラ１６１は、センサ１６９から提供される触知出力生成器１６７の状態に関する情報にしたがって、触覚フィードバックコントローラ１６１から出力される波形（例えば、任意選択的に増幅器１６３を介して触知出力生成器１６７に送信される波形）を調整する。
In some embodiments, the tactile output module includes a sensor 169 coupled to the
図２は、いくつかの実施形態による、タッチスクリーン（例えば図１Ａのタッチ感知ディスプレイシステム１１２）を有するポータブル多機能デバイス１００を示す図である。タッチスクリーンは、任意選択的に、ユーザーインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに以下で述べるその他の実施形態では、ユーザーは、例えば、１本以上の指２０２（図では一定の縮尺では描かれていない）又は１つ以上のスタイラス２０３（図では一定の縮尺では描かれていない）によってグラフィック上でジェスチャを行うことによってグラフィックのうちの１つ以上を選択することができる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザーがその１つ以上のグラフィックとの接触を断ったときに行われる。いくつかの実施形態では、ジェスチャは、任意選択的に、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ、及び／又は下方向へ）、及び／又はデバイス１００と接触している指のローリング（右から左へ、左から右へ、上方向へ、及び／又は下方向へ）を含む。いくつかの実装形態又は状況では、グラフィックとの不慮の接触では、グラフィックは選択されない。例えば、選択に対応するジェスチャがタップであるときには、アプリケーションアイコンの上をスイープするスワイプジェスチャでは、任意選択的に、対応するアプリケーションは選択されない。
FIG. 2 is a diagram illustrating a
また、デバイス１００は、任意選択的に、「ホーム」又はメニューボタン２０４などの１つ以上の物理ボタンも含む。前述のように、メニューボタン２０４は、任意選択的に、デバイス１００上で任意選択的に実行されるアプリケーションのセット内の任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイに表示されるＧＵＩ内のソフトキーとして実装される。
The
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれることもある）、デバイスの電源オン／オフ及びデバイスのロックのためのプッシュボタン２０６、ボリューム調節ボタン（単数又は複数）２０８、加入者識別モジュール（Subscriber Identity Module、ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、並びにドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。また、いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、いくつかの機能をアクティブ化又は非アクティブ化するための口頭入力を受け付ける。また、デバイス１００は、任意選択的に、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザーに対する触知出力を生成する１つ以上の触知出力生成器１６７も含む。
In some embodiments, the
図３は、いくつかの実施形態による、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育用デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、一般的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インターフェース３６０と、メモリ３７０と、これらのコンポーネントを相互接続する１つ以上の通信バス３２０とを含む。通信バス３２０は、システムコンポーネント間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた任意選択で、キーボード及び／又はマウス（又は、他のポインティングデバイス）３５０、並びにタッチパッド３５５、デバイス３００上で触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して上記説明された触知出力生成器１６７と同様の）、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上記説明された接触強度センサ１６５と同様の接触強度センサ）を含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似の、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は任意選択で、それらのモジュールを記憶しない。
FIG. 3 is a block diagram of an exemplary multifunction device having a display and touch sensitive surface according to some embodiments. Device 300 need not be portable. In some embodiments, the device 300 can be a laptop computer, desktop computer, tablet computer, multimedia player device, navigation device, educational device (such as a children's learning toy), a gaming system, or a control device (eg, a home) Controller for business or business use). The device 300 typically includes one or more processing units (CPUs) 310, one or more networks or
上記識別された図３における要素の各々は任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記識別されたモジュールのうちの各々は、上記説明された機能を実行する命令セットに対応する。上記識別されたモジュール又はプログラム（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは任意選択で、様々な実施形態において組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、上記で識別されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the identified elements in FIG. 3 is optionally stored in one or more of the previously mentioned memory devices. Each of the identified modules corresponds to a set of instructions that perform the functions described above. The above identified modules or programs (ie, instruction sets) need not be implemented as separate software programs, procedures, or modules, and thus various subsets of those modules are optionally various embodiments. And may be rearranged or otherwise rearranged. In some embodiments, the memory 370 optionally stores a subset of the modules and data structures identified above. Further, memory 370 optionally stores additional modules and data structures not described above.
ここで、ポータブル多機能デバイス１００上に任意選択で実装されるユーザーインターフェース（「ＵＩ」）の実施形態に留意する。
We now note an embodiment of a user interface ("UI") that is optionally implemented on the
図４Ａは、いくつかの実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザーインターフェース４００を示す。同様のユーザーインターフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザーインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ−Ｆｉ信号などの無線通信のための信号強度インジケータ、
●時間、
●Ｂｌｕｅｔｏｏｔｈインジケータ、
●バッテリ状態インジケータ、
●下記などの、頻繁に使用されるアプリケーションのためのアイコンを有するトレー４０８：
○不在着信又は音声メールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされる、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「音楽」とラベル付けされるビデオ及び音楽プレイヤモジュール１５２のためのアイコン４２２、並びに
●下記などの、その他のアプリケーションのためのアイコン：
○「メッセージ」とラベル付けされるＩＭモジュール１４１のためのアイコン４２４、
○「カレンダ」とラベル付けされる、カレンダモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株式」とラベル付けされる、株式ウィジェット１４９−２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「気象」とラベル付けされる、気象ウィジェット１４９−１用のアイコン４３８、
○「時計」とラベル付けされる、目覚まし時計ウィジェット１４９−４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
FIG. 4A illustrates an
● Signal strength indicators for wireless communications such as cellular and Wi-Fi signals,
● Time,
● Bluetooth indicator,
● Battery status indicator,
A
O an
○ an
○
○
○ an
○ An
○ An
○
○
○ An
○
○
○
An
図４Ａに表示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択で、様々なアプリケーションアイコンに使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。 It should be noted that the label of the icon displayed in FIG. 4A is merely an example. For example, other labels are optionally used for various application icons. In some embodiments, the label of each application icon includes the name of the application corresponding to the respective application icon. In some embodiments, the label of a particular application icon is different from the name of the application that corresponds to the particular application icon.
図４Ｂは、ディスプレイ４５０と分離したタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３）を有するデバイス（例えば、デバイス３００、図３）上の例示的なユーザーインターフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザー入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザーインターフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザーインターフェースに任意選択的に使用されることを理解されたい。
FIG. 4B illustrates an exemplary user interface on a device (eg, device 300, FIG. 3) having a
これに加えて、以下の説明は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して説明されるが、いくつかの実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、任意選択的に、マウスクリックと置き換えられ（例えば、接触の代わりに）、それに続いて、スワイプの経路に沿ってカーソルの移動が行われる（例えば、接触の移動の代わりに）。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザー入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。 Additionally, while the following description is primarily described with reference to finger input (eg, finger touch, finger tap gesture, finger swipe gesture, etc.), in some embodiments, It should be understood that one or more of the finger inputs may be replaced with input from another input device (e.g., a mouse based input or a stylus input). For example, a swipe gesture is optionally replaced with a mouse click (eg, instead of contact), followed by movement of the cursor along the swipe path (eg, instead of movement of touch) ). As another example, the tap gesture is optionally replaced with a mouse click while the cursor is over the position of the tap gesture (e.g. detect touch and then stop detecting touch) instead of). Similarly, it is understood that when multiple user inputs are detected simultaneously, multiple computer mice are optionally used simultaneously, or mouse and finger contacts are optionally used simultaneously. I want to.
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザーが対話しているユーザーインターフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含むいくつかの実装形態において、カーソルは「フォーカスセレクタ」として機能し、これにより、カーソルが特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の上にある間に、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調整される。タッチスクリーンディスプレイ上のユーザーインターフェース要素との直接的な対話を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２、又は図６Ａのタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触が「フォーカスセレクタ」として機能し、これにより、タッチスクリーンディスプレイ上の特定のユーザーインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザーインターフェース要素）の場所で入力（例えば、接触による押圧入力）が検出されると、この特定のユーザーインターフェース要素が、検出された入力にしたがって調節される。いくつかの実装形態では、（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、フォーカスがユーザーインターフェースの１つの領域からユーザーインターフェースの別の領域に移動され、これらの実装形態では、フォーカスセレクタは、ユーザーインターフェースの異なる領域の間のフォーカスの移動にしたがって移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザーの意図したユーザーインターフェースとの対話を通信するために（例えば、ユーザーが対話することを意図しているユーザーインターフェースの要素をデバイスに示すことによって）、ユーザーによって制御されるユーザーインターフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときに、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に表示されている他のユーザーインターフェース要素ではなく）対応するボタンをユーザーがアクティブ化しようとしていることを示すものである。
As used herein, the term “focus selector” refers to an input element that indicates the current portion of the user interface with which the user is interacting. In some implementations that include a cursor or other location marker, the cursor acts as a "focus selector", which causes the cursor to be a particular user interface element (eg, a button, window, slider, or other user interface element). This particular user interface when an input (eg, press input) is detected on the touch sensitive surface (eg,
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触又はスタイラスの接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面上の接触の力若しくは圧力の代替するもの（プロキシ）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して判定（又は、測定）される。例えば、タッチ感知面の下に又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、推定される接触の力を判定するために組み合わされる（例えば、加重平均又は合計）。同様に、タッチ感知面上のスタイラスの圧力を判定するために、スタイラスの圧力感知チップが、任意選択的に用いられる。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替物として、任意選択的に用いられる。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。いくつかの実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザー入力の属性として使用することは、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するため、及び／又はユーザー入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御を介して）受信する面積が制限された、低減されたサイズのデバイスにおいて、ユーザーによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザーのアクセスを可能にする。 As used herein and in the claims, the term "intensity" of contact on a touch sensitive surface refers to the force or pressure of contact (eg, finger contact or stylus contact) on the touch sensitive surface Force per unit area), or an alternative (proxy) of contact force or pressure on the touch sensitive surface. The strength of the contact includes at least four different values, and more typically has a range of values including hundreds (e.g., at least 256) different values. The strength of the touch is optionally determined (or measured) using different techniques and different sensors or combinations of sensors. For example, one or more force sensors below or adjacent to the touch sensitive surface are optionally used to measure forces at various points on the touch sensitive surface. In some implementations, force measurements from multiple force sensors are combined (eg, weighted average or sum) to determine the estimated contact force. Similarly, a pressure sensitive tip of the stylus is optionally used to determine the pressure of the stylus on the touch sensitive surface. Alternatively, the size and / or change of the touch area detected on the touch sensitive surface, the capacitance of the touch sensitive surface close to the touch and / or its change, and / or the resistance of the touch sensitive surface close to the touch and / or The change may optionally be used as a surrogate for contact force or pressure on the touch sensitive surface. In some implementations, the alternative measurement for contact force or pressure is used directly to determine if the intensity threshold is exceeded (e.g., the intensity threshold is in units corresponding to the alternative measurement) Described). In some implementations, alternative measurements to the force or pressure of contact are converted to an estimated force or pressure, and the estimated force or pressure is used to determine if the intensity threshold is exceeded. (Eg, the intensity threshold is a pressure threshold measured in units of pressure). Using the intensity of the touch as an attribute of the user input may be to display affordance (e.g. on a touch sensitive display) and / or user input (e.g. a touch sensitive display, a touch sensitive surface, or a knob or button) Etc.) to additional device functions, which may otherwise not be easily accessible by the user, in devices of reduced size that receive limited area via physical / mechanical control such as Allow access for users of.
いくつかの実施形態では、接触／動きモジュール１３０は、ユーザーによって操作が実行されたか否かを判定するための（例えば、ユーザーがアイコン上で「クリック」したか否かを判定するための）、１つ以上の強度閾値のセットを使用する。いくつかの実施形態では、少なくとも強度閾値のサブセットは、ソフトウェアパラメータにしたがって決定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理ハードウェアを変更することなく調節されてもよい）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザーは、強度閾値の組のうちの１つ以上を調節するソフトウェア設定が提供される（例えば、個々の強度閾値を調節することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調節することによって）。
In some embodiments, the contact /
本明細書及び特許請求の範囲で使用されるとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、所定の数の強度サンプル、あるいは所定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終わりを検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の減少を検出する前若しくは後）に対する予め定められた時間期間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルの組に基づく。接触の特性強度は任意選択で、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値、所定の期間にわたって、又は所定の時間において開始した接触の強度を低域通過フィルタリングすることによって生成された値などのうちの１つ以上に基づく。いくつかの実施形態では、特性強度を決定するために、（例えば、特性強度が経時的な接触の強度の平均であるとき）接触の持続期間が使用される。いくつかの実施形態では、操作がユーザーによって実行されたか否かを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、第１の強度閾値及び第２の強度閾値を含むことができる。この実施例では、第１の閾値を上回らない特性強度との接触の結果として第１の操作が実行され、第１の強度閾値を上回り第２の強度閾値を上回らない特性強度との接触の結果として第２の操作が実行され、第２の強度閾値を上回る特性強度との接触の結果として第３の操作が実行される。いくつかの実施形態では、特性強度と１つ以上の強度閾値との間の比較が、第１の操作又は第２の操作のいずれを実行するかを決定するために使用されるのではなく、１つ以上の操作を実行するかどうか（例えば、それぞれのオプションを実行するのか、又はそれぞれの操作の実行を取り止めるのか）を決定するために使用される。 As used herein and in the claims, the term "characteristic strength" of a contact refers to the property of the contact based on one or more strengths of the contact. In some embodiments, the characteristic intensity is based on a plurality of intensity samples. The characteristic strength is optionally a predetermined number of intensity samples, or a predetermined event (e.g. after detecting a touch, before detecting a lift off of the touch, before or after detecting a start of movement of the touch, the touch Before detecting the end of the period, before or after detecting an increase in the intensity of the contact, and / or before or after detecting a decrease in the intensity of the contact) (e.g. 0.05, for a predetermined time period) 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds) based on a set of intensity samples collected. The characteristic strength of the contact is optionally: maximum value of the contact strength, mean value of the contact strength, average value of the contact strength, top 10% value of the contact strength, contact strength Such as half the value of the maximum value, 90% value of the maximum value of the contact intensity, values generated by low-pass filtering the intensity of the contact initiated over a predetermined period of time or at a predetermined time, etc. Based on one or more of In some embodiments, the duration of contact is used (e.g., when the property strength is the average of the strength of contact over time) to determine the property strength. In some embodiments, the characteristic strength is compared to a set of one or more strength thresholds to determine whether the operation has been performed by the user. For example, the set of one or more intensity thresholds may include a first intensity threshold and a second intensity threshold. In this example, the first operation is performed as a result of contact with a characteristic strength not exceeding a first threshold, and the result of contact with a characteristic strength exceeding a first intensity threshold and not exceeding a second strength threshold. A second operation is performed as a second operation, and a third operation is performed as a result of contact with the characteristic intensity above the second intensity threshold. In some embodiments, a comparison between the characteristic strength and one or more intensity thresholds is not used to determine whether to perform the first operation or the second operation. It is used to determine whether to perform one or more operations (e.g., execute each option or cancel the execution of each operation).
いくつかの実施形態では、ジェスチャの一部は、特性強度を決定する目的で識別される。例えば、タッチ感知面は、開始場所から遷移して終了場所まで達する連続的なスワイプ接触（例えば、ドラッグジェスチャ）を受け取る場合があり、この終了場所で接触の強度が増加する。この実施例では、終了場所における接触の特性強度は、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、スワイプ接触の終了場所における部分のみ）に基づいてもよい。いくつかの実施形態では、接触の特性強度を決定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用してもよい。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を決定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除外する。 In some embodiments, a portion of the gesture is identified for purposes of determining characteristic strength. For example, the touch sensitive surface may receive a continuous swipe touch (e.g., a drag gesture) transitioning from a starting location to an ending location at which the intensity of the contact increases. In this example, the characteristic strength of the contact at the end location may be based on only a portion of the swipe contact (e.g., only the portion at the end of the swipe contact), rather than the entire continuous swipe contact. In some embodiments, a smoothing algorithm may be applied to the strength of the swipe contact before determining the characteristic strength of the contact. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and / or an exponential smoothing algorithm. In some situations, these smoothing algorithms rule out minor increases or decreases in swipe contact strength for the purpose of determining characteristic strength.
本明細書で説明されるユーザーインターフェースの図は任意選択で、１つ以上の強度閾値（例えば、接触検出強度閾値ＩＴ０、軽い押圧強度閾値ＩＴＬ、深い押圧強度閾値ＩＴＤ（例えば、少なくとも最初はＩＴＬよりも高い）、及び／又は１つ以上の他の強度閾値（例えば、ＩＴＬよりも低い強度閾値ＩＴＨ））に対する、タッチ感知面上の接触の現在の強度を示す、様々な強度の図を含む。この強度の図は、概して示されたユーザーインターフェースの一部ではなくて、図の解釈を支援するために提供される。いくつかの実施形態では、軽い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、物理マウスのボタン又はトラックパッドのクリックに通常は関連付けられた操作とは異なる操作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押圧強度閾値を下回る（例えば、それを下回ると接触がもはや検出されない名目上の接触検出強度閾値ＩＴ０を上回る）特性強度で接触が検出されるとき、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値と関連付けられた操作を実行することなく、タッチ感知面上の接触の移動にしたがってフォーカスセレクタを移動させる。概して、特に明記されない限り、これらの強度閾値は、ユーザーインターフェースの形態の異なるセットの間で一貫している。 The user interface diagrams described herein are optionally one or more intensity thresholds (eg, touch detection intensity threshold IT 0 , light pressure intensity threshold IT L , deep pressure intensity threshold IT D (eg, at least first is higher than the IT L), and / or one or more other intensity threshold (e.g., for less than IT L intensity threshold IT H)), indicating the current intensity of the contact on the touch-sensitive surface, a variety of Includes intensity diagrams. Diagrams of this strength are not part of the generally shown user interface, but are provided to aid in the interpretation of the diagrams. In some embodiments, the light pressure intensity threshold corresponds to the intensity at which the device performs an operation normally associated with a physical mouse button or trackpad click. In some embodiments, the deep pressure intensity threshold corresponds to an intensity at which the device performs an operation that is different from the operation normally associated with a physical mouse button or trackpad click. In some embodiments, when contact is detected at a characteristic intensity below a light pressure intensity threshold (eg, above a nominal contact detection intensity threshold IT 0 below which contact is no longer detected), the device The focus selector is moved according to the movement of the touch on the touch-sensitive surface without performing an operation associated with the light pressure intensity threshold or the deep pressure intensity threshold. In general, these intensity thresholds are consistent among different sets of user interface forms, unless otherwise stated.
いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度に基づく基準に依存する。例えば、いくつかの「軽い押圧」入力について、入力の間の第１の強度閾値を超える接触の強度は第１の応答をトリガする。いくつかの実施形態では、デバイスによって検出された入力へのデバイスの応答は、入力の間の接触強度及び時間に基づく基準の両方を含む基準に依存する。例えば、いくつかの「深い押圧」入力について、入力の間の軽い押圧に対する第１の強度閾値より大きい第２の強度閾値を超える接触の強度は、第１の強度閾値を満たすことと第２の強度閾値を満たすこととの間で遅延時間が経過した場合のみ、第２の応答をトリガする。この遅延時間は典型的には、継続時間が２００ｍｓ（ミリ秒）よりも短い（例えば、第２の強度閾値の大きさに依存して、４０ｍｓ、１００ｍｓ、又は１２０ｍｓであり、遅延時間は第２の強度閾値が増加するにつれて増加する）。この遅延時間は、深い押圧入力の偶発的な認識を回避するのを助ける。別の実施例として、いくつかの「深い押圧」について、第１の強度閾値が満たされる時間の後に発生する、感度が低下した時間期間が存在する。感度が低下した時間期間の間、第２の強度閾値は増加する。第２の強度閾値のこの一時的な増加もまた、偶発的な深い押圧入力を回避するのを助ける。他の深い押圧入力について、深い押圧入力の検出に対する応答は、時間に基づく基準に依存しない。 In some embodiments, the response of the device to the input detected by the device depends on a criterion based on the touch strength during the input. For example, for some "light press" inputs, the strength of the contact above the first intensity threshold during the input triggers the first response. In some embodiments, the response of the device to the input detected by the device is dependent on criteria including both contact intensity between inputs and a time based criterion. For example, for some "deep press" inputs, the intensity of a contact above a second intensity threshold that is greater than the first intensity threshold for light presses during the input meets the first intensity threshold and the second The second response is triggered only if the delay time between fulfilling the intensity threshold has elapsed. This delay time is typically less than 200 ms (milliseconds) in duration (e.g., 40 ms, 100 ms, or 120 ms, depending on the magnitude of the second intensity threshold), and the delay time is Increases as the intensity threshold increases). This delay time helps to avoid accidental recognition of deep pressing inputs. As another example, for some "deep presses", there is a time period of reduced sensitivity that occurs after the time that the first intensity threshold is met. During the time period of reduced sensitivity, the second intensity threshold increases. This temporary increase of the second intensity threshold also helps to avoid accidental deep pressing inputs. For other deep press inputs, the response to the detection of deep press inputs is not dependent on time-based criteria.
いくつかの実施形態では、入力強度閾値及び／又は対応する出力のうちの１つ以上は、ユーザー設定、接触の動き、入力タイミング、実行しているアプリケーション、強度が加わる速度、同時に行われる入力の数、ユーザー履歴、環境要因（例えば、周囲ノイズ）、フォーカスセレクタの位置などの１つ以上の要因に基づいて変化する。例示的な要因が、米国特許出願第１４／３９９，６０６号及び第１４／６２４，２９６号に記載されており、それらの全体が参照により本明細書に組み込まれている。 In some embodiments, one or more of the input intensity threshold and / or the corresponding output may be a user setting, contact movement, input timing, application being executed, speed at which intensity is applied, simultaneous input input, It varies based on one or more factors such as number, user history, environmental factors (eg, ambient noise), focus selector position, etc. Exemplary factors are described in US Patent Application Nos. 14 / 399,606 and 14 / 624,296, which are incorporated herein by reference in their entireties.
例えば、図４Ｃは、経時的なタッチ入力４７６の強度に部分的に基づいて経時的に変化する動的強度閾値４８０を示す。動的強度閾値４８０は、２つの成分、タッチ入力４７６が最初に検出されるときから所定の遅延時間ｐ１の後に経時的に減衰する第１の成分４７４、及び経時的にタッチ入力４７６の強度を追跡する第２の成分４７８の合計である。第１の成分４７４の初期の高強度閾値は、「深い押圧」応答を偶発的にトリガすることを削減すると共に、タッチ入力４７６が十分な強度を提供する場合に即時的な「深い押圧」応答をなおも可能にする。第２の成分４７８は、タッチ入力における段階的な強度変動によって「深い押圧」応答を意図せずにトリガすることを削減する。いくつかの実施形態では、タッチ入力４７６が動的強度閾値４８０を満たすとき（例えば、図４Ｃのポイント４８１において）、「深い押圧」応答がトリガされる。
For example, FIG. 4C illustrates a
図４Ｄは、別の動的強度閾値４８６（例えば、強度閾値ＩＤ）を示す。図４Ｄはまた、２つの他の強度閾値、第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＬを示す。図４Ｄにおいて、タッチ入力４８４が時間ｐ２の前に第１の強度閾値ＩＴＨ及び第２の強度閾値ＩＴＬを満たすが、時間４８２において遅延時間ｐ２が経過するまでは応答が提供されない。また、図４Ｄでは、動的強度閾値４８６は、所定の遅延時間ｐ１が時間４８２から経過した後（第２の強度閾値ＩＴＬと関連付けられた応答がトリガされたとき）の時間４８８において開始する減衰で、経時的に減衰する。このタイプの動的強度閾値は、第１の強度閾値ＩＨ又は第２の強度閾値ＩＬなど、より低い強度閾値と関連付けられた応答をトリガした直後、又はそれと同時に動的強度閾値ＩＤと関連付けられた応答を偶発的にトリガすることを削減する。
FIG. 4D shows another dynamic intensity threshold 486 (eg, intensity threshold I D ). Figure 4D also shows two other intensity threshold, the first intensity threshold IT H and a second intensity threshold I L. In FIG. 4D, meet the first intensity threshold IT H and a second intensity threshold IT L before the
図４Ｅは、更なる別の動的強度閾値４９２（例えば、強度閾値ＩＤ）を示す。図４Ｅにおいて、強度閾値ＩＴＬと関連付けられた応答は、タッチ入力４９０が最初に検出されるときから遅延時間ｐ２が経過した後にトリガされる。同時に、動的強度閾値４９２は、タッチ入力４９０が最初に検出されるときから所定の遅延時間ｐ１が経過した後に減衰する。よって、タッチ入力４９０を解放することなく、強度閾値ＩＬと関連付けられた応答をトリガした後のタッチ入力４９０の強度の減少と、その後に続くタッチ入力４９０の強度における増加は、タッチ入力４９０の強度が別の強度閾値、例えば、強度閾値ＩＬを下回るときでさえ強度閾値ＩＴＤと関連付けられた応答をトリガすることができる（例えば、時間４９４において）。
FIG. 4E shows yet another dynamic intensity threshold 492 (eg, intensity threshold I D ). In FIG. 4E, the response associated with the intensity threshold IT L, the delay time p2 is triggered after the elapse from the time when the
軽い押圧強度閾値ＩＴＬを下回る強度から軽い押圧強度閾値ＩＴＬと深い押圧強度閾値ＩＴＤとの間の強度への接触の特性強度の増加は、「軽い押圧」入力と称される場合がある。深い押圧強度閾値ＩＴＤを下回る強度から深い押圧強度閾値ＩＴＤを上回る強度への接触の特性強度の増加は、「深い押圧」入力と称される場合がある。接触検出強度閾値ＩＴ０を下回る強度から接触検出強度閾値ＩＴ０と軽い押圧強度閾値ＩＴＬとの間の強度への接触の特性強度の増加は、タッチ面上の接触の検出と称される場合がある。接触検出強度閾値ＩＴ０を上回る強度から接触検出強度閾値ＩＴ０を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と称される場合がある。いくつかの実施形態では、ＩＴ０はゼロである。いくつかの実施形態では、ＩＴ０はゼロよりも大きい。いくつかの図では、タッチ感知面上の接触の強度を表すために、影付きの円又は楕円が使用される。いくつかの図では、それぞれの接触の強度を指定することなく、タッチ感知面上のそれぞれの接触を表すために、影なしの円又は楕円が使用される。 An increase in the characteristic strength of contact from an intensity below the light pressure intensity threshold IT L to an intensity between the light pressure intensity threshold IT L and the deep pressure intensity threshold IT D may be referred to as a “light press” input. . Increase in characteristic intensity of the contact from the intensity below the deep pressing intensity threshold IT D to strength exceeding deep pressure intensity threshold IT D may be referred to as "deep pressing" Enter. An increase in the characteristic strength of contact from an intensity below the contact detection intensity threshold IT 0 to an intensity between the contact detection intensity threshold IT 0 and the light press intensity threshold IT L is referred to as detection of contact on the touch surface There is. Reduction characteristics intensity of contact from strength exceeding contact detection intensity threshold IT 0 to intensity below the contact detection intensity threshold IT 0 may be referred to as a lift-off detection of the contact from the touch surface. In some embodiments, IT 0 is zero. In some embodiments, IT 0 is greater than zero. In some figures, a shaded circle or ellipse is used to represent the strength of contact on the touch-sensitive surface. In some figures, a shadowless circle or ellipse is used to represent each contact on the touch-sensitive surface without specifying the strength of each contact.
本明細書で説明されるいくつかの実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは、複数の接触）で実行されるそれぞれの押圧入力を検出したことに応じて実行され、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度における増加を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの操作は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「ダウンストローク」上で実行される）。いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、押圧入力閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。 In some embodiments described herein, one or more operations are performed in response to detecting a gesture that includes a respective press input, or at each contact (or multiple contacts). Each press input is performed based on detecting an increase in the intensity of the contact (or multiple contacts) that exceeds the press input intensity threshold. Detected. In some embodiments, each operation is performed in response to detecting an increase in the intensity of each contact that exceeds a press input intensity threshold (eg, each operation is “down” of each press input. Performed on the stroke "). In some embodiments, the press input includes an increase in the strength of each contact that is above the press input strength threshold and a subsequent decrease in the strength of the contact that is below the press input strength threshold, each operation being a press input threshold. Is performed in response to detecting a subsequent decrease in the strength of each contact below (eg, each operation is performed on the “upstroke” of each press input).
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な比率である）。よって、いくつかの実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度における増加、及び押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度におけるその後の減少を含み、それぞれの操作は、ヒステリシス強度閾値を下回るそれぞれの接触の強度におけるその後の減少を検出したことに応じて実行される（例えば、それぞれの操作は、それぞれの押圧入力の「アップストローク」上で実行される）。同様に、いくつかの実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、ヒステリシス強度以下の強度への後続の接触の強度の減少を検出するときのみ検出され、それぞれの操作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少）に応じて実行される。 In some embodiments, the device employs intensity hysteresis to avoid accidental input that may be referred to as "jitter", and the device has a hysteresis intensity threshold that has a predetermined relationship to the pressure input intensity threshold. (Eg, the hysteresis intensity threshold is an X intensity unit lower than the pressure input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable percentage of the pressure input intensity threshold). ). Thus, in some embodiments, the press input includes an increase in the strength of each contact above the press input strength threshold and a subsequent decrease in the strength of the contact below the hysteresis strength threshold corresponding to the press input strength threshold; Each operation is performed in response to detecting a subsequent decrease in the strength of each contact below the hysteresis intensity threshold (eg, each operation is performed on the “upstroke” of each press input. ) Similarly, in some embodiments, the press input is an increase in the strength of the contact from the intensity below the hysteresis intensity threshold to an intensity above the press input intensity threshold, and optionally an intensity below the hysteresis intensity. Detected only when detecting a decrease in the strength of subsequent contact to each, each operation depending on the detection of its pressing input (eg, increasing the strength of the contact, or decreasing the strength of the contact, depending on the situation) Executed.
説明を容易にするために、押圧入力強度閾値と関連付けられた押圧入力に応じて、又は押圧入力を含むジェスチャに応じて実行される操作の説明は任意選択で、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じてトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて操作が実行されるとして説明される実施例では、操作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。上記説明されたように、いくつかの実施形態では、それらの応答のトリガはまた、満たされる時間に基づく基準（例えば、ある遅延時間が、第１の強度閾値が満たされることと第２の強度閾値が満たされることとの間で経過してしまっている）に依存する。 For ease of explanation, the description of the operations performed in response to a press input associated with a press input intensity threshold or in response to a gesture including a press input is optional, for contacts that exceed the press input intensity threshold Increase in strength, increase in strength of contact from strength below the hysteresis strength threshold to strength above the press input strength threshold, decrease in touch strength below the press input strength threshold, or hysteresis strength threshold corresponding to the press input strength threshold Triggered in response to detecting a decrease in strength of contact below. In addition, in the embodiment described in which the operation is performed in response to detecting a decrease in the strength of the touch below the pressure input threshold, the operation optionally corresponds to the pressure input threshold, And in response to detecting a decrease in the strength of the contact below the lower hysteresis strength threshold. As explained above, in some embodiments, triggering of their responses may also be based on the time being met (eg, certain delay times are met the first intensity threshold and the second strength The threshold has been met).
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザーの触覚でユーザーによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザーの表面（例えば、ユーザーの指、手のひら、又は手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザーによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザーによって物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」と解釈される。いくつかの場合、ユーザーの移動により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザーは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の実施例として、タッチ感知面の動きは、タッチ感知面の平滑度に変化がない場合であっても、ユーザーによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザーによるタッチの解釈は、ユーザーの個人的な感覚認知に左右されるが、大多数のユーザーに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザーの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザーの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触覚フィードバックをユーザーに提供するために触知出力を使用することは、デバイスの操作性を高め、ユーザーデバイスインターフェースを更に効率的にし（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 As used herein and in the appended claims, the term "palpable output" refers to the physical displacement of the device relative to the previous position of the device, which will be detected by the user at the user's touch, configuration of the device Refers to physical displacement of an element (e.g., touch sensitive surface) relative to another component of the device (e.g., housing) or displacement of the component relative to the center of mass of the device. For example, a tactile sensation generated by physical displacement in a situation where the device or a component of the device is in contact with a touch sensitive user surface (eg, a user's finger, palm, or other part of the hand). The output is interpreted by the user as a tactile sensation that corresponds to a perceived change of the physical properties of the device or device component. For example, movement of a touch sensitive surface (e.g., a touch sensitive display or track pad) is optionally interpreted by the user as a "down click" or "up click" of a physical actuator button. In some cases, a user can “down click” or “up click” even when there is no movement of a physical actuator button associated with a touch-sensitive surface that is physically pressed (eg, displaced) by the user's movement. Feel the touch. As another example, the movement of the touch-sensitive surface is optionally interpreted or sensed by the user as “roughness” of the touch-sensitive surface, even if there is no change in the smoothness of the touch-sensitive surface. Be done. The interpretation of touch by such a user depends on the user's personal sensory perception, but there is a lot of sensory perception of touch common to most users. Thus, when tactile output is described as corresponding to a user's specific sensory perception (eg, “up click”, “down click”, “roughness”), it was generated unless otherwise stated. The tactile output corresponds to the physical displacement of the device or component of the device that produces the described (or average) user's described sensory perception. Using tactile output to provide haptic feedback to the user increases the operability of the device and makes the user device interface more efficient (eg, providing appropriate input when operating / interacting with the device) (By helping the user and reducing user errors), plus it reduces power usage by allowing the user to use the device more quickly and efficiently, and battery of the device Improve the lifespan.
いくつかの実施形態では、触知出力パターンは、触知出力の振幅、触知出力の移動波形の形状、触知出力の周波数、及び／又は触知出力の期間などの触知出力の特性を指定する。 In some embodiments, the tactile output pattern is characterized by tactile output characteristics such as tactile output amplitude, tactile output moving waveform shape, tactile output frequency, and / or tactile output duration. specify.
異なる触知出力パターンを有する触知出力がデバイスによって（例えば、触知出力を生成するために可動質量を移動させる１つ以上の触知出力生成器を介して）生成されるとき、触知出力は、デバイスを保持又はタッチするユーザーに異なる触覚感覚を引き起こすことができる。ユーザーの感覚が触知出力のユーザーの知覚に基づく一方で、ほとんどのユーザーは、デバイスによって生成される触知出力の波形、周波数及び振幅の変化を識別することが可能である。したがって、波形、周波数及び振幅は、異なる操作が実行されたことをユーザーに知らせるように調整することができる。このようにして、所与の環境（例えば、グラフィカルな特徴及びオブジェクトを含むユーザーインターフェース、仮想境界及び仮想オブジェクトを有する擬似的な物理環境、物理境界及び物理オブジェクトを有する現実の物理環境、並びに／又は上記のいずれかの組合せ）におけるオブジェクトの、特性（例えば、サイズ、材質、重量、剛性、平滑度など）、挙動（例えば、振動、変位、加速、回転、拡大など）、及び／又は対話（例えば、衝突、付着、反発、引き付け、摩擦など）をシミュレートするように設計、選択、及び／又は加工された触知出力パターンを有する触知出力は、いくつかの状況では、デバイスのユーザーの操作の入力誤りを削減して効率性を増大させる、有益なフィードバックをユーザーに提供する。加えて、擬似的な物理的特性（例えばオブジェクトの入力された出発点又は選択）とは無関係であるフィードバックに対応するために、触知出力は、任意選択的に、発生する。そのような触知出力は、いくつかの状況では、ユーザーのデバイス操作の入力誤りを削減し、効率性を増大させる有益なフィードバックをユーザーに提供する。 When tactile outputs having different tactile output patterns are generated by the device (eg, via one or more tactile output generators that move the movable mass to generate tactile outputs), the tactile output Can cause different tactile sensations to the user holding or touching the device. While the user's sense is based on the user's perception of tactile output, most users are able to identify changes in the waveform, frequency and amplitude of the tactile output generated by the device. Thus, the waveform, frequency and amplitude can be adjusted to inform the user that a different operation has been performed. In this manner, a given environment (eg, a user interface including graphical features and objects, a pseudo physical environment having virtual boundaries and virtual objects, a real physical environment having physical boundaries and physical objects, and / or The object's properties (eg, size, material, weight, stiffness, smoothness, etc.), behavior (eg, vibration, displacement, acceleration, rotation, magnification, etc.), and / or interaction (eg, any combination of the above) Tactile output with tactile output patterns designed, selected, and / or machined to simulate impact, adhesion, repulsion, attraction, friction, etc.) in some situations, user operation of the device Providing users with useful feedback that reduces input errors and increases efficiency. In addition, tactile output is optionally generated to accommodate feedback that is independent of spurious physical properties (e.g., the input starting point or selection of the object). Such tactile output, in some situations, reduces user input errors in device operation and provides the user with valuable feedback that increases efficiency.
いくつかの実施形態では、適切な触知出力パターンを有する触知出力は、ユーザーインターフェース内又はデバイス内のシーンの背後の関心イベントの発生に対する合図としての役割を果たす。関心イベントの例は、デバイス上又はユーザーインターフェース内で提供されるアフォーダンス（例えば、実ボタン、仮想ボタン、又はトグルスイッチ）のアクティブ化、要求された操作の成功又は失敗、ユーザーインターフェース内の境界に到達すること又は超えること、新たな状態に入ること、オブジェクト間の入力の焦点を切り替えること、新たなモードのアクティブ化、入力閾値に到達すること又は超えること、入力又はジェスチャのタイプの検出又は認識などを含む。いくつかの実施形態では、触知出力は、リダイレクション又は中断入力が時宜を得て検出されない限り発生する、近いうち起こるイベント又は結果に対する警告又はアラートしての役割を果たすように提供される。触知出力はまた、他のコンテキストでも使用されて、ユーザー体験を豊かにし、視覚若しくは運動上の困難をかかえるユーザーへのデバイスのアクセシビリティ若しくは他のアクセシビリティの必要性を改善し、並びに／又はユーザーインターフェース及び／若しくはデバイスの効率性及び機能性を改善する。触知出力は任意選択で、音声出力及び／又は視認可能なユーザーインターフェースの変更を伴い、それは、ユーザーがユーザーインターフェース及び／又はデバイスと対話するときのユーザーの体験を更に高め、ユーザーインターフェース及び／又はデバイスの状態に関する情報の搬送を更に促進し、並びにデバイスのユーザーの操作の入力誤りを削減し、効率性を増大させる。 In some embodiments, the tactile output with the appropriate tactile output pattern serves as a cue for the occurrence of an event of interest behind the scene in the user interface or device. Examples of events of interest include activating affordances (eg, real buttons, virtual buttons, or toggle switches) provided on the device or in the user interface, success or failure of the requested operation, reaching a boundary in the user interface Doing or exceeding, entering a new state, switching the focus of input between objects, activating a new mode, reaching or exceeding an input threshold, detecting or recognizing the type of input or gesture, etc. including. In some embodiments, tactile output is provided to act as a warning or alert for an upcoming event or result that occurs unless redirection or interruption input is detected in a timely manner. The tactile output may also be used in other contexts to enhance the user experience, improve the need for accessibility or other accessibility of the device to users with visual or athletic difficulties, and / or user interface And / or improve the efficiency and functionality of the device. Tactile output is optionally accompanied by audio output and / or visible user interface changes, which further enhance the user experience when the user interacts with the user interface and / or device, It further facilitates the transport of information regarding the status of the device, as well as reducing input errors of the user's operation of the device and increasing efficiency.
図４Ｆ〜４Ｈは、個々に、又は、組み合わせて、そのまま又は、１つ以上の変換（例えば、変調、増幅、切捨てなど）によって使用して、上述のような、及び本明細書において論ずるユーザーインターフェース及び方法に関して記載されている各種のシナリオの、そして、各種の目的のための、適切な触覚フィードバックを作り出すことができる一組のサンプル触知出力パターンを提供する。触知出力のパレットのこの例は、３つの波形及び８つの周波数のセットが触知出力パターンの配列を作るためにどのように用いることができるかについて示す。これらの図に表示される触知出力パターンに加えて、例えば、示すように、図４Ｉ〜４Ｋのフルタップ８０Ｈｚ、フルタップ２００Ｈｚ、ミニタップ８０Ｈｚ、ミニタップ２００Ｈｚ、マイクロタップ８０Ｈｚ及びマイクロタップ２００Ｈｚに対する触知出力パターンのための利得値を変えることによって、これらの触知出力パターンのそれぞれは振幅において任意選択的に調整され、そして、それは１．０、０．７５、０．５及び０．２５の利得を有する異型によって各々示される。図４Ｉ〜４Ｋに示すように、触知出力パターンの獲得を変えることで、パターンの周波数を変えるか又は波形の形状を変えることなくパターンの振幅が変わる。いくつかの実施形態では、触知出力パターンの周波数も変えることは振幅を低くする結果にもなり、なぜなら、いくつかの触知出力生成器はどれだけの力が可動質量に加えられ得るかによって制限され、したがって質量のより高い周波数の移動は振幅をより低くすることを強いられて、波形を作るために必要な加速は、触知出力生成器の操作上の力の範囲外の力を必要とはしない（例えば、２３０Ｈｚ、２７０Ｈｚ及び３００Ｈｚでのフルタップのピーク振幅は、８０Ｈｚ、１００Ｈｚ、１２５Ｈｚ、及び２００Ｈｚでのフルタップの振幅より低い）ことを確実にするからである。
4F-4H are user interfaces as described above and discussed herein, either individually or in combination, used as is or by one or more transformations (eg, modulation, amplification, truncation, etc.). And a set of sample tactile output patterns that can produce suitable haptic feedback for the various scenarios described for the method and for various purposes. This example of a tactile output palette shows how a set of three waveforms and eight frequencies can be used to create an array of tactile output patterns. In addition to the tactile output patterns displayed in these figures, for example, as shown, tactile output patterns for full tap 80 Hz,
図４Ｆ〜４Ｋは、特定の波形を有する触知出力パターンを示す。触知出力パターンの波形は、可動質量が通過してその触知出力パターンで触知出力を生成する時間に対して、中立位置（例えば、ｘｚｅｒｏ）と比べた物理的変位のパターンを表す。例えば、図４Ｆに示す第１のセットの触知出力パターン（例えば、「フルタップ」の触知出力パターン）はそれぞれ、２つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を３回交差する発振）を含む波形を有する。図４Ｇに示す第２のセットの触知出力パターン（例えば、「ミニタップ」の触知出力パターン）はそれぞれ、１つの完全サイクルがある発振（例えば、中立位置で開始及び終了し、中立位置を１回交差する発振）を含む波形を有する。図４Ｈに示す第３のセットの触知出力パターン（例えば、「マイクロタップ」の触知出力パターン）はそれぞれ、完全サイクルの２分の１を含む発振（例えば、中立位置で開始及び終了し、中立位置と交差しない発振）を含む波形を有する。触知出力パターンの波形はまた、触知出力の開始及び終了において可動質量の段階的な高速化及び減速を表すスタートバッファ及びエンドバッファを含む。図４Ｆ〜４Ｋに表示される例示波形は、可動質量の移動の最大及び最小限の範囲を表すｘｍｉｎ及びｘｍａｘ値を含む。より大きい可動質量を有するより大きな電子デバイスに対して、質量の移動のより大きいかより小さい最小限及び最大範囲があり得る。図４Ｆ〜４Ｋに示す例は１次元における質量の移動を記載しているが、しかしながら、同様の原則が、二次元又は三次元の可動質量の移動にも当てはまる。 4F-4K illustrate tactile output patterns having specific waveforms. The waveform of the tactile output pattern represents a pattern of physical displacement compared to a neutral position (eg, xzero) with respect to the time that the movable mass passes and generates a tactile output with the tactile output pattern. For example, the first set of tactile output patterns (eg, “full tap” tactile output patterns) shown in FIG. 4F each oscillate with two complete cycles (eg, starting and ending at a neutral position, and neutral position) And a waveform including oscillation that crosses three times. Each of the second set of tactile output patterns shown in FIG. 4G (eg, a “mini-tap” tactile output pattern) each oscillates with one complete cycle (eg, starting and ending at a neutral position, Having a waveform that includes oscillations that cross each other. Each of the third set of tactile output patterns (eg, “microtap” tactile output patterns) shown in FIG. 4H starts and ends at an oscillation (eg, neutral position) that includes one-half of a full cycle, A waveform including an oscillation that does not cross the neutral position). The waveform of the tactile output pattern also includes a start buffer and an end buffer that represent the gradual acceleration and deceleration of the moving mass at the beginning and end of the tactile output. The example waveforms displayed in FIGS. 4F-4K include xmin and xmax values representing the maximum and minimum ranges of movement of the movable mass. For larger electronic devices with larger movable mass, there may be a greater or lesser minimum and maximum range of mass transfer. The examples shown in FIGS. 4F-4K describe mass transfer in one dimension, however, similar principles apply to moving two-dimensional or three-dimensional movable mass.
図４Ｆ〜４Ｋに示すように、各触知出力パターンはまた、その特性周波数を有する触知出力からユーザーによって感じられる触覚感覚の「ピッチ」に影響を及ぼす、対応する特性周波数を有する。連続触知出力に対して、特性周波数は、触知出力生成器の可動質量によって所与の時間周期の間に完了するサイクル（例えば、秒当たりのサイクル）の数を表す。不連続の触知出力に対しては、不連続の出力信号が（例えば、０．５、１又は２サイクルで）発生し、そして特性周波数値は、可動質量がその特性周波数を有する触知出力を生成するためにどれくらい急速に移動することを必要とするかについて、条件付ける。図４Ｆ〜４Ｈに示すように、各タイプの触知出力（例えば、それぞれの波形（例えば、フルタップ、ミニタップ又はマイクロタップなどのそれぞれの波形により定義される）に対して、より高い周波数値は、可動質量によるより速い移動に対応し、したがって、一般に、触知出力を完了するためのより短い時間（例えば、不連続の触知出力のためのサイクルの所要数を完了する時間を含め、スタート及びエンドバッファ時間を加えたもの）に対応する。例えば、８０Ｈｚの特性周波数を有するフルタップは、１００Ｈｚの特性周波数を有するフルタップよりも完了するのにより長くかかる（例えば、図４Ｆの３５．４ｍｓ対２８．３ｍｓ）。加えて、所与の周波数に対して、それぞれの周波数でより多くのサイクルをその波形に有する触知出力は、同じそれぞれの周波数でより少ないサイクルをその波形に有する触知出力よりも、完了するのにより長くかかる。例えば、１５０Ｈｚのフルタップは１５０Ｈｚのミニタップより完了するのにより長くかかり（例えば、１９．４ｍｓ対１２．８ｍｓ）、そして、１５０Ｈｚのミニタップは１５０Ｈｚのマイクロタップより完了するのにより長くかかる（例えば、１２．８ｍｓ対９．４ｍｓ）。しかしながら、異なる周波数を有する触知出力パターンに対しては、この規則は、あてはめることができない（例えば、より多いサイクルだがより高い周波数を有する触知出力は、より少ないサイクルだがより低い周波数を有する触知出力よりも完了する時間が短くなり得て、そして、逆もまたそうである）。例えば、３００Ｈｚで、フルタップは、ミニタップと同じほどかかる（例えば、９．９ｍｓ）。 4F-4K, each tactile output pattern also has a corresponding characteristic frequency that affects the “pitch” of the haptic sensation felt by the user from the tactile output having that characteristic frequency. For continuous tactile output, the characteristic frequency represents the number of cycles (eg, cycles per second) completed during a given period of time by the movable mass of the tactile output generator. For a discontinuous tactile output, a discontinuous output signal is generated (e.g. in 0.5, 1 or 2 cycles) and the characteristic frequency value is a tactile output in which the movable mass has its characteristic frequency Condition how fast it needs to move to generate As shown in FIGS. 4F-4H, for each type of tactile output (e.g., for each waveform (e.g., defined by a respective waveform such as a full tap, minitap, or microtap), the higher frequency value is Corresponds to faster movements due to moving mass and therefore generally requires less time to complete tactile output (e.g., time to complete the required number of cycles for discontinuous tactile output) For example, a full tap with a characteristic frequency of 80 Hz takes longer to complete than a full tap with a characteristic frequency of 100 Hz (eg, 35.4 ms vs. 28. 2 in FIG. 4F). 3 ms) In addition, for a given frequency, the tactile signal has more cycles at each frequency Takes longer to complete than a tactile output that has fewer cycles in its waveform at the same respective frequency, for example, a 150 Hz full tap takes longer to complete than a 150 Hz mini-tap (eg, 19.4 ms). Vs. 12.8 ms), and a 150 Hz mini-tap takes longer to complete than a 150 Hz micro-tap (eg, 12.8 ms vs. 9.4 ms) However, for tactile output patterns with different frequencies, This rule cannot be applied (e.g., tactile output with more cycles but higher frequency can take less time to complete than tactile output with fewer cycles but lower frequency, and The reverse is also true.) For example, at 300 Hz, It is, take as much as Minitappu (for example, 9.9ms).
図４Ｆ〜４Ｋに示すように、触知出力パターンはまた、触覚の信号に含まれるエネルギー量に影響を及ぼす特性振幅、すなわち、その特性振幅を有する触知出力によるユーザーによって感じられることができる触覚感覚の「強さ」を有する。いくつかの実施形態では、触知出力パターンの特性振幅は、触知出力を生成するときに、中立位置からの可動質量の最大の変位を表す絶対値又は正規化値に関連する。いくつかの実施形態では、触知出力パターンの特性振幅は、各種の条件（例えば、ユーザーインターフェース前後関係及び挙動に基づいてカスタマイズされる）及び／又は予め設定された測定基準（例えば、入力ベースの測定基準及び／又はユーザーインターフェースベースの測定基準）にしたがって、例えば、固定であるか動的に決定されたゲイン係数（例えば、０と１間の値）によって調節可能である。いくつかの実施形態では、入力ベースの測定基準（例えば、強度変化測定基準又は入力速度測定基準）は、入力（例えば、押圧入力の接触の特性強度の変化率又はタッチ感知面全体の接触の移動の率）の特性を、触知出力の生成をトリガする入力の間、測定する。いくつかの実施形態では、触知出力の生成をトリガするユーザーインターフェース変化の間、ユーザーインターフェースベースの測定基準（例えば、境界全体速度測定基準）は、ユーザーインターフェース要素（例えば、ユーザーインターフェースの、隠れているか可視の境界全体の要素の移動の速度）の特性を測定する。いくつかの実施形態では、触知出力パターンの特性振幅は「エンベロープ」によって調整することができ、隣接するサイクルのピークは異なる振幅を有することができて、ここで、上記の波形の１つは、時間につれて変化するエンベロープパラメータ（例えば、０から１まで）による乗算によって更に修正され、触知出力が発生しているのにつれて、時間とともに段階的に触知出力の部分の振幅を調整する。 As shown in FIGS. 4F-4K, the tactile output pattern may also be felt by the user with a characteristic amplitude that affects the amount of energy contained in the tactile signal, ie tactile output having that characteristic amplitude. Has the “strength” of the sensation. In some embodiments, the characteristic amplitude of the tactile output pattern is associated with an absolute or normalized value that represents the largest displacement of the movable mass from the neutral position when generating the tactile output. In some embodiments, the characteristic amplitude of the tactile output pattern may be varied according to various conditions (eg, customized based on user interface context and behavior) and / or preset metrics (eg, input based) In accordance with a metric and / or a user interface based metric), for example, by a fixed or dynamically determined gain factor (eg a value between 0 and 1). In some embodiments, the input-based metric (eg, intensity change metric or input velocity metric) is an input (eg, rate of change of characteristic strength of the touch of the touch input or movement of the touch across the touch sensitive surface) The characteristic of the rate of) is measured during the input triggering the generation of the tactile output. In some embodiments, during a user interface change that triggers generation of tactile output, a user interface based metric (eg, an overall boundary velocity metric) is hidden from the user interface element (eg, the user interface). Measure the characteristics of the movement speed of the element across the visible or visible boundary. In some embodiments, the characteristic amplitude of the tactile output pattern can be adjusted by an "envelope", and the peaks of adjacent cycles can have different amplitudes, where one of the above waveforms is It is further modified by multiplication with time-varying envelope parameters (e.g. 0 to 1) to adjust the amplitude of the portion of the tactile output in steps over time as the tactile output is occurring.
特性周波数、振幅及び波形だけが、説明の便宜上図４Ｆ〜４Ｋのサンプル触知出力パターンで表されているが、他の周波数、振幅及び波形を有する触知出力パターンも類似の目的のために用いることができる。例えば、０．５〜４サイクルの間の波形を用いることができる。６０Ｈｚ〜４００Ｈｚの範囲の他の周波数も同様に用いることができる。
ユーザーインターフェース及び関連するプロセス
Only characteristic frequencies, amplitudes and waveforms are represented in the sample tactile output patterns of FIGS. 4F-4K for convenience of explanation, but tactile output patterns having other frequencies, amplitudes and waveforms are also used for similar purposes. be able to. For example, a waveform between 0.5 and 4 cycles can be used. Other frequencies in the range of 60 Hz to 400 Hz can be used as well.
User interface and related processes
ここで、ディスプレイとタッチ感知面と、（任意選択的に）触知出力を生成するための１つ以上の触知出力生成器と、（任意選択的に）タッチ感知面との接触の強度を検出するための１つ以上のセンサとを備える、ポータブル多機能デバイス１００又はデバイス３００などの電子デバイス上で実装され得る、ユーザーインターフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
Wherein the intensity of contact between the display, the touch sensitive surface, (optionally) one or more tactile output generators for generating a tactile output, and (optionally) the touch sensitive surface. Attention is directed to embodiments of user interfaces (“UI”) and related processes that can be implemented on an electronic device, such as
図５Ａ〜５ＡＴは、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える間に、仮想オブジェクトの表現を表示するための、いくつかの実施形態による、例示ユーザーインターフェースを図示する。これらの図のユーザーインターフェースは、図８Ａ〜８Ｅ、９Ａ〜９Ｄ、１０Ａ〜１０Ｄ、１６Ａ〜１６Ｇ、１７Ａ〜１７Ｄ、１８Ａ〜１８Ｉ、１９Ａ〜１９Ｈ及び２０Ａ〜２０Ｆのプロセスを含む、以下に説明するプロセスを図示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して述べられる。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間に、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
5A-5AT illustrate, according to some embodiments, for displaying a representation of a virtual object while switching from displaying a first user interface area to displaying a second user interface area. Figure 2 illustrates a user interface. The user interface of these figures includes the processes described below, including the processes of FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H and 20A-20F. Is used to illustrate. For convenience of explanation, some of the embodiments are described with reference to operations performed on a device having a touch-
図５Ａは、図５Ｂ〜５ＡＴに関して記載されているユーザーインターフェースが用いられる現実の前後関係を図示する。 FIG. 5A illustrates the actual context in which the user interface described with respect to FIGS. 5B-5AT is used.
図５Ａは、テーブル５００４が位置する物理スペース５００２を図示する。デバイス１００は、ユーザーによってユーザーの手５００６に保持される。
FIG. 5A illustrates the
図５Ｂは、ディスプレイ１１２上に表示されたメッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上のカメラの視野の表現の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む。メッセージ送信ユーザーインターフェース５００８は、メッセージ入力を表示するように構成されるメッセージ入力領域５０２４も含む。
FIG. 5B illustrates a message sending
図５Ｃ〜５Ｇは、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野により置き換えさせる入力を、図示する。図５Ｃにおいて、デバイス１００のタッチスクリーン１１２との接触５０２６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、かつ、ヒント押圧強度閾値ＩＴＨを下回る。図５Ｄにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８の後方でぼやけ始めている（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供するために）。図５Ｅにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加によって、メッセージバブル５０１８がプラッタ５０３０に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ５０３０の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させている。図５Ｆにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０２６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（５０３２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８の一部をデバイス１００の１つ以上のカメラの視野に置き換えるための基準が満たされたことを示す。
FIGS. 5C-5G illustrate inputs that cause a portion of the message sending
いくつかの実施形態では、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤに到達する前に、図５Ｆで図示するように、図５Ｃ〜５Ｅに図示される進行は可逆である。例えば、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることは、接触５０２６の減少した強度レベルに対応するインターフェース状態が表示されるようにする（例えば、図５Ｅで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図５Ｄで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図５Ｃで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図５Ｄ及び／又は５Ｅに図示される増加の後に接触５０２６の特性強度を低下させることにより、図５Ｃで示すインターフェースが再表示させられる。
In some embodiments, before the characteristic intensity of
図５Ｆ〜５Ｊは、メッセージ送信ユーザーインターフェースの一部がデバイス１００の１つ以上のカメラ（以下「カメラ」）の視野と置き換えられるアニメーション化された遷移を図示する。図５Ｆから図５Ｇまでに、接触５０２６はタッチスクリーン１１２からリフトオフし、そして、仮想椅子５０２０は図５Ｉのその最終位置の方へ回転した。図５Ｇにおいて、カメラの視野５０３４は、プラッタ５０３０の図へとフェードインし始めた（点線によって示されるように）。図５Ｈにおいて、カメラの視野５０３４（例えば、カメラによって取り込まれる物理スペース５００２のビューを示す）は、プラッタ５０３０の図に、フェードインを完了した。図５Ｈから図５Ｉまでに、仮想椅子５０２０は、図５Ｉのその最終位置の方へ、その回転を続けた。図５Ｉにおいて、触知出力生成器１６７は、触知出力を（５０３６で図示されるように）出力して、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野５０３４において検出されたことを示した。仮想椅子５０２０は、検出されたプレーンに（例えば、仮想オブジェクトが検出水平面（例えば床面５０３８）上の直立した向きに置かれるように構成されるというデバイス１００による決定にしたがって）配置される。仮想椅子５０２０のサイズは、メッセージ送信ユーザーインターフェースの一部がディスプレイ１１２上のカメラの視野５０３４の表現に変わるにつれて、ディスプレイ１１２で連続的に調整される。例えば、カメラの視野５０３４に示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野５０３４のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される。図５Ｊにおいて、仮想椅子５０２０は、カメラの視野５０３４の検出床面に対する所定の向きを有するその最終位置で示される。いくつかの実施形態では、仮想椅子５０２０の最初のランディング位置は、カメラの視野の検出されたプレーンに対して所定の位置、例えば検出されたプレーンの空き領域の中央）である。いくつかの実施形態では、接触５０２６のランディング位置は、接触５０２６のリフトオフ位置にしたがって決定される（例えば、接触５０２６の最初のリフトオフ位置は、拡張現実環境に遷移するための基準が図５Ｆにおいて満たされた後、タッチスクリーン１１２全体の接触５０２６の移動により接触５０２６の最初のタッチダウン位置と異なってもよい）。
5F-5J illustrate animated transitions in which a portion of the message sending user interface is replaced with the field of view of one or more cameras (hereinafter "cameras") of
図５Ｋ〜５Ｌは、カメラの視野５０３４を調整するデバイス１００の移動（例えば、ユーザーの手５００６による）を図示する。デバイス１００が物理スペース５００２に対して移動されるにつれて、カメラの表示された視野５０３４は変化し、そして、仮想椅子５０２０はカメラの表示された視野５０３４の床面５０３８に対して同じ位置及び向きで付着したままである。
5K-5L illustrate the movement (eg, by the user's hand 5006) of the
図５Ｍ〜５Ｑは、カメラの表示された視野５０３４の床面５０３８にわたる仮想椅子５０２０の移動を生じさせる入力を図示する。図５Ｎにおいて、デバイス１００のタッチスクリーン１１２との接触５０４０は、仮想椅子５０２０に対応する位置で検出される。図５Ｎ〜５Ｏにおいて、接触５０４０が矢印５０４２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされる。仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４に示すように仮想椅子５０２０のサイズは変化して、物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。例えば、図５Ｎ〜５Ｐで、仮想椅子５０２０がカメラの視野５０３４の前景から、カメラの視野５０３４においてデバイス１００からはより遠くてテーブル５００４にはより近い位置へ移動するにつれて、仮想椅子５０２０のサイズは減少する（例えば、それによって、カメラの視野５０３４のテーブル５００４に対する椅子の縮尺は維持される）。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、カメラの視野５０３４において識別されるプレーンは強調される。例えば、図５Ｏにおいて床平面５０３８が強調される。図５Ｏ〜５Ｐにおいて、接触５０４０が矢印５０４４によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｑにおいて、接触５０４０は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図５Ｎ〜５Ｑに示すように、あたかも仮想椅子５０２０が接触５０４０によって床面５０３８にわたってドラッグされるかのように、仮想椅子５０２０の移動パスはカメラの視野５０３４の床面５０３８によって拘束される。いくつかの実施形態では、図５Ｎ〜５Ｐに関して記載されている接触５０４０は、図５Ｃ〜５Ｆに関して記載されている接触５０２６の継続である（例えば、接触５０２６のリフトオフは無く、メッセージ送信ユーザーインターフェース５００８の一部がカメラの視野５０３４によって置き換られるようにさせるのと同じ接触はまた、カメラの視野５０３４の仮想椅子５０２０をドラッグする）。
5M-5Q illustrate inputs that cause movement of the
図５Ｑ〜５Ｕは、床面５０３８からカメラの視野５０３４において検出される異なるプレーン（例えば、テーブル面５０４６）への、仮想椅子５０２０の移動を引き起こす入力を図示する。図５Ｒにおいて、デバイス１００のタッチスクリーン１１２との接触５０５０は、仮想椅子５０２０に対応する位置で検出される。図５Ｒ〜５Ｓにおいて、接触５０４８が矢印５０５０によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４８によってドラッグされる。仮想椅子５０２０が接触５０４８によって移動されるにつれて、仮想椅子５０２０のサイズが変化してカメラの視野５０３４に示すように物理スペース５００２に対する仮想椅子５０２０の縮尺を維持する。加えて、仮想椅子５０２０が接触５０４０によって移動されるにつれて、テーブル基準面５０４６は強調される（例えば、図５Ｓに示すように）。図５Ｓ〜５Ｔにおいて、接触５０４８が矢印５０５２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０４０によってドラッグされ続ける。図５Ｕにおいて、接触５０４８はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は前と同じ方向に向かっている直立した向きのテーブル基準面５０４６に配置される。
5Q-5U illustrate inputs that cause movement of
図５Ｕ〜５ＡＤはタッチスクリーンディスプレイ１１２の端に仮想椅子５０２０をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにする。図５Ｖにおいて、デバイス１００のタッチスクリーン１１２との接触５０５４は、仮想椅子５０２０に対応する位置で検出される。図５Ｖ〜５Ｗにおいて、接触５０５４が矢印５０５６によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は接触５０５４によってドラッグされる。図５Ｗ〜５Ｘにおいて、接触５０５４が矢印５０５８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は図５Ｘに表示される位置に接触５０５４によってドラッグされ続ける。
5U-5AD illustrate the input of dragging the
図５Ｕ〜５Ｘに図示される接触５０５４による入力は、図５Ｙ〜５ＡＤに示すように、カメラの視野５０３４をプラッタ５０３０に表示することから、カメラの視野５０３４を表示するのを中止して、メッセージ送信ユーザーインターフェース５００８を完全に表示することに戻るという遷移を引き起こす。図５Ｙにおいて、カメラの視野５０３４は、プラッタ５０３０においてフェードアウトを開始する。図５Ｙ〜５Ｚにおいて、プラッタ５０３０は、メッセージバブル５０１８に遷移する。図５Ｚにおいて、カメラの視野５０３４は、もはや表示されない。図５ＡＡにおいて、メッセージ送信ユーザーインターフェース５００８はぼやけなくなり、メッセージバブル５０１８のサイズはメッセージバブル５０１８の元のサイズに（例えば、図５Ｂに示すように）戻る。
Since the input by the
図５ＡＡ〜５ＡＤは、図５ＡＡの接触５０５４に対応する位置からメッセージ送信ユーザーインターフェース５００８（例えば、図５Ｂに示すように）の仮想椅子５０２０の元の位置へ仮想椅子５０２０が移動するにつれて発生する、仮想椅子５０２０のアニメーション化された遷移を、図示する。図５ＡＢにおいて、接触５０５４は、タッチスクリーン１１２からリフトオフしている。図５ＡＢ〜５ＡＣにおいて、仮想椅子５０２０は、段階的にサイズが増加して、図５ＡＤのその最終位置の方へ回転する。
5AA-5AD occur as the
図５Ｂ〜５ＡＤにおいて、仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８の中で、また、カメラの表示された視野５０３４の中で、実質的に同じ三次元外観を有し、そして仮想椅子５０２０は、メッセージ送信ユーザーインターフェース５００８を表示することからカメラの視野５０３４を表示することへの遷移の間、及び逆遷移の間、その同じ三次元外観を維持する。いくつかの実施形態では、仮想椅子５０２０の表現は、アプリケーションユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース）において、拡張現実環境において（例えば、カメラの示された視野において）とは異なる外観を有する。例えば、仮想椅子５０２０は任意選択的にアプリケーションユーザーインターフェースにおいて二次元であるかより在来の型にのっとった見え方を有し、その一方で、拡張現実環境では三次元及びより現実的で質感のある見え方を有し、そして、アプリケーションユーザーインターフェースを表示することと拡張現実環境を表示することの間の遷移の間の、仮想椅子５０２０の中間の外観は、二次元の見え方と仮想椅子５０２０の三次元の見え方の間の一連の内挿された外観である。
5B-5AD,
図５ＡＥは、インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブブラウザのためのＵＲＬ／検索入力を表示するように構成されるＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４（例えば、バックボタン及びフォワードボタンを含むナビゲーション制御、共有インターフェースを表示するための共有制御、ブックマークインターフェースを表示するためのブックマーク制御及びタブインターフェースを表示するためのタブ制御）を含む。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６も含む。いくつかの実施形態では、それぞれのウェブオブジェクトはリンクを含み、それによって、それぞれのウェブオブジェクト上のタップ入力に応答して、ウェブオブジェクトに対応するリンクの張られたインターネット位置がインターネットブラウザユーザーインターフェース５０６０に（例えば、それぞれのウェブオブジェクトの表示を置き換えて）表示される。ウェブオブジェクト５０６６、５０６８及び５０７２は、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によってそれぞれ示されるように、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、仮想オブジェクトインジケータの欠如によって示されるように、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は三次元仮想オブジェクトに対応しない）。ウェブオブジェクト５０６８に対応する仮想オブジェクトは、ランプオブジェクト５０８４である。
FIG. 5AE illustrates an internet
図５ＡＦ〜５ＡＨは、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４により置き換えさせる入力を、図示する。図５ＡＦにおいて、デバイス１００のタッチスクリーン１１２との接触５０８６が検出される。接触の特性強度は、強度レベルメータ５０２８で示すように、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図５ＡＧにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触５０２６の特性強度の増加により、カメラの視野５０３４がウェブオブジェクト５０６８に表示させられた（例えば、仮想ランプ５０８４によりオーバレイされた）。図５ＡＨにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触５０８６の特性強度の増加により、カメラの視野５０３４が、（例えば、ＵＲＬ／検索入力領域５０６２及びブラウザ制御５０６４だけを残して）インターネットブラウザユーザーインターフェース５０６０のより大きな部分を置き換え、そして、デバイス１００の触知出力生成器１６７は（５０８８で図示されるように）触知出力を出力して、インターネットブラウザユーザーインターフェース５０６０の一部をカメラの視野５０３４に置き換えるための基準が満たされたことを示す。いくつかの実施形態では、図５ＡＦ〜５ＡＨに関して記載されている入力に応答して、カメラの視野５０３４は、タッチスクリーンディスプレイ１１２上のインターネットブラウザユーザーインターフェース５０６を完全に置き換える。
FIGS. 5AF-5AH illustrate inputs that cause a portion of the internet
図５ＡＩ〜５ＡＭは、仮想ランプ５０８４の移動を生じさせる入力を図示する。図５ＡＩ〜５ＡＪにおいて、接触５０８６が矢印５０９０によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされる。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、仮想ランプ５０８４のサイズは不変であり、そして、仮想ランプ５０８４のパスは任意選択的に、カメラの視野において捕えられる物理スペースの構造によって拘束されない。仮想ランプ５０８４が接触５０８６によって移動されるにつれて、カメラの視野５０３４において識別される平面は強調される。例えば、仮想ランプ５０８４が床平面５０３８の上を移動するにつれて、床平面５０３８は図５ＡＪにおいて強調される。図５ＡＪ〜５ＡＫにおいて、接触５０８６が矢印５０９２によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続ける。図５ＡＫ〜５ＡＬにおいて、接触５０８６が矢印５０９４によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０８６によってドラッグされ続け、床平面５０３８は強調されなくなり、そして、仮想ランプ５０８４がテーブル５００４の上を移動するにつれて、テーブル面５０４６が強調される。図５ＡＭにおいて、接触５０８６は、タッチスクリーン１１２からリフトオフしている。接触５０８６がリフトオフしてしまうと、仮想ランプ５０８６のサイズはカメラの視野５０３４のテーブル５００４に対して正しい縮尺を有するように調整され、そして、仮想ランプ５０８６はカメラの視野５０３４のテーブル面５０４６上の直立した向きに置かれる。
FIGS. 5AI-5AM illustrate inputs that cause movement of the
図５ＡＭ〜５ＡＱはタッチスクリーンディスプレイ１１２の端に仮想ランプ５０８４をドラッグする入力を図示し、これによりカメラの視野５０３４が表示されないようにし、インターネットブラウザユーザーインターフェース５０６０を復活させる。図５ＡＮにおいて、デバイス１００のタッチスクリーン１１２との接触５０９６は、仮想ランプ５０８４に対応する位置で検出される。図５ＡＮ〜５ＡＯにおいて、接触５０９６が矢印５０９８によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は接触５０９６によってドラッグされる。図５ＡＯ〜５ＡＰにおいて、接触５０５４が矢印５１００によって示されるパスに沿って移動するにつれて、仮想ランプ５０８４は図５ＡＰに表示される位置に接触５０９６によってドラッグされ続ける。図５ＡＱにおいて、接触５０９６は、タッチスクリーン１１２からリフトオフしている。
FIGS. 5 AM-5AQ illustrate the input of dragging a
図５ＡＭ〜５ＡＰに図示される接触５０９６による入力は、図５ＡＱ〜５ＡＴに示すように、カメラの視野５０３４を表示することから、カメラの視野５０３４を表示するのを中止して、インターネットブラウザユーザーインターフェース５０６０を完全に表示することに戻るという遷移を引き起こす。図５ＡＲにおいて、カメラの視野５０３４は（点線によって示されるように）フェードアウトし始める。図５ＡＲ〜５ＡＴにおいて、仮想ランプ５０８４は、サイズが増加して、インターネットブラウザユーザーインターフェース５０６０のその元の位置の方へ移動する。図５ＡＳにおいて、カメラの視野５０３４はもはや表示されず、インターネットブラウザユーザーインターフェース５０６０は（点線によって示されるように）フェードインし始める。図５ＡＴにおいて、インターネットブラウザユーザーインターフェース５０６０は完全に表示され、そして、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０内でその元のサイズ及び位置に戻っている。
Since the input by the
図６Ａ〜６ＡＪは、いくつかの実施形態にしたがって、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示するための例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、９Ａ〜９Ｄ、１０Ａ〜１０Ｄ、１６Ａ〜１６Ｇ、１７Ａ〜１７Ｄ、１８Ａ〜１８Ｉ、１９Ａ〜１９Ｈ及び２０Ａ〜２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
6A-6AJ illustrate, according to some embodiments, a first representation of a virtual object in a first user interface area, a second representation of a virtual object in a second user interface area, and one or more cameras. FIG. 7 illustrates an example user interface for displaying a third representation of a virtual object having a representation of a field of view. The user interfaces in these figures include the processes described below in Figures 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H and 20A-20F. Are used to illustrate. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
図６Ａは、受信したテキストメッセージ５０１２を含むメッセージバブル５０１０、送信したテキストメッセージ５０１６を含むメッセージバブル５０１４、メッセージにおいて受信した仮想オブジェクト（例えば、仮想椅子５０２０）を含むメッセージバブル５０１８及び仮想椅子５０２０が拡張現実視において（例えば、デバイス１００の１つ以上の表示されたカメラの視野の範囲内で）見えるオブジェクトであることを示す仮想オブジェクトインジケータ５０２２を含む、メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８は、図５Ｂに関して更に詳細に記載される。
FIG. 6A shows that the
図６Ｂ〜６Ｃは、仮想椅子５０２０の回転を生じさせる入力を図示する。図６Ｂにおいて、デバイス１００のタッチスクリーン１１２との接触６００２が検出される。接触６００２は、矢印６００４によって示されるパスに沿って、タッチスクリーン１１２にわたって移動する。図６Ｃにおいて、接触の移動に応答して、メッセージ送信ユーザーインターフェース５００８は上方へスクロールされて（メッセージバブル５０１０をディスプレイからスクロールオフさせ、メッセージバブル５０１４及び５０１８を上方へスクロールさせ、付加的なメッセージバブル６００５を現し）、そして、仮想椅子５０２０は回転する（例えば、上方へ傾けられる）。仮想椅子５０２０の回転の大きさ及び方向は、矢印６００４によって示されるパスに沿った接触６００２の移動に対応する。図６Ｄにおいて、接触６００２は、タッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、メッセージバブル５０１８内の仮想椅子５０２０のこの回転の挙動が、仮想椅子５０２０がデバイス１００のカメラの視野を含む拡張現実環境において見える仮想オブジェクトであるという徴候として、使われる。
6B-6C illustrate inputs that cause rotation of
図６Ｅ〜６Ｌは、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０により置き換えさせ、そして仮想椅子５０２０の向きをその後変える入力を、図示する。図６Ｅにおいて、デバイス１００のタッチスクリーン１１２との接触６００６が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｆにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８の領域が増大し、仮想椅子５０２０のサイズが増大し、そしてメッセージ送信ユーザーインターフェース５００８がメッセージバブル５０１８（例えば、接触の特性強度を増加させる効果の視覚フィードバックをユーザーに提供する）の後方でぼやけ始めた。図６Ｇにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６００６の特性強度の増加によって、メッセージバブル５０１８がプラッタ６００８に置き換えられ、仮想椅子５０２０のサイズが更に増大し、そしてプラッタ６００８の後方のメッセージ送信ユーザーインターフェース５００８のぼやけを増加させた。図６Ｈにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加により、メッセージ送信ユーザーインターフェース５００８が表示されなくなり、ステージングユーザーインターフェース６０１０のフェードイン（点線によって示される）が起動される。加えて、図６Ｈで示すように、深い押圧強度閾値ＩＴＤを上回る接触６００６の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０１２で図示されるように）出力させ、メッセージ送信ユーザーインターフェース５００８をステージングユーザーインターフェース６０１０に置き換えるための基準が満たされたことを示す。
FIGS. 6E-6L illustrate inputs that cause the message sending
いくつかの実施形態では、接触６００６の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｈで図示するように、図６Ｅ〜６Ｇに図示される進行は可逆である。例えば、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることは、接触６００６の減少した強度レベルに、対応するインターフェース状態が表示されるようにする（例えば、図６Ｇで示すインターフェースは接触の減少した特性強度が軽い押圧強度閾値ＩＴＬを上回るという判定にしたがって示され、図６Ｆで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを上回るという判定にしたがって示され、そして、図６Ｅで示すインターフェースは接触の減少した特性強度がヒント押圧強度閾値ＩＴＨを下回るという判定にしたがって示される）。いくつかの実施形態では、図６Ｆ及び／又は６Ｇに図示される増加の後に接触６００６の特性強度を低下させることにより、図６Ｅで示すインターフェースが再表示させられる。
In some embodiments, the progression illustrated in FIGS. 6E-6G is reversible, as illustrated in FIG. 6H, before the characteristic strength of
図６Ｉにおいて、ステージングユーザーインターフェース６０１０が表示される。ステージングユーザーインターフェース６０１０は、仮想椅子５０２０が表示されるステージ６０１４を含む。図６Ｈ〜６Ｉから、仮想椅子５０２０は、図６Ｈの仮想椅子５０２０の位置から図６Ｉの仮想椅子５０２０の位置への遷移を示すために、アニメーション化される。例えば、仮想椅子５０２０は、ステージ６０１４（例えば、このようなその仮想椅子は、ステージ６０１４によってサポートされるように見える）に対して所定の位置、向き及び／又は距離に回転される。ステージングユーザーインターフェース６０１０はまた、（例えば、バック制御６０１６に対応する位置に入力されるタップによって）アクティブ化されると、前に表示されたユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を再表示させる、バック制御６０１６を含む。ステージングユーザーインターフェース６０１０はまた、現在のディスプレイモード（例えば、現在のディスプレイモードは強調された「３Ｄ」インジケータによって示されるように、ステージングユーザーインターフェースモードである）を示し、そして、アクティブ化されると選択されたディスプレイモードに遷移する、トグル制御６０１８を含む。例えば、ステージングユーザーインターフェース６０１０が表示されている間に、トグル制御６０１８に対応する位置（例えば、テキスト「ワールド」を含むトグル制御６０１８の一部に対応する位置）での接触により入力されるタップによって、ステージングユーザーインターフェース６０１０はカメラの視野と置き換えられる。ステージングユーザーインターフェース６０１０はまた、（例えば、共有インターフェースを表示するための）シェア制御６０２０を含む。
In FIG. 6I, a
図６Ｊ〜６Ｌは、接触６００６の移動によって生じるステージ６０１４に対する仮想椅子５０２０の回転を図示する。図６Ｊ〜６Ｋにおいて、接触６００６が矢印６０２２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第１の軸のまわりを）回転する。図６Ｋ〜６Ｌにおいて、矢印６０２４によって示されるパスに沿って、そして、その後矢印６０２５によって示されるパスに沿って接触６００６が移動するにつれて、仮想椅子５０２０は（例えば、接触６０６６の移動に対して垂直である第２の軸のまわりを）回転する。図６Ｍにおいて、接触６００６はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、図６Ｊ〜６Ｌに示すように、仮想椅子５０２０の回転はステージ６０１４の表面によって拘束される。例えば、仮想椅子５０２０の少なくとも１つの脚部は、仮想椅子の回転の間、ステージ６０１４の表面と接触したままである。いくつかの実施形態では、ステージ６０１４の表面は、仮想椅子５０２０の動きに特定の制約をもたらすことのない、仮想椅子５０２０の自由回転及び垂直並進移動の基準系としての役割を果たす。
6J-6L illustrate the rotation of
図６Ｎ〜６Ｏは、仮想椅子５０２０の表示されたサイズを調整する入力を図示する。図６Ｎにおいて、タッチスクリーン１１２との第１の接触６０２６及び第２の接触６０３０が検出される。第１の接触６０２６は矢印６０２８によって示されるパスに沿って移動し、そして、第１の接触６０２６の移動と同時に、第２の接触６０３０は矢印６０３２によって示されるパスに沿って移動する。図６Ｎ〜６Ｏにおいて、第１の接触６０２６及び第２の接触６０３０が、それぞれ（例えば、デピンチジェスチャにおいて）、矢印６０２８及び６０３２によって示されるパスに沿って移動するにつれて、仮想椅子５０２０の表示されるサイズは増大する。図６Ｐにおいて、第１の接触６０３０及び第２の接触６０２６はタッチスクリーン１１２からリフトオフしており、そして、仮想椅子５０２０は接触６０２６及び６０３０のリフトオフの後増大したサイズを維持する。
6N-6O illustrate inputs for adjusting the displayed size of
図６Ｑ〜６Ｕは、ステージングユーザーインターフェース６０１０をデバイス１００の１つ以上のカメラの視野６０３６により置き換えさせる入力を、図示する。図６Ｑにおいて、デバイス１００のタッチスクリーン１１２との接触６０３４が検出される。強度レベルメータ５０２８で示すように、接触の特性強度は、接触検出強度閾値ＩＴ０を上回り、そして、ヒント押圧強度閾値ＩＴＨを下回る。図６Ｒにおいて、強度レベルメータ５０２８で示すように、ヒント押圧強度閾値ＩＴＨを上回る接触５０２６の特性強度の増加により、ステージングユーザーインターフェース６０１０が（点線によって示されるように）仮想椅子５０２０の後方でぼやけ始めた。図６Ｓにおいて、強度レベルメータ５０２８で示すように、軽い押圧強度閾値ＩＴＬを上回る接触６０３４の特性強度の増加により、ステージングユーザーインターフェース６０１０が表示されなくなり、カメラの視野６０３６のフェードイン（点線によって示される）が起動される。図６Ｔにおいて、強度レベルメータ５０２８で示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加により、カメラの視野６０３６が表示させられる。加えて、図６Ｔで示すように、深い押圧強度閾値ＩＴＤを上回る接触６０３４の特性強度の増加によって、デバイス１００の触知出力生成器１６７に触知出力を（６０３８で図示されるように）出力させ、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６の表示に置き換えるための基準が満たされたことを示す。図６Ｕにおいて、接触６０３４はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤに及ぶ前に、図６Ｔで図示するように、図６Ｑ〜６Ｔに図示される進行は可逆である。例えば、接触６０３４の特性強度を図６Ｒ及び／又は６Ｓに図示される増加の後に低下させることは、表示される接触６０３４の減少した強度レベルに対応するインターフェース状態を引き起こす。
6Q-6U illustrate inputs that cause the
図６Ｑ〜６Ｕから、仮想椅子５０２０は検出されたプレーンに（例えば、デバイス１００による仮想椅子５０２０が床面５０３８などの検出水平面上の直立した向きに置かれるように構成されるという決定にしたがって）配置され、そして、仮想椅子５０２０のサイズは調整される（例えば、カメラの視野６０３６で示す物理スペース５００２に対する仮想椅子５０２０の縮尺は、仮想椅子５０２０の所定の「実世界」サイズ及び／又はカメラの視野６０３６のオブジェクト（例えばテーブル５００４）の検出サイズに基づいて、決定される）。ステージングインターフェース６０１０が表示された間に、（例えば、図６Ｊ〜６Ｋに関して記載されているように）仮想椅子５０２０の回転によって生じる仮想椅子５０２０の向きは、仮想椅子５０２０がステージングユーザーインターフェース６０１０からカメラの視野６０３６まで遷移するのにつれて維持される。例えば、床面５０３８に対する仮想椅子５０２０の向きは、ステージ５０１４の表面に対する仮想椅子５０２０の最終的な向きと同じである。いくつかの実施形態では、ステージングユーザーインターフェースの仮想オブジェクト５０２０のサイズの調整は、仮想椅子５０２０のサイズが物理スペース５００２のサイズに対して視野６０３６において調整されるときに、考慮される。
From FIGS. 6Q-6U, the
図６Ｖ〜６Ｙは、カメラの視野６０３６をステージングユーザーインターフェース６０１０により置き換えさせる入力を、図示する。図６Ｖにおいて、トグル制御６０１８（例えば、テキスト「３Ｄ」を含むトグル制御６０１８の一部に対応する位置）に対応する位置で、接触６０４０による入力（例えば、タップ入力）が検出される。図６Ｗ〜６Ｙにおいて、接触６０４０による入力に応答して、カメラの視野６０３６は（図６Ｗの点線によって示すように）フェードアウトし、ステージングユーザーインターフェース６０１０は（図６Ｘの点線によって示すように）フェードインし、そして、ステージングユーザーインターフェース６０１０は（図６Ｙに示すように）完全に表示される。図６Ｖ〜６Ｙから、仮想椅子５０２０のサイズは調整され、そして、仮想椅子５０２０の位置は変化する（例えば、仮想椅子５０２０をステージングユーザーインターフェースのための所定の位置及びサイズに戻すために）。
6V-6Y illustrate inputs that cause the field of
図６Ｚ〜６ＡＣは、ステージングユーザーインターフェース６０１０をメッセージ送信ユーザーインターフェース５００８により置き換えさせる入力を、図示する。図６Ｚにおいて、接触６０４２による入力（例えば、タップ入力）は、バック制御６０１６に対応する位置で検出される。図６ＡＡ〜６ＡＣにおいて、接触６０４２による入力に応答して、ステージングユーザーインターフェース６０１０は（図６ＡＡの点線によって示すように）フェードアウトし、メッセージ送信ユーザーインターフェース５００８は（図６ＡＢの点線によって示すように）フェードインし、そして、メッセージ送信ユーザーインターフェース５００８は（図６ＡＣに示すように）完全に表示される。図６Ｚ〜６ＡＢから、仮想椅子５０２０のサイズ、向き及び位置は、ディスプレイ上で連続的に調整される（例えば、仮想椅子５０２０をメッセージ送信ユーザーインターフェース５００８のための所定の位置、サイズ及び向きに戻すために）。
6Z-6AC illustrate inputs that cause the
図６ＡＤ〜６ＡＪは、メッセージ送信ユーザーインターフェース５００８を（例えば、ステージングユーザーインターフェース６０１０の表示をバイパスして）カメラの視野６０３６により置き換えさせる入力を、図示する。図６ＡＤにおいて、接触６０４４は仮想椅子５０２０に対応する位置で検出される。接触６０４４による入力は、長いタッチジェスチャ（その間は接触６０４４が、少なくとも所定の閾値時間に対して閾値移動量未満の仮想オブジェクト５０２０の表現に対応するタッチ感知面上の場所に維持される）とそれに続く（上方へ仮想椅子５０２０をドラッグする）上方へのスワイプジェスチャを含む。図６ＡＤ〜６ＡＥに示すように、仮想椅子５０２０は接触６０４４が矢印６０４６によって示されるパスに沿って移動するにつれて、上方へドラッグされる。図６ＡＥにおいて、メッセージ送信ユーザーインターフェース５００８は仮想椅子５０２０の後方でフェードアウトする。図６ＡＥ〜６ＡＦに示すように、接触６０４４が矢印６０４８によって示されるパスに沿って移動するにつれて、仮想椅子５０２０は上方へドラッグされ続ける。図６ＡＦにおいて、カメラの視野５０３６は、仮想椅子５０２０の後方でフェードインする。図６ＡＧにおいて、長いタッチジェスチャとそれに続く上方へのスワイプジェスチャを含む接触６０４４による入力に応答して、カメラの視野５０３６は完全に表示される。図６ＡＨにおいて、接触６０４４はタッチスクリーン１１２からリフトオフする。図６ＡＨ〜６ＡＪにおいて、接触６０４４のリフトオフに応答して、仮想椅子５０２０は、（例えば、仮想椅子５０２０がもはや接触によって高速されないか又はドラッグされないので）リリースされて、プレーン（例えば、水平の（床）表面が仮想椅子５０２０に対応するという判定にしたがって、床面５０３８）に落ちる。加えて、図６ＡＪで図示するように、デバイス１００の触知出力生成器１６７は、触知出力を（６０５０で図示するように）出力して、仮想椅子５０２０が床面５０３８にランディングしたことを示す。
6AD-6AJ illustrate inputs that cause the message sending
図７Ａ〜７Ｐは、いくつかの実施形態にしたがって、アイテムが仮想三次元オブジェクトに対応することを示すための視覚的な指示を有するアイテムを表示するための、例示ユーザーインターフェースを図示する。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、９Ａ〜９Ｄ、１０Ａ〜１０Ｄ、１６Ａ〜１６Ｇ、１７Ａ〜１７Ｄ、１８Ａ〜１８Ｉ、１９Ａ〜１９Ｈ及び２０Ａ〜２０Ｆにおけるプロセスを含む、以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する表現的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に表示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
7A-7P illustrate an example user interface for displaying an item having a visual indication to indicate that the item corresponds to a virtual three-dimensional object, according to some embodiments. The user interfaces in these figures include the processes described below in Figures 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H and 20A-20F. Are used to illustrate. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
図７Ａは、アプリケーションのメニューのためのユーザーインターフェース４００が表示される間に検出される入力を図示する。入力は要求に対応して、第１のユーザーインターフェース（例えば、インターネットブラウザユーザーインターフェース５０６０）を表示する。図７Ａにおいて、接触７０００による入力（例えば、タップ入力）がブラウザモジュール１４７のためのアイコン４２０に対応する位置で検出される。入力に応答して、図７Ｂに示すように、インターネットブラウザユーザーインターフェース５０６０が表示される。
FIG. 7A illustrates the input detected while the
図７Ｂは、（例えば、図５ＡＥに関して詳細に説明したような）インターネットブラウザユーザーインターフェース５０６０を図示する。インターネットブラウザユーザーインターフェース５０６０は、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６を含む。ウェブオブジェクト５０６６、５０６８及び５０７２はそれぞれ、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２によって示されるような、三次元仮想オブジェクトの二次元の表現を含む。ウェブオブジェクト５０７０、５０７４及び５０７６は、二次元画像を含む（しかし、ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、仮想オブジェクトインジケータの欠如によって示されるように、三次元仮想オブジェクトに対応しない）。
FIG. 7B illustrates an internet browser user interface 5060 (eg, as described in detail with respect to FIG. 5AE). The internet
図７Ｃ〜７Ｄは、インターネットブラウザユーザーインターフェース５０６０の並進移動（例えば、スクロール）が生じさせる入力を図示する。図７Ｂにおいて、タッチスクリーン１１２との接触７００２が検出される。図７Ｃ〜７Ｄにおいて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、ウェブオブジェクト５０６６、５０６８、５０７０、５０７２、５０７４及び５０７６は上方へスクロールし、付加的なウェブオブジェクト７００３及び７００５を現す。加えて、接触７００２が矢印７００４によって示されるパスに沿って移動するにつれて、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトは、入力の（上方へ垂直な）方向にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、図７Ｃの第１の向きから図７Ｄの第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、接触がインターネットブラウザユーザーインターフェース５０６０をスクロールするにつれて回転はしない。図７Ｅにおいて、接触７００２はタッチスクリーン１１２からリフトオフしている。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
7C-7D illustrate the inputs that result from translation (eg, scrolling) of the Internet
図７Ｆ〜７Ｇは、仮想オブジェクトが物理的世界に対するデバイス１００の向きの変化に応答してディスプレイ上で回転する視差効果を図示する。
7F-7G illustrate the parallax effect where the virtual object rotates on the display in response to changes in the orientation of the
図７Ｆ１は、デバイス１００が実質的に垂直向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｆ２は、デバイス１００が図７Ｆ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。
FIG. 7F1 illustrates the
図７Ｇ１は、デバイス１００が実質的に横向きとなるように、ユーザー７００６によってユーザーの手５００６に保持されるデバイス１００を図示する。図７Ｇ２は、デバイス１００が図７Ｇ１において図示される向きにあるときにデバイス１００によって表示される、インターネットブラウザユーザーインターフェース５０６０を図示する。図７Ｆ２から図７Ｇ２までに、仮想オブジェクトインジケータ５０７８、５０８０及び５０８２をそれぞれ含むウェブオブジェクト５０６６、５０６８及び５０７２の仮想オブジェクトの向きは、デバイスの方向の変化にしたがって回転する（例えば、上方へ傾く）。例えば、仮想ランプ５０８４は、物理空間におけるデバイス向きの同時並行の変化にしたがって、図７Ｆ２の第１の向きから図７Ｇ２の第２の向きまで上方へ傾く。ウェブオブジェクト５０７０、５０７４及び５０７６の二次元画像は、デバイスの向きが変化するにつれて回転はしない。いくつかの実施形態では、ウェブオブジェクト５０６６、５０６８及び５０７２で表されるオブジェクトの回転挙動は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有するという視覚的な指示として使われ、その一方で、ウェブオブジェクト５０７０、５０７４及び５０７６で表されるオブジェクトのこのような回転挙動の欠如は、これらのウェブオブジェクトが拡張現実環境において見える対応する三次元仮想オブジェクトを有しないという視覚的な指示として使われる。
FIG. 7G1 illustrates the
図７Ｈ〜７Ｌは、第２のユーザーインターフェース（例えば、メッセージ送信ユーザーインターフェース５００８）を表示する要求に対応する入力を図示する。図７Ｈにおいて、接触７００８がディスプレイ１１２の下側縁部に対応する位置で検出される。図７Ｈ〜７Ｉにおいて、接触７００８は、矢印７０１０によって示されるパスに沿って、上方へ移動する。図７Ｉ〜７Ｊにおいて、接触７００８は、矢印７０１２によって示されるパスに沿って上方へ移動し続ける。図７Ｈ〜７Ｊにおいて、接触７００８が上方へディスプレイ１１２の下側縁部から上方へ移動するにつれて、図７Ｉに示すように、インターネットブラウザユーザーインターフェース５０６０のサイズは減少し、そして、図７Ｊで、マルチタスキングユーザーインターフェース７０１２が（例えば、接触７００８による上方へのエッジスワイプジェスチャに応答して）表示される。マルチタスキングユーザーインターフェース７０１２は、保持された状態（例えば、保持された状態は、それぞれのアプリケーションがデバイス上で実行されるフォアグラウンドのアプリケーション用であったときの、それぞれのアプリケーションの最後の状態である）及び各種の制御インターフェース（例えば、図７Ｊで図示するように、制御センターユーザーインターフェース７０１４、インターネットブラウザユーザーインターフェース５０６０及びメッセージ送信ユーザーインターフェース５００８）を有する各種のアプリケーションの中からインターフェースの選択を可能にするように、構成される。図７Ｋにおいて、接触７００８はタッチスクリーン１１２からリフトオフする。図７Ｌにおいて、接触７０１６による入力（例えば、タップ入力）がメッセージ送信ユーザーインターフェース５００８に対応する位置で検出される。接触７０１６による入力に応答して、図７Ｍで図示するように、メッセージ送信ユーザーインターフェース５００８が表示される。
7H-7L illustrate inputs corresponding to a request to display a second user interface (eg, message sending user interface 5008). In FIG. 7H,
図７Ｍは、メッセージで受け取られる仮想オブジェクト（例えば、仮想椅子５０２０）と、仮想椅子５０２０が仮想三次元オブジェクト（例えば、拡張現実ビューにおいて見えるオブジェクト及び／又は異なる角度から見えるオブジェクト）であることを示すための仮想オブジェクトインジケータ５０２２とを含むメッセージバブル５０１８を含む、（例えば、図５Ｂに関する更なる詳細にて説明したような）メッセージ送信ユーザーインターフェース５００８を図示する。メッセージ送信ユーザーインターフェース５００８はまた、送信したテキストメッセージを含むメッセージバブル６００５及び絵文字７０２０を含む受信したテキストメッセージを含むメッセージバブル７０１８を含む。絵文字７０２０は、仮想三次元オブジェクトに対応しない二次元画像である。このために、絵文字７０２０は、仮想オブジェクトインジケータなしで表示される。
FIG. 7M shows a virtual object received in the message (eg, virtual chair 5020) and that
図７Ｎは、マップ７０２４を含むマップユーザーインターフェース７０２２、第１の関心地点のための関心地点情報領域７０２６及び第２の関心地点のための関心地点情報領域７０３２を図示する。例えば、第１の関心地点及び第２の関心地点は、検索入力領域７０２５の検索入力「Ａｐｐｌｅ」に対応するマップ７０２４によって示される領域の中であるかすぐ近くの検索結果である。第１の関心地点情報領域７０２６において、第１の関心地点オブジェクト７０２８が仮想オブジェクトインジケータ７０３０によって表示されて、第１の関心地点オブジェクト７０２８が仮想三次元オブジェクトであることを示す。第２の関心地点情報領域７０３２において、第２の関心地点オブジェクト７０３４は仮想オブジェクトインジケータなしで表示され、それは第２の関心地点オブジェクト７０３４が拡張現実ビューにおいて見える仮想三次元オブジェクトに対応しないからである。
FIG. 7N illustrates a
図７Ｏは、ファイル管理制御７０３８、ファイル管理検索入力領域７０４０、第１のファイル（例えば、ポータブルドキュメントフォーマット（ＰＤＦ）ファイル）のためのファイル情報領域７０４２、第２のファイル（例えば、写真ファイル）のためのファイル情報領域７０４４、第３のファイル（例えば、仮想椅子オブジェクト）のためのファイル情報領域７０４６及び第４のファイル（例えば、ＰＤＦファイル）のためのファイル情報領域７０４８を含む、ファイル管理ユーザーインターフェース７０３６を図示する。第３のファイル情報領域７０４６は、第３のファイルが仮想三次元オブジェクトに対応することを示すためにファイル情報領域７０４６のファイルプレビューオブジェクト７０４５に隣接して表示される仮想オブジェクトインジケータ７０５０を含む。第１のファイル情報領域７０４２、第２のファイル情報領域７０４４及び第４のファイル情報領域７０４８は、これらのファイル情報領域に対応するファイルが拡張現実環境において見える対応する仮想三次元オブジェクトを有しないので、仮想オブジェクトインジケータなしで表示される。
FIG. 7O shows
図７Ｐは、電子メールナビゲーション制御７０５４、電子メール情報領域７０５６及び第１のアタッチメント７０６０の表現及び第２のアタッチメント７０６２の表現を含む電子メールコンテンツ領域７０５８を含む電子メールユーザーインターフェース７０５２を図示する。第１のアタッチメント７０６０の表現は、第１のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトであることを示すための仮想オブジェクトインジケータ７０６４を含む。第２のアタッチメントが拡張現実環境において見える仮想三次元オブジェクトでないので、第２のアタッチメント７０６２は仮想オブジェクトインジケータなしで表示される。
FIG. 7P illustrates an
図８Ａ〜８Ｅは、いくつかの実施形態にしたがって、仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える、方法８００を図示しているフローチャートである。方法８００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側の１つ以上の背面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法８００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
8A-8E illustrate a
方法８００は、仮想オブジェクトの表現を第１のユーザーインターフェース領域に表示するデバイスのタッチ感知面で接触によって入力を検出することに関する。入力に応答して、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示をデバイスの１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用する。第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えると共に、連続的に仮想オブジェクトの表現を表示するべきかどうか判定するための基準を使用することにより、入力に応答して複数の異なるタイプの操作の実行することが可能となる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか、又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく、第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することのできる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
The
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（８０２）。例えば、第１のユーザーインターフェース領域は、図５Ｂで示すメッセージ送信ユーザーインターフェース５００８又は図５ＡＥで示すインターネットブラウザユーザーインターフェース５０６０である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
The device may include a first user interface area on display 112 (eg, a two-dimensional graphic user interface or a portion (eg, listable list of furniture images, an image containing one or more selectable objects, etc.) )) Displays a representation of a virtual object (for example, a graphical representation of a three-dimensional object such as a
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面１１２上の位置で、接触による第１の入力を検出する（８０４）（例えば、接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビューの表示をトリガするように構成されるアフォーダンス上で、検出される）。例えば、第１の入力は、図５Ｃ〜５Ｆに関して記載されている接触５０２０による入力又は図５ＡＦ〜５ＡＬに関して記載されている接触５０８６による入力である。
A first representation of a virtual object in a first user interface area on the display is displayed, and the device receives a first input by touch at a position on the touch-
接触によって第１の入力を検出することに応答して（８０６）、接触による第１の入力が第１の（例えば、ＡＲトリガ）基準を満たすという判定にしたがって（例えば、ＡＲトリガ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力、所定の強度閾値以上の強度を有する激しい押圧又は、カメラのアクティブ化、デバイスを囲んでいる物理的環境の拡張現実（ＡＲ）ビューの表示、物理的環境の拡張現実ビュー内部の仮想オブジェクトの三次元の配置及び／若しくは上記のアクションの２つ以上の組合せをトリガすることに関連した、所定の別のタイプの入力ジェスチャを識別するように構成される基準である）、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることを含むディスプレイ上の第２のユーザーインターフェース領域を表示し、そして、デバイスは、仮想オブジェクトの表現を連続的に表示すると共に、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える。例えば、ディスプレイ上の第２のユーザーインターフェース領域は、図５Ｈに関して記載されているプラッタ５０３０のカメラの視野５０３４又は図５ＡＨに関して記載されているカメラの視野５０３４である。図５Ｃ〜５Ｉにおいて、接触５０２６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想椅子オブジェクト５０２０は、連続的に表示されると共に、第１のユーザーインターフェース領域（メッセージ送信ユーザーインターフェース５００８）を表示することから、メッセージ送信ユーザーインターフェース５００８の一部の表示をプラッタ５０３０のカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。図５ＡＦ〜５ＡＨにおいて、接触５０８６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、仮想ランプオブジェクト５０８４は、連続的に表示されると共に、第１のユーザーインターフェース領域（インターネットブラウザユーザーインターフェース５０６０）を表示することから、インターネットブラウザユーザーインターフェース５０６０の一部の表示をカメラの視野５０３４に置き換える第２のユーザーインターフェース領域を表示することに切り替える。
In response to detecting the first input by touch (806), according to the determination that the first input by touch meets the first (eg, AR trigger) criteria (eg, the AR trigger criteria swipes Input, touch hold input, press input, tap input, intense press with strength above a predetermined intensity threshold or activation of the camera, display of an augmented reality (AR) view of the physical environment surrounding the device, physical Configured to identify another predetermined type of input gesture associated with triggering the three-dimensional arrangement of virtual objects within the augmented reality view of the environment and / or two or more combinations of the above actions A reference), the device displays at least a portion of the first user interface area a representation of the field of view of the one or more cameras Displaying a second user interface area on the display including replacing, and the device continuously displaying a representation of the virtual object and displaying the first user interface area from the second user interface Switch to displaying the area. For example, the second user interface area on the display is the
いくつかの実施形態では、連続的に仮想オブジェクトの表現を表示することは、仮想オブジェクトの表現の表示を維持するか又は仮想オブジェクトの第２の表現に変化している仮想オブジェクトの第１の表現のアニメーション化された遷移（例えば、異なるサイズの、異なる視角からの、異なる描画スタイルの、又は、ディスプレイ上の異なる位置の、仮想オブジェクトのビュー）を表示することを含む。いくつかの実施形態では、１つ以上のカメラの視野５０３４は、デバイスの位置及び向きが（例えば、図５Ｋ〜５Ｌで図示されるように）物理的環境に対して変化するときにリアルタイムに更新される、デバイスを囲んでいる物理的環境５００２のライブ画像を表示する。いくつかの実施形態では、第２のユーザーインターフェース領域は、ディスプレイ上の第１のユーザーインターフェース領域を完全に置き換える。
In some embodiments, displaying the representation of the virtual object continuously maintains a representation of the representation of the virtual object or a first representation of the virtual object changing to a second representation of the virtual object Displaying an animated transition (e.g., a view of virtual objects of different sizes, from different viewing angles, at different drawing styles, or at different positions on the display). In some embodiments, the field of
いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の一部に重なる（例えば、第１のユーザーインターフェース領域の一部は、ディスプレイの端に沿って、又は、ディスプレイの境界周辺に示される）。いくつかの実施形態では、第２のユーザーインターフェース領域は、第１のユーザーインターフェース領域の隣にポップアップする。いくつかの実施形態では、第１のユーザーインターフェース領域の中のバックグラウンドは、カメラの視野５０３４のコンテンツと置き換えられる。いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域で示す第１の向きから第２の向き（例えば、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して所定の向き）まで（例えば、図５Ｅ〜５Ｉで図示されるように）移動して回転している仮想オブジェクトを示す、アニメーション化された遷移を表示する。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、二次元のグラフィカルユーザーインターフェース（例えば、第１のユーザーインターフェース領域）に示すように仮想オブジェクトの形状及び向きに基づいて予め定義されるアンカー平面を有する。拡張現実ビュー（例えば、第２のユーザーインターフェース領域）に遷移するときに、仮想オブジェクトの三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置まで（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置まで）移動されて、サイズ変更されて、方向変更されて、そして、移動の間、又は、移動の終了後、仮想オブジェクトの三次元の表現が１つ以上のカメラの視野において識別される所定のプレーン（例えば、仮想オブジェクトの三次元の表現のためのサポートプレーンとして役割を果たすことができる直立壁又は水平床面などの物理表面）に対する所定の位置及び／又は向きにあるように、仮想オブジェクトの三次元の表現は方向変更される。
In some embodiments, the second user interface region overlaps a portion of the first user interface region (eg, a portion of the first user interface region is along the edge of the display or the display Shown around the boundaries of In some embodiments, the second user interface area pops up next to the first user interface area. In some embodiments, the background in the first user interface area is replaced with the content of the field of
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長い押圧の時間閾値）の間に閾値移動量未満で仮想オブジェクトの表現に対応する、タッチ感知面上の場所に接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８０８）。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion touches a location on the touch-sensitive surface that corresponds to the representation of the virtual object with less than a threshold movement amount for at least a predetermined time (eg, long pressing time threshold). Include criteria that are met (eg, in accordance with the determination that it is) when 維持 is maintained (808). In some embodiments, the device performs another predetermined function other than triggering the AR user interface according to a determination that the contact meets a criterion for recognizing another type of gesture (eg, a tap). And maintain the display of virtual objects. Determining whether to continuously display a representation of the virtual object and replace at least a portion of the display of the first user interface area with the camera field of view is a threshold movement amount during at least a predetermined time Depending on whether it is maintained at a location on the touch-sensitive surface that corresponds to the representation of the virtual object below, it allows execution of several different types of operations in response to input. Enabling the execution of several different types of operations in response to input increases the efficiency with which a user can perform these operations, thereby increasing the operability of the device and in addition it However, it reduces power usage and improves the battery life of the device by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１の基準は、接触の特性強度が第１の強度閾値（例えば、軽い押圧強度閾値ＩＴＬ又は深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１０）。例えば、図５Ｃ〜５Ｆに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスはＡＲユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、入力が、時間的閾値より大きい接触のタッチダウンとタップ接触のリフトオフの間の経過時間を有する）ことを要求する。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is when the characteristic strength of contact increases above a first strength threshold (eg, a light pressure strength threshold IT L or a deep pressure strength threshold IT D ) (eg, According to the determination that it is) (810). For example, as described with respect to FIGS. 5C-5F, the criteria are met when the characteristic strength of
いくつかの実施形態では、第１の基準は、接触の移動が所定の移動基準に合うときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（８１２）（例えば、接触が所定の閾値位置（例えば、第１のユーザーインターフェース領域の境界に対応する位置、接触の元の位置から間隔をおいた閾値距離である位置など）を越えたタッチ感知面にわたって移動する、接触が所定の閾値速度より大きい速度で移動する、接触の移動が押圧入力によって終了する、などである）。いくつかの実施形態では、仮想オブジェクトの表現は接触の移動の初期部分の間、接触によってドラッグされ、そして仮想オブジェクトは、第１の基準が満たされようとしていることを示すために所定の移動の基準を接触の移動が満たそうとするときに、接触とともに移動するのを止め、そして、接触の移動が続いて所定の移動の基準が接触の連続的な移動によって満たされる場合、第２のユーザーインターフェース領域を表示して、拡張現実ビューの範囲内に仮想オブジェクトを表示する遷移が始まる。いくつかの実施形態では、仮想オブジェクトが第１の入力の初期部分の間ドラッグされるときに、オブジェクトサイズ及びビューイング視点は変化せず、そして、いったん拡張現実ビューが表示されて仮想オブジェクトが拡張現実ビューの位置にドロップされると、仮想オブジェクトは、拡張現実ビューの仮想オブジェクトのドロップオフの位置によって表される物理的位置に依存したサイズ及びビューイング視点によって表示される。連続的に仮想オブジェクトの表現を表示すると共に第１のユーザーインターフェース領域の少なくとも一部の表示をカメラの視野に置き換えるべきかどうかを判定することは、接触の移動が所定の移動基準を満たすかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion includes a criterion that is met 812 when the movement of the contact meets a predetermined movement criterion (eg, according to a determination that it is) (eg, the contact is predetermined). Moving over a touch-sensitive surface beyond a threshold position (eg, a position corresponding to the boundary of the first user interface region, a position that is a threshold distance spaced from the original position of the contact, etc.) Move at a speed greater than the threshold speed, the movement of the touch ends with pressing input, etc. In some embodiments, the representation of the virtual object is dragged by the contact during the initial portion of the movement of the contact, and the virtual object is of a predetermined movement to indicate that the first criterion is about to be met. The second user stops moving with the contact when the contact movement attempts to meet the criteria, and the contact movement is subsequently followed by the predetermined movement criteria being met by the continuous movement of the contact. A transition begins, displaying the interface area and displaying virtual objects within the scope of the augmented reality view. In some embodiments, when the virtual object is dragged during the initial portion of the first input, the object size and viewing viewpoint do not change, and once the augmented reality view is displayed, the virtual object is expanded. When dropped at the position of the real view, the virtual object is displayed with a size and viewing viewpoint that depends on the physical position represented by the drop off position of the virtual object in the augmented reality view. Determining whether to continuously display a representation of the virtual object and replace at least a portion of the display of the first user interface area with the field of view of the camera is whether the movement of the contact meets a predetermined movement criterion In response, it enables the execution of several different types of operations in response to input. Enabling the execution of several different types of operations in response to input increases the efficiency with which a user can perform these operations, thereby increasing the operability of the device and in addition it However, it reduces power usage and improves the battery life of the device by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第１の基準を満たしたという判定にしたがって、デバイスは、１つ以上の触知出力生成器１６７で、触知出力（例えば、図５Ｆに関して記載されている触知出力５０３２又は図５ＡＨに関して記載されている触知出力５０８８）を出力して、第１の入力によって第１の基準が満たされていることを示す（８１４）。いくつかの実施形態では、触覚は１つ以上のカメラの視野が画面に現れる前に発生する。例えば、触覚は、１つ以上のカメラのアクティブ化及び１つ以上のカメラの視野の次のプレーン検出をトリガする第１の基準が満たされていることを示す。カメラがアクティブ化されて視野が表示に利用可能となるために時間かかるので、触覚は、デバイスが必要な入力を検出したというユーザーに対する非視覚信号としての役割を果たし、デバイスが準備できるとすぐに拡張現実ユーザーインターフェースを提示する。
In some embodiments, in response to detecting the first input by touch, the device may include one or more tactile sensations according to the determination that the first input by touch meets the first criteria. The
触知出力を出力して（例えば、ユーザーインターフェースの少なくとも一部の表示をカメラの視野に置き換えるために）基準が満たされていることを示すことは、与えられている入力が基準を満たすことを示すためのフィードバックをユーザー提供する。改良された触知フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 Outputting a tactile output (e.g., to replace at least a portion of the user interface display with the camera's field of view) indicates that the criteria are met indicates that the given input meets the criteria Provide user feedback to show. Providing improved tactile feedback enhances the usability of the device (eg by helping the user to provide appropriate input when operating / interacting the device and reducing user error ) In addition, it reduces power usage by improving the battery life of the device by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１の入力の少なくとも初期部分を（例えば、接触を検出するか、又は第１の基準を満たすことのないそれぞれの所定の基準を満たす接触によって入力を検出するか、又は第１の基準を満たす入力を検出することを含んで）検出することに応答して、デバイスは１つ以上のカメラの視野を分析して、１つ以上のカメラの視野の１つ以上のプレーン（例えば、床面５０３８、テーブル面５０４６、壁など）を検出する（８１６）。いくつかの実施形態では、１つ以上のカメラは第１の入力の少なくとも一部を検出することに応答してアクティブ化され、カメラがアクティブ化されると同時にプレーン検出が同時に起動される。いくつかの実施形態では、１つ以上のカメラの視野の表示は、１つ以上のカメラのアクティブ化の後に（例えば、１つ以上のカメラがアクティブ化される時から少なくとも１つのプレーンがカメラの視野において検出される時まで）遅らされる。いくつかの実施形態では、１つ以上のカメラの視野の表示は１つ以上のカメラがアクティブ化される時に起動され、そしてプレーン検出は、視野がディスプレイに（例えば、第２のユーザーインターフェース領域に）すでに見えたあと、完了する。いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出した後に、デバイスは、１つ以上のカメラの視野に対するそれぞれのプレーンの相対位置に基づいて、仮想オブジェクトの表現のサイズ及び／又は位置を決定する。いくつかの実施形態では、電子デバイスが移動されるにつれて、仮想オブジェクトの表現のサイズ及び／又は位置は、１つ以上のカメラの視野の位置が（例えば、図５Ｋ〜５Ｌに関して記載されているように）それぞれのプレーンに対して変化するにつれて更新される。カメラの視野において検出されるそれぞれのプレーンの位置に基づいて（例えば、カメラの視野に対する仮想オブジェクトのサイズ及び／又は位置の更なるユーザー入力を要求せずに）仮想オブジェクトの表現のサイズ及び／又は位置を決定することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, at least an initial portion of the first input (e.g., detecting a contact or detecting an input by a contact that meets a respective predetermined criterion that does not meet the first criterion; In response to detecting (including detecting an input that meets a first criterion), the device analyzes the field of view of the one or more cameras to determine one or more of the fields of view of the one or more cameras. A plane (eg,
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、ディスプレイ上の仮想オブジェクトの表現に対応するタッチ感知面上の場所での接触の検出に応答して（例えば、仮想椅子５０２０に対応するタッチスクリーン１１２上の位置での接触５０２６の検出に応答して）起動される（８１８）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされる前に（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加する前に）、そして、第２のユーザーインターフェース領域が表示される前に、始まる。仮想オブジェクトとの任意のインタラクションの検出に際してプレーン検出を始めることによって、プレーン検出はＡＲトリガ基準が満たされる前に完了することができ、したがって、ＡＲトリガ基準が第１の入力によって満たされるときに、拡張現実ビューに仮想オブジェクト遷移を見るにあたってユーザーには目に見える遅延がない。分析を起動して仮想オブジェクトの表現の位置での接触の検出に応答して（例えば、カメラの視野の分析を起動するための更なるユーザー入力を必要とせずに）カメラの視野の１つ以上のプレーンを検出することは、デバイスの有効性を強化し、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, analyzing the field of view of the one or more cameras to detect one or more planes of the field of view of the one or more cameras is a touch sensitive surface corresponding to a representation of a virtual object on the display In response to the detection of the touch at the upper location (eg, in response to the detection of the
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、接触によって、第１の基準が第１の入力によって満たされていることを検出することに応答して（例えば、図５Ｆに関して記載されているように、接触５０２６の特性強度が深い押圧強度閾値ＩＴＤを上回って増加することを検出することに応答して）起動される（８２０）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、第１の基準が第１の入力によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に表示される。ＡＲトリガ基準が満たされる際にカメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。
In some embodiments, analyzing the field of view of the one or more cameras to detect one or more planes of the field of view of the one or more cameras is by touch, the first reference by the first input In response to detecting being filled (eg, in response to detecting that the characteristic strength of the
いくつかの実施形態では、１つ以上のカメラの視野を分析して１つ以上のカメラの視野の１つ以上のプレーンを検出することは、第１の入力の初期部分が第１の基準を満たすことのないプレーン検出トリガ基準を満たすことを検出することに応答して、起動される（８２２）。例えば、カメラのアクティブ化及びカメラの視野のプレーンの検出は、いくつかの基準（例えば、ＡＲトリガ基準より厳しくない基準）が第１の入力の初期部分によって満たされるときに始まり、そして、カメラの視野は平面検出が完了する前に任意選択的に表示される。接触の検出の際ではなくむしろ特定の基準が満たされた後に、カメラアクティブ化及びプレーン検出を始めることによって、カメラ及びプレーン検出は不必要にアクティブ化されずまた続行されず、それがバッテリ電力を節約してバッテリ寿命及びカメラ寿命を延ばす。ＡＲトリガ基準が満たされる前にカメラアクティブ化及びプレーン検出を始めることによって、ＡＲトリガ基準が第１の入力によって満たされると、拡張現実ビューへの仮想オブジェクト遷移を表示するための遅延（カメラアクティブ化及びプレーン検出による）は減じられる。 In some embodiments, analyzing the field of view of the one or more cameras to detect one or more planes of the field of view of the one or more cameras causes the initial portion of the first input to be the first reference. In response to detecting meeting an unsatisfied plane detection trigger criterion, is triggered (822). For example, activation of the camera and detection of the plane of the field of view of the camera starts when some criteria (e.g. criteria that are not stricter than the AR trigger criteria) are satisfied by the initial part of the first input and The field of view is optionally displayed before plane detection is complete. By starting camera activation and plane detection, not on contact detection but rather after specific criteria are met, camera and plane detection is not unnecessarily activated and continued, which causes battery power Save to extend battery life and camera life. Delay to display virtual object transition to augmented reality view (AR) when AR trigger criteria is satisfied by the first input by initiating camera activation and plane detection before AR trigger criteria are satisfied And plane detection) is reduced.
いくつかの実施形態では、デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）が１つ以上のカメラの視野５０３４において検出されるそれぞれのプレーンに対する所定の角度（例えば、仮想椅子５０２０の４本の脚部の下側を床面５０３８から切り離している距離が無い（又はわずかな距離である）ような）で配向されるように、それぞれの方法で第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（８２４）。例えば、それぞれのプレーンに対する仮想オブジェクトの向き及び／又は位置は、二次元のグラフィカルユーザーインターフェースに示すように、仮想オブジェクトの形状及び向きに基づいて予め定義される（例えば、それぞれのプレーンは拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる水平物理表面（例えば、花瓶をサポートする水平テーブル面）に対応するか、又は、それぞれのプレーンは、拡張現実ビューの仮想オブジェクトの三次元表現のための支持面として役割を果たすことができる垂直物理表面（例えば、仮想画枠を懸下する水平壁）である）。いくつかの実施形態では、仮想オブジェクトの向き及び／又は位置は、仮想オブジェクトのそれぞれの表面又は境界（例えば、底面、底部境界点、側面及び／又は側部境界点）によって画定される。いくつかの実施形態では、それぞれのプレーンに対応するアンカー平面は、仮想オブジェクトの一組の特性の中の１つの特性であり、仮想オブジェクトが表すことになっている物理的オブジェクトの性質にしたがって指定される。いくつかの実施形態では、仮想オブジェクトは、１つ以上のカメラの視野において検出される複数のプレーンに対して所定の向き及び／又は位置に配置される（例えば、仮想オブジェクトの複数のそれぞれの側は、カメラの視野において検出されるそれぞれのプレーンと関連付けられる）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの横下部プレーンに対して定められる場合、仮想オブジェクトの下部プレーンは、カメラの視野において検出される床平面に表示される（例えば、仮想オブジェクトの水平下部プレーンは、床平面から距離ゼロで床平面と平行である）。いくつかの実施形態では、仮想オブジェクトのために予め定義される向き及び／又は位置が仮想オブジェクトの垂直バックプレーンに対して定められる場合、仮想オブジェクトの背面は、１つ以上のカメラの視野において検出される壁面に対して配置される（例えば、仮想オブジェクトの垂直バックプレーンは、壁面から距離ゼロで壁面と平行である）。いくつかの実施形態では、仮想オブジェクトは、それぞれのプレーンに対して固定の距離かつ／又はそれぞれのプレーンに対してゼロ又は直角以外の角度で配置される。カメラの視野において検出されるプレーンに対して（例えば、カメラの視野の平面に対して仮想オブジェクトを表示するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device may have a predetermined angle (e.g., four legs of virtual chair 5020) to each plane at which a virtual object (e.g. virtual chair 5020) is detected in the field of
いくつかの実施形態では、１つ以上のカメラの視野のそれぞれのプレーンを検出することに応答して、デバイスは、１つ以上の触知出力生成器１６７で、触知出力を出力して、１つ以上のカメラの視野のそれぞれのプレーンの検出を示す（８２６）。いくつかの実施形態では、それぞれの触知出力は、カメラの視野において検出される各プレーン（例えば、床面５０３８及び／又はテーブル面５０４６）に発生する。いくつかの実施形態では、プレーン検出が完了するときに、触知出力は発生する。いくつかの実施形態では、触知出力には、第２のユーザーインターフェース部に示される視野の視野平面の視覚的な指示（例えば、検出された視野平面の瞬間的な強調表示）が伴う。触知出力を出力してカメラの視野におけるプレーンの検出を示すことは、ユーザーにプレーンが検出されたことを示すためのフィードバックを提供する。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting each plane of the field of view of the one or more cameras, the device outputs a tactile output at the one or more
いくつかの実施形態では、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替えると共に、デバイスは、仮想オブジェクトの表現が第２のユーザーインターフェース領域に遷移する（例えば、移動し、回転し、サイズ変更し、及び／又は異なるスタイルに再描画されるなど）につれて、それぞれのプレーンに対して所定の位置に（例えば、図５Ｆ〜５Ｉで図示されるように）、アニメーションを表示し（８２８）、そして、それぞれのプレーンに対して所定の角度で仮想オブジェクトの表現を表示することと連動して（例えば、それぞれのプレーンに対して所定の向き及び／又は位置で、そして拡張現実ビューに表示される最終状態に達するそのサイズ、回転角及び外観で）、デバイスは、１つ以上の触知出力生成器１６７で触知出力を出力して、第２のユーザーインターフェース領域のそれぞれのプレーンに対して所定の角度で仮想オブジェクトの表示を示す。例えば、図５Ｉで図示するように、デバイスは、床面５０３８に対して所定の角度で仮想椅子５０２０を表示することと連動して、触知出力５０３６を出力する。いくつかの実施形態では、発生する触知出力は、仮想オブジェクト又は仮想オブジェクトによって表される物理オブジェクトの、重量（例えば、重い対軽い）、材料（例えば、金属、綿、木、大理石、液体、ゴム、ガラス）、サイズ（例えば、大きい対小さい）、形状（例えば、薄い対厚い、長い対短い、丸い対とがったなど）、弾性（例えば、弾力あり対固い）、性質（例えば、陽気対厳粛、穏やか対力強いなど）及び他の特性を反映している特徴（例えば、振動数、サイクル数、変調、振幅、付随する音声波など）を有するように、構成される。例えば、触知出力は図４Ｆ〜４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、１つ以上の特性に対する経時的な１つ以上の変化を含む予め設定されたプロフィールは仮想オブジェクト（例えば、絵文字）に対応する。例えば、「よく弾む」触知出力プロフィールは、「にこにこした」絵文字仮想オブジェクトのために提供される。触知出力を出力してそれぞれのプレーンに対して仮想オブジェクトの表現の配置を示すことは、ユーザーにフィードバックを提供して、仮想オブジェクトの表現がそれぞれのプレーンに対して自動的に配置されたことを示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らすことによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, switching from displaying the first user interface area to displaying the second user interface area, the device transitions the representation of the virtual object to the second user interface area For example, as being moved, rotated, resized, and / or redrawn to a different style, etc., at a predetermined position relative to each plane (eg, as illustrated in FIGS. 5F-5I) In conjunction with displaying an animation (828) and displaying a representation of the virtual object at a predetermined angle with respect to each plane (eg, with a predetermined orientation and / or position for each plane) And its size, rotation angle and appearance to reach the final state displayed in the augmented reality view , The device outputs a tactile output by one or more
いくつかの実施形態（８３０）において、触知出力は、仮想オブジェクトの特性（例えば、サイズ、密度、質量及び／又は材料などの擬似的な物理的特性）に対応する触知出力プロフィールを有する。いくつかの実施形態では、触知出力プロフィールは、仮想オブジェクトの１つ以上の特性（例えば、重量、材料、サイズ、形状及び／又は弾力）に基づいて変化する特性（例えば、周波数、サイクル数、変調、振幅、付随する音声波など）を有する。例えば、触知出力は図４Ｆ〜４Ｋで図示される触知出力パターンの１つ以上を使用する。いくつかの実施形態では、触知出力の振幅及び／又は期間は、仮想オブジェクトのサイズ、重量及び／又は質量が増加するにつれて増加する。いくつかの実施形態では、触知出力パターンは、仮想オブジェクトが構成される仮想材料に基づいて選択される。仮想オブジェクトの特性に対応するプロフィールを有する触知出力を出力することは、ユーザーにフィードバックを提供して仮想オブジェクトの特性に関する情報を示す。改良された触知フィードバックを提供することはデバイスの操作性を高め（例えば、ユーザーが適切な入力を提供するのを支援しかつ仮想オブジェクトを配置するための必要な追加入力を減らして、特性に関する表示された情報とのユーザーインターフェースを混乱させることなくユーザーが仮想オブジェクトの特性を知覚することを可能にする感覚情報を提供することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments (830), the tactile output has a tactile output profile that corresponds to the properties of the virtual object (eg, pseudo physical properties such as size, density, mass and / or material). In some embodiments, the tactile output profile is a property that varies based on one or more properties (eg, weight, material, size, shape and / or elasticity) of the virtual object (eg, frequency, number of cycles, Modulation, amplitude, accompanying speech waves etc). For example, the tactile output uses one or more of the tactile output patterns illustrated in FIGS. In some embodiments, the amplitude and / or duration of the tactile output increases as the size, weight and / or mass of the virtual object increases. In some embodiments, the tactile output pattern is selected based on the virtual material from which the virtual object is constructed. Outputting a tactile output having a profile corresponding to the characteristics of the virtual object provides feedback to the user to indicate information about the characteristics of the virtual object. Providing improved tactile feedback increases device usability (e.g., assists the user in providing appropriate input and reduces the additional input required to place virtual objects, By providing sensory information that allows the user to perceive the characteristics of the virtual object without disrupting the user interface with the displayed information), in addition, the user can make the device faster and more efficient Reduces power usage by allowing use and improves device battery life.
いくつかの実施形態において、第２のユーザーインターフェース領域の仮想オブジェクトの表現を調整すると共に、デバイスは、（図５Ｋ〜５Ｌで図示するように）１つ以上のカメラの視野５０３４を調整するデバイスの移動（例えば、デバイスの横方向の移動及び／又は回転）を検出し（８３２）、そして、デバイスの移動を検出することに応答して、デバイスは、第２のユーザーインターフェース領域の仮想オブジェクト（例えば、仮想椅子５０２０）の表現を、仮想オブジェクトと１つ以上のカメラの視野のそれぞれのプレーン（例えば、床面５０３８）の間の固定された空間関係（例えば、向き及び／又は位置）にしたがって、１つ以上のカメラの視野が調整されるにつれて、調整する（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンの間の固定角が維持される（例えば、仮想オブジェクトがプレーン上の固定位置にとどまるか又は視野平面に沿って転がるように見える）ような向き及び位置によってディスプレイ上に表示される）。例えば、図５Ｋ〜５Ｌで、カメラの視野５０３４を含む第２のユーザーインターフェース領域の仮想椅子５０２０は、デバイス１００が移動されるにつれて、床面５０３８に対して固定された向き及び位置を維持する。いくつかの実施形態では、仮想オブジェクトは周囲の物理的環境５００２に対して静止していてかつ変化しないように見え、すなわち、仮想オブジェクトの表現は、デバイスの位置及び／又は向きが変化するにつれて、デバイスが周囲の物理的環境に対して移動すると１つ以上のカメラの視野が変化するので、ディスプレイ上のサイズ、位置及び／又は向きが変化する。仮想オブジェクトとそれぞれのプレーンの間の固定関係にしたがって（例えば、それぞれのプレーンに対して仮想オブジェクトの位置を維持するための更なるユーザー入力を必要とせずに）仮想オブジェクトの表現を調整することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while adjusting the representation of the virtual object in the second user interface area, the device adjusts the field of
いくつかの実施形態では、（例えば、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることに対応するときに、）デバイスは、仮想オブジェクト（例えば、仮想椅子５０２０）の表現が連続的に表示されるにつれて、（例えば、５Ｆ〜５Ｉで図示するように）アニメーション（例えば、移動、１つ以上の軸の周りの回転及び／又はスケーリング）を表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することに切り替える（８３４）。例えば、アニメーションは、仮想オブジェクトの二次元の表現を表示すると共に第１のユーザーインターフェース領域を表示することから、仮想オブジェクトの三次元の表現を表示すると共に第２のユーザーインターフェース領域を表示することへの遷移を含む。いくつかの実施形態では、仮想オブジェクトの三次元の表現は、１つ以上のカメラの視野において捕えられる物理的環境の一部の現在の向きに対して予め定義される向きを有する。いくつかの実施形態では、拡張現実ビューに遷移するときに、仮想オブジェクトの表現はディスプレイ上の初期位置からディスプレイ上の新しい位置（例えば、拡張現実ビューの中央又は拡張現実ビューの別の所定の位置）まで移動され、サイズ変更され、方向変更されて、移動の間、又は、移動の終了後、仮想オブジェクトがカメラの視野において検出されるプレーン（例えば、仮想オブジェクトの表現を支持することができる直立壁又は水平床面などの物理表面）に対して固定角であるように、方向変更される。いくつかの実施形態では、アニメーション化された遷移が発生するにつれて、仮想オブジェクトの照明及び／又は仮想オブジェクトによる影投射は（例えば、１つ以上のカメラの視野において検出される環境照明と一致するように）調整される。仮想オブジェクトの表現としてアニメーションを表示すると共に第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域に切り替えることは、第１の入力が第１の基準を満たすことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments (e.g., when corresponding to replacing at least a portion of the display of the first user interface area with a representation of the field of view of one or more cameras), the device is a virtual object (e.g. Display an animation (eg, move, rotate around one or more axes, and / or scaling) as the representation of the
いくつかの実施形態では、ディスプレイ上に第２のユーザーインターフェース領域を表示すると共に、デバイスは第２の接触（例えば、接触５０４０）によって第２の入力を検出し（８３６）、そこにおいて、第２の入力は（任意選択的に、仮想オブジェクトの表現を選択するための第２の接触による押圧又はタッチ入力、及び）（例えば、図５Ｎ〜５Ｐで図示するように）ディスプレイにわたる第１のパスに沿った第２の接触の移動を含み、そして、第２の接触によって第２の入力を検出することに応答して、デバイスは、第１のパスに対応する（例えば、同じものであるか、又はそれに拘束された）２本目のパスに沿った第２のユーザーインターフェース領域に仮想オブジェクト（例えば、仮想椅子５０２０）の表現を移動する。いくつかの実施形態では、第２の接触は第１の接触とは異なり、第１の接触のリフトオフの後に（例えば、（図５Ｃ〜５Ｆの接触５０２６のリフトオフの後に検出される）図５Ｎ〜５Ｐの接触５０４０で示すように）検出される。いくつかの実施形態では、第２の接触は、（例えば、（ＡＲトリガ基準を満たして、その後、タッチスクリーン１１２を横切って仮想ランプ５０８４を移動する）接触５０８６による入力で示すように）タッチ感知面上で連続的に維持される第１の接触と同じである。いくつかの実施形態では、仮想オブジェクト上のスワイプ入力は仮想オブジェクトを回転させると共に、仮想オブジェクトの移動は任意選択的にカメラの視野のプレーンによって拘束される（例えば、スワイプ入力は、カメラの視野の床面上の椅子の表現を回転させる）。入力を検出することに応答して仮想オブジェクトの表現を移動することは、仮想オブジェクトの表示された位置がユーザー入力に応答して移動可能なことを示すためのフィードバックをユーザーに提供する。改良されたフィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while displaying the second user interface area on the display, the device detects a second input by a second touch (eg, touch 5040) (836), wherein the second input is detected The input of (optionally, a second touch on touch or touch input to select a representation of the virtual object, and) and a first pass across the display (eg, as illustrated in FIGS. 5N-5P) The device corresponds to a first pass (e.g., is the same, or includes the movement of a second touch along and responsive to detecting the second input by the second touch) Or move the representation of the virtual object (e.g., virtual chair 5020) to a second user interface area along a second path that is constrained to it. In some embodiments, the second contact is different from the first contact and after the first contact liftoff (eg, detected after the liftoff of the
いくつかの実施形態では、仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するそれぞれのプレーンに基づいて２本目のパスに沿って移動するにつれて、デバイスは仮想オブジェクトの表現のサイズを（例えば、視野の仮想オブジェクトの正確な視点を維持するために、仮想オブジェクトの表現からユーザーまでの仮想距離に基づいて）調整する（８３８）。例えば、図５Ｎ〜５Ｐで、仮想椅子５０２０のサイズは、仮想椅子が、デバイス１００から離れてかつテーブル５００４の方へカメラの視野５０３４の中により深く移動するにつれて、減少する。仮想オブジェクトの表現が接触の移動及び仮想オブジェクトに対応するプレーンに基づいて第２のパスに沿って移動するにつれて、（例えば、仮想オブジェクトの表現をカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトの表現のサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現のサイズを調整することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the representation of the virtual object travels along a second path based on the movement of the touch and the respective planes corresponding to the virtual object, the device measures the size of the representation of the virtual object (eg, Adjust (838) based on the virtual distance from the representation of the virtual object to the user to maintain an accurate view of the virtual object in the field of view. For example, in FIGS. 5N-5P, the size of
いくつかの実施形態では、仮想オブジェクトの表現が（例えば、図５ＡＩ〜５ＡＬで図示するように）第２のパスに沿って移動するにつれて、デバイスは仮想オブジェクト（例えば、仮想ランプ５０８４）の表現の第１のサイズを維持し（８４０）、デバイスは第２の接触（例えば、図５ＡＬ〜午前５時で図示するように、第２の接触のリフトオフを検出することを含む）によって第２の入力の終了を検出し、そして、第２の接触によって第２の入力の終了を検出することに応答して、デバイスは第２のユーザーインターフェース領域のドロップオフの位置（例えば、テーブル面５０４６に）に仮想オブジェクトの表現を配置して、第１のサイズとは異なる第２のサイズで第２のユーザーインターフェース領域のドロップオフの位置に仮想オブジェクトの表現を表示する（例えば、図５ＡＭの仮想ランプ５０８４のサイズは、接触５０８６による入力の終了の後、接触５０８６による入力の終了の前の図５ＡＬの仮想ランプ５０８４のサイズとは異なる）。例えば、接触によってドラッグされている間、オブジェクトはそのサイズ及びビューイング視点を変えず、そして、オブジェクトが拡張現実ビューのその最終位置下ろされると、オブジェクトはカメラの視野に表示される仮想オブジェクトのドロップオフの位置に対応する物理的環境の物理的位置に基づいて決定されるサイズ及びビューイング視点によって表示され、それにより、ドロップオフの位置がカメラの視野の第１の位置であるという決定にしたがって、オブジェクトは第２のサイズを有する、そして、ドロップオフの位置がカメラの視野の第２の位置であるという決定にしたがって、オブジェクトは第２のサイズと異なる第３のサイズを有し、そこにおいて、第２及び第３のサイズは１つ以上のカメラからのドロップオフの位置の距離に基づいて選択される。仮想オブジェクトを移動する第２の入力の終了の検出に応答して、（例えば、仮想オブジェクトをカメラの視野の環境に対して現実的なサイズに維持するように仮想オブジェクトのサイズを調整するための更なるユーザー入力必要とせずに）仮想オブジェクトの表現を変更されたサイズで表示することは、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the representation of the virtual object moves along the second path (eg, as illustrated in FIGS. 5AI-5AL), the device may represent a representation of the virtual object (eg, virtual lamp 5084). The first size is maintained (840) and the device receives a second input by a second contact (eg, detecting lift-off of the second contact as illustrated in FIGS. 5AL-5am). In response to detecting the end of the second input and detecting the end of the second input by the second contact, the device is in a drop-off position (eg, on the table surface 5046) in the second user interface area. A representation of the virtual object is placed at a second user interface area drop-off location with a second size different from the first size. Show object representation (e.g., size of the
いくつかの実施形態では、ディスプレイにわたる第１のパスに沿った第２の接触の移動が第２の基準を満たす（例えば、第１のパスの終わりに、接触は、ディスプレイの端（例えば、下端、上端、又は側端）の閾値距離内若しくはそれの外側か、又は第２のユーザーインターフェース領域の端にある）という判定にしたがって、デバイス（８４２）は、１つ以上のカメラの視野の表現を含んでいる第２のユーザーインターフェース領域を表示することをやめ、そして、仮想オブジェクトの表現を有する（完全な）第１のユーザーインターフェース領域を再表示する（例えば、第１のユーザーインターフェース領域の一部が以前第２のユーザーインターフェース領域と並行して表示されている場合、第２のユーザーインターフェース領域がもはや表示されなくなった後に、デバイスは完全な第１のユーザーインターフェース領域を表示する）。例えば、図５Ｖ〜５Ｘで図示するように、タッチスクリーン１１２の端に仮想椅子５０５４をドラッグする接触５０５４の移動に応答して、カメラの視野５０３４は表示されなくなり、図５Ｙ〜５ＡＤで図示するように、完全なメッセージ送信ユーザーインターフェース５００８が再表示される。いくつかの実施形態では、接触がディスプレイの端又は第２のユーザーインターフェース領域の端に接近するにつれて、第２のユーザーインターフェース領域がフェードアウトし（例えば、図５Ｘ〜５Ｙで図示されるように）、かつ／又は、第１のユーザーインターフェース領域（の表示されないか又はブロックされる部分）がフェードインする（例えば、図５Ｚ〜５ＡＡで図示されるように）。いくつかの実施形態では、非ＡＲビュー（例えば、第１のユーザーインターフェース領域）からＡＲビュー（例えば、第２のユーザーインターフェース領域）まで遷移するためのジェスチャ及びＡＲビューから非ＡＲビューまで遷移するためのジェスチャは、同一である。例えば、現在表示されているユーザーインターフェースの閾値位置を越えた（例えば、現在表示されているユーザーインターフェース領域の境界の閾値距離の範囲内、又は、現在表示されているユーザーインターフェース領域の境界を越えた）仮想オブジェクト上のドラッグジェスチャは、現在表示されているユーザーインターフェース領域から相手方ユーザーインターフェース領域への（例えば、第１のユーザーインターフェース領域を表示することから第２のユーザーインターフェース領域を表示することへの、あるいは、第２のユーザーインターフェース領域を表示することから第１のユーザーインターフェース領域を表示することへの）遷移を引き起こす。いくつかの実施形態では、視覚的な指示（例えば、現在表示されているユーザーインターフェース領域をフェードアウトさせて、相手方ユーザーインターフェースをフェードインさせる）は、第１／第２の基準が満たされる前に表示され、そして、入力が続いて、かつ入力（例えば、接触のリフトオフ）の終了が検出される前に第１／第２の基準が満たされない場合はその逆にできる。入力基準を満たす入力を検出することに応答して第１のユーザーインターフェースを再表示することは、第２のユーザーインターフェースを追加的な表示された制御（例えば、第２のユーザーインターフェースから第１のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, movement of the second contact along a first pass across the display meets a second criterion (eg, at the end of the first pass, the touch is an edge of the display (eg, a bottom edge) Device (842), according to the determination that the threshold distance is within or outside the threshold distance of the top edge or the side edge, or at the end of the second user interface area, the representation of the field of view of one or more cameras. Stop displaying the second user interface area that it contains, and redisplay the (full) first user interface area that has a representation of the virtual object (eg, part of the first user interface area Was previously displayed in parallel with the second user interface area, the second user interface area After that is no longer displayed, the device displays the complete first user interface area). For example, in response to the movement of the
いくつかの実施形態では、第１のユーザーインターフェース領域を再表示することに対応する時間に、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの表現を表示することから第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する（例えば、図５ＡＢ〜５ＡＤの仮想椅子５０２０のアニメーションで図示するように）ことへのアニメーション化された遷移（例えば、移動、１つ以上の軸のまわりの回転及び／又はスケーリング）を表示する（８４４）。第２のユーザーインターフェースの仮想オブジェクトの表現を表示することから第１のユーザーインターフェースの仮想オブジェクトの表現を表示することへのアニメーション化された遷移を（例えば、更にユーザー入力が第１のユーザーインターフェースの仮想オブジェクトを再位置付けすることを必要とせずに）表示することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, at a time corresponding to redisplaying the first user interface area, the device displays the representation of the virtual object in the second user interface area to the first user interface area. An animated transition (eg, movement, rotation around one or more axes) and / or to displaying a representation of a virtual object (eg, as illustrated by the animation of
いくつかの実施形態では、第２の接触が第１のパスに沿って移動するにつれて、デバイスは、接触の現在位置に対応する１つ以上のカメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変える（例えば、１つ以上のプレーンの外観を強調し、マークし、輪郭を描き、かつ／又は、さもなければ視覚的に変える）（８４６）。例えば、接触５０４２が図５Ｏ〜５Ｐの矢印５０４２及び５０４４で示すようにパスに沿って仮想椅子５０２０をドラッグするにつれて、床面５０３８は強調される（例えば、接触５０４２の移動の前の図５Ｍと比較して）。いくつかの実施形態では、接触がカメラの視野において検出される第１のプレーンに対応する位置にあるという判定にしたがって、第１のプレーンが強調される。接触がカメラの視野で検出される第２のプレーンに対応する位置へ（例えば、図５Ｓ〜５Ｕで図示するように）移動したという判定にしたがって、第１のプレーン（例えば、床面５０３８）は強調されなくなり、そして第２のプレーン（例えば、テーブル面５０４６）が強調される。いくつかの実施形態では、複数のプレーンが同時に強調される。いくつかの実施形態では、複数の視覚的に変更されたプレーンの第１のプレーンは、他のプレーンが視覚的に変えられる方法とは異なった方法で視覚的に変更されて、接触が第１のプレーンに対応する位置にあることを示す。カメラの視野において識別される１つ以上のそれぞれのプレーンの外観を変えることは、プレーン（例えば、これに対して仮想オブジェクトを配置することができる）が識別されたことを示すためのフィードバックをユーザーに提供する。改良された視覚フィードバックを提供することは、デバイスの操作性を高め（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, as the second contact travels along the first path, the device may be configured to identify one or more of the respective ones identified in the field of view of the one or more cameras corresponding to the current position of the contact. Alter the appearance of the planes (eg, highlight, mark, outline and / or otherwise visually alter the appearance of one or more planes) (846). For example, as
いくつかの実施形態では、接触によって第１の入力を検出することに応答して、接触による第１の入力が第３の（例えば、ステージングユーザーインターフェースディスプレイ）基準（例えば、ステージングユーザーインターフェースディスプレイ基準は、スワイプ入力、タッチホールド入力、押圧入力、タップ入力又は所定の強度閾値を上回った強度を有する激しい押圧を識別するように構成される基準である）を満たすという判定にしたがって、デバイスはディスプレイ上に第３のユーザーインターフェース領域を表示して、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、仮想オブジェクトの２Ｄ画像を置き換える仮想オブジェクトの三次元モデルを含んで）置き換えることを含む（８４８）。いくつかの実施形態では、ステージングユーザーインターフェース（例えば、図６Ｉに関して記載されているステージングユーザーインターフェース６０１０）を表示すると共に、デバイスは、ステージングユーザーインターフェースに対応する仮想オブジェクトの表現の外観を、（例えば、方法９００を参照して下記でより詳細に説明するように）検出される入力に基づいて更新する。いくつかの実施形態では、仮想オブジェクトがステージングユーザーインターフェースで表示されている間に別の入力が検出され、その入力が第２のユーザーインターフェース領域を表示することに遷移するための基準を満たすときに、デバイスは連続的に仮想オブジェクトを表示すると共に、ステージングユーザーインターフェースの表示を第２のユーザーインターフェース領域に置き換える。更なる詳細を方法９００に関して記載する。第１の入力が第３の基準を満たすという判定にしたがって第３のユーザーインターフェースを表示することは、第１のユーザーインターフェースを追加的な表示された制御（例えば、第１のユーザーインターフェースから第３のユーザーインターフェースを表示するための制御）で混乱させることのない追加的な制御オプションを提供する。第２のユーザーインターフェースを追加的な表示された制御で混乱させることのない追加的な制御オプションを提供することはデバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting the first input by touch, the first input by touch is a third (eg, staging user interface display) criteria (eg, staging user interface display criteria is Swipe input, touch hold input, press input, tap input, or a criteria that is configured to identify a hard press with an intensity above a predetermined intensity threshold) Displaying a third user interface area, including replacing a display of at least a portion of the first user interface area (eg, including a three-dimensional model of a virtual object that replaces a 2D image of the virtual object) (848). ). In some embodiments, a staging user interface (eg, staging
いくつかの実施形態では、接触による第１の入力（例えば、第１のユーザーインターフェース領域をスクロールすることに対応するスワイプ入力又は要求に対応して第１のユーザーインターフェース領域のコンテンツに対応するウェブページ又は電子メールを表示するタップ入力）が第１の（例えば、ＡＲトリガ）基準を満たさないという判定にしたがって、デバイスは、第１のユーザーインターフェース領域の少なくとも一部の表示を（例えば、図６Ｂ〜６Ｃに関して記載されているように）１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持する（８５０）。第１のユーザーインターフェース領域の表示を維持するべきであるか又は連続的に仮想オブジェクトの表現を表示するべきかどうか決定するための第１の基準を使用すると共に、第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野に置き換えることで、入力に応答して複数の異なるタイプの操作を実行することが可能になる。入力に応答して（例えば、ユーザーインターフェースの少なくとも一部の表示を１つ以上のカメラの視野に置き換えるか又は第１のユーザーインターフェース領域の少なくとも一部の表示を１つ以上のカメラの視野の表現に置き換えることなく第１のユーザーインターフェース領域の表示を維持することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。 In some embodiments, a first input by contact (eg, a web page corresponding to content in the first user interface area in response to a swipe input or request corresponding to scrolling through the first user interface area) Or in accordance with a determination that the tap input to display an email does not meet a first (eg, AR trigger) criterion, the device displays an indication of at least a portion of the first user interface area (eg, FIG. The display of the first user interface area is maintained 850 without replacing it with a representation of the field of view of one or more cameras (as described for 6C). Using a first criterion for determining whether the display of the first user interface area should be maintained or whether the representation of the virtual object should be displayed continuously, and at least one of the first user interface areas Replacing some of the display with the field of view of one or more cameras allows one to perform multiple different types of operations in response to input. Responsive to input (eg, replacing at least a portion of the display of the user interface with one or more camera fields of view or representing at least a portion of the display of the first user interface region with one or more camera fields of view) Allowing the execution of multiple different types of operations (by maintaining the display of the first user interface area without replacing with) increases the efficiency with which the user can perform these operations, Thereby increasing the operability of the device, in addition it reduces power usage by improving the battery life of the device by allowing the user to use the device more quickly and efficiently.
図８Ａ〜８Ｅの動作について記載された特定の順序は単なる例にすぎず、記載された順序が操作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書において記載されている操作を再び順序付けする各種の方法を認識するであろう。加えて、本明細書において記載されている他の方法（例えば、方法９００及び１０００）に関して本明細書において記載されている他のプロセスの詳細はまた、図８Ａ〜８Ｅに関して上述した方法８００にも、類似の様式で適用できる点に留意されたい。例えば、方法８００を参照して上述した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９００、１０００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載される接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、触知出力、視野、移動及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、これらの詳細はここで繰り返さない。
It is understood that the specific order described for the operations of FIGS. 8A-8E is merely an example and is not intended to indicate that the order described is the only order in which operations may be performed. I want to be Those skilled in the art will recognize various ways to reorder the operations described herein. In addition, details of other processes described herein with respect to other methods described herein (eg,
図９Ａ〜９Ｄは、いくつかの実施形態による、第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現及び１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する方法９００を図示しているフローチャートである。方法９００は、ディスプレイ、タッチ感知面及び１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側上の１つ以上の後面カメラ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル型多機能デバイス１００）で実行される。いくつかの実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上にあるか又はディスプレイと統合される。いくつかの実施形態では、ディスプレイは、タッチ感知面から分離している。方法９００のいくつかの操作は任意選択的に組み合わされ、かつ／又は、いくつかの操作の順序は任意選択的に変更される。
9A-9D illustrate, according to some embodiments, a first representation of a virtual object in a first user interface area, a second representation of a virtual object in a second user interface area, and a field of view of one or more cameras. 10 is a flowchart illustrating a
後述するように、方法９００は、第１のユーザーインターフェース（例えば、二次元のグラフィックユーザーインターフェース）の仮想オブジェクトの表現を表示するデバイスのタッチ感知面での接触によって入力を検出することに関する。第１の入力に応答して、デバイスは、第２のユーザーインターフェース（例えば、仮想オブジェクトの三次元表現を移動し、サイズ変更し、かつ／又は方向変更することができるステージングユーザーインターフェース）に仮想オブジェクトの第２の表現を表示するべきかどうか決定するための基準を使用する。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示すると共に、第２の入力に応答して、デバイスは第２の入力に基づいて仮想オブジェクトの第２の表現の表示特性を変えるか又はデバイスの１つ以上のカメラの視野を含む第３のユーザーインターフェースの仮想オブジェクトの第３の表現を表示する。入力に応答して（例えば、仮想オブジェクトの表示特性を変えるか又は第３のユーザーインターフェースに仮想オブジェクトを表示することによって）複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することが出来る効率を増大させ、それによって、デバイスの操作性を高め、加えてそれが、ユーザーがデバイスを更に迅速かつ効率よく使用することを可能にすることによって電力使用量を削減し、デバイスのバッテリ寿命を改善する。
As described below,
デバイスは、ディスプレイ１１２上の第１のユーザーインターフェース領域（例えば、二次元のグラフィックユーザーインターフェース又は一部（例えば、家具画像の一覧可能なリスト、１つ以上の選択可能なオブジェクトを含んでいる画像など））に仮想オブジェクトの表現（例えば、仮想椅子５０２０、仮想ランプ５０８４、靴、家具、手工具、装飾、人々、絵文字、ゲームキャラクタ、仮想家具などの、三次元オブジェクトのグラフィック表現）を表示する（９０２）。例えば、第１のユーザーインターフェース領域は、図６Ａで示すメッセージ送信ユーザーインターフェース５００８である。いくつかの実施形態では、第１のユーザーインターフェース領域は、デバイスを囲んでいる物理的環境の画像以外のバックグラウンドを含む（例えば、第１のユーザーインターフェース領域のバックグラウンドは、予め選択された背景色／パターンであるか、又は、１つ以上のカメラによって並行して取り込まれる出力像と異なり、かつ１つ以上のカメラの視野の有効なコンテンツと異なる背景画像である）。
The device may include a first user interface area on display 112 (eg, a two-dimensional graphic user interface or a portion (eg, listable list of furniture images, an image including one or more selectable objects, etc.) )) Displays a representation of a virtual object (for example, a graphical representation of a three-dimensional object such as a
ディスプレイ上の第１のユーザーインターフェース領域の仮想オブジェクトの第１の表現を表示すると共に、デバイスは、ディスプレイ上の仮想オブジェクトの第１の表現に対応するタッチ感知面上の場所で、第１の接触による第１の入力を検出する（９０４）（例えば、第１の接触はタッチスクリーンディスプレイ上の仮想オブジェクトの第１の表現上で検出されるか、又は、第１の接触は、仮想オブジェクトの第１の表現を有する第１のユーザーインターフェース領域において並行して表示され、そして、接触によって起動されると仮想オブジェクトのＡＲビュー（例えば、カメラの視野６０３６）及び／又は仮想オブジェクト（例えば、仮想椅子５０２０）の表現を含むステージングユーザーインターフェース６０１０の表示をトリガするように構成されるアフォーダンス（例えば、トグル制御６０１８）上で、検出される）。例えば、第１の入力は、図６Ｅ〜６Ｉに関して記載されている接触６００６による入力である。
While displaying a first representation of a virtual object of a first user interface area on a display, the device is configured to contact a first touch at a location on the touch sensitive surface corresponding to the first representation of the virtual object on the display Detecting (904) a first input according to (eg, a first touch is detected on a first representation of the virtual object on the touch screen display, or the first touch is detected on the first of the virtual object AR views of virtual objects (eg, camera field of view 6036) and / or virtual objects (eg, virtual chair 5020) displayed in parallel in a first user interface area having a representation of 1 and activated by touch Trigger the display of the
第１の接触によって、そして、第１の接触による第１の入力が第１の（例えば、ステージング−トリガ）基準を満たすという判定にしたがって第１の入力を検出することに応答して、（例えば、ステージング−トリガ基準は、入力されるスワイプを識別するように構成される基準、タッチホールド入力、押圧入力、タップ入力、接触のタッチダウン、接触の最初の移動又はカメラのアクティブ化及び／又はカメラの視野の視野平面の検出をトリガすることと関係している別のタイプの所定の入力ジェスチャである）、デバイスは、第１のユーザーインターフェース領域と異なる第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現を表示する（９０６）（例えば、第２のユーザーインターフェース領域は、カメラの視野を含まないで、そして、ユーザー入力に応答して仮想オブジェクトの三次元表現が操作される（例えば、回転されて、移動される）ことができる、擬似的な三次元空間を含むステージングユーザーインターフェース６０１０である）。例えば、図６Ｅ〜６Ｈで、接触６００６による入力が深い押圧強度閾値ＩＴＤを上回って増加する特性強度を有するという判定にしたがって、メッセージ送信ユーザーインターフェース５００８（例えば、図６Ｅに示すように）とは異なるステージングユーザーインターフェース６０１０（例えば、図６Ｉに示すように）で、仮想椅子オブジェクト５０２０は、表示される。
In response to detecting the first input according to the first contact and in accordance with a determination that the first input by the first contact meets a first (eg, staging-trigger) criterion (eg, , Staging-trigger criteria are criteria configured to identify an incoming swipe, touch hold input, press input, tap input, touch touchdown, initial movement of contact or camera activation and / or camera Another type of predetermined input gesture associated with triggering detection of a field plane of the second field of view) of the virtual object in the second user interface area different from the first user interface area. (906) (For example, the second user interface area includes the field of view of the camera. A staging
いくつかの実施形態では、第１の入力を検出することに応答して、そして、第１の入力がステージングトリガ基準を満たすという判定にしたがって、デバイスは、第１のユーザーインターフェース領域で示す第１の向き（例えば、図６Ｅのメッセージ送信ユーザーインターフェース５００８で示す仮想椅子５０２０の第１の向き）から、デバイスを囲んでいる物理的環境に対してデバイスの現在の向きから独立して方向付けられるディスプレイ上の仮想的なプレーンに基づいて決定される第２の向き（例えば、図６Ｉで示すステージ平面６０１４に基づいて決定される仮想椅子５０２０の第２の向き）まで、移動されて方向変更されている仮想オブジェクトの三次元表現を示す第１のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は（例えば、二次元のグラフィカルユーザーインターフェースで示す仮想オブジェクトの形状及び向きづけに基づいて）プレーンから所定の向き及び／又は距離を有し、そして、ステージングビュー（例えば、ステージングユーザーインターフェース６０１０）に遷移するときに、三次元の表現はディスプレイ上の仮想オブジェクトの元の位置からディスプレイ上の新しい位置（例えば、仮想ステージ６０１４の中心）まで移動され、サイズ変更され、方向変更され、そして、移動の間、又は、移動の終了後、デバイスを囲んでいる物理的環境から独立して定められる所定のステージング仮想的なプレーン６０１４に対して仮想オブジェクトが固定角であるように、三次元の表現は方向変更される。
In some embodiments, in response to detecting the first input and in accordance with a determination that the first input meets a staging trigger criterion, the device is configured to display a first in a first user interface area. Display that is oriented independently of the current orientation of the device relative to the physical environment surrounding the device (eg, the first orientation of
第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示すると共に、デバイスは第２の入力（例えば、図６Ｑ〜６Ｔで図示される接触６０３４による入力）を検出する（９０８）。いくつかの実施形態では、第２の入力を検出することは、仮想オブジェクトの第２の表現に対応するタッチスクリーン上の位置で１つ以上の第２の接触を検出すること、第２の接触によって起動されるとデバイスを囲んでいる物理的環境の拡張現実ビューの表示をトリガするように構成されるアフォーダンス上で第２の接触を検出すること、第２の接触の移動を検出すること、及び／又は第２の接触のリフトオフを検出することを含む。いくつかの実施形態では、第２の入力は、同じ接触による第１の入力の継続（例えば、第２の入力は、図６Ｅ〜６Ｉで図示する接触６００６の後の、図６Ｑ〜６Ｔで図示する接触６０３４による入力である（例えば、接触のリフトオフなしで））、又は完全に異なる接触による別々の入力（例えば、第２の入力は、図６Ｅ〜６Ｉで図示する接触６００６による第１の入力の後の、図６Ｑ〜６Ｔで図示する接触６０３４による入力である（接触のリフトオフによる））、又は追加の接触による入力の継続（例えば、第２の入力は、図６Ｅ〜６Ｉで図示する接触６００６による第１の入力の後の、図６Ｊ〜６Ｌで図示する接触６００６による入力である）である。例えば、第２の入力は、スワイプ入力、第２のタップ入力、第２の押圧入力、第１の入力に続いた押圧入力、第２のタッチホールド入力、第１の入力から続く維持されたタッチ、などの継続でもよい。
While displaying the second representation of the virtual object in the second user interface area, the device detects a second input (eg, input by
第２の入力を検出することに応答して（９１０）、第２の入力が（例えば、拡張現実ビューに遷移せずに）第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応するという決定にしたがって、デバイスは第２の入力に基づいて第２のユーザーインターフェース領域の中の仮想オブジェクトの第２の表現の表示特性を変更し、そして、第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは１つ以上のカメラの視野の表現を有する仮想オブジェクトの第３の表現を表示する（例えば、デバイスは、１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェースを表示し、デバイスを囲んでいる物理的環境５００２の物理的なプレーン（例えば、床）に対応するカメラの視野の中で検出される仮想的なプレーン（例えば、床面５０３８）上に、仮想オブジェクトの三次元表現（例えば、仮想椅子５０２０）を配置する）。
Responsive to detecting the second input (910), the second input responds to a request to manipulate a virtual object in the second user interface area (eg, without transitioning to an augmented reality view). According to the determination, the device changes display characteristics of the second representation of the virtual object in the second user interface area based on the second input, and the second input places the virtual object in the augmented reality environment. The device displays a third representation of the virtual object having a representation of one or more camera fields of view (eg, the device includes one or more camera fields of view 6036) in accordance with the decision to correspond to the request to display. Displays a third user interface on the physical plane (eg, floor) of the
いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトを操作する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所での第２の接触によるピンチ又はスワイプである。例えば、第２の入力は、図６Ｊ〜６Ｌに図示する接触６００６による入力又は図６Ｎ〜６Ｏに図示する接触６０２６及び６０３０による入力である。
In some embodiments, the second input corresponding to the request to manipulate the virtual object in the second user interface area is on a touch-sensitive surface corresponding to the second representation of the virtual object in the second user interface area. Pinch or swipe with a second touch at the location of For example, the second input is an input by
いくつかの実施形態では、仮想オブジェクトを拡張現実環境に表示する要求に対応する第２の入力は、第２のユーザーインターフェース領域の仮想オブジェクトの表現に対応するタッチ感知面上の場所での、又は、そこからの、タップ入力、押圧入力又はタッチホールド若しくは押圧入力に続くドラッグ入力である。例えば、第２の入力は、図６Ｑ〜６Ｔで図示する接触６０３４によって入力される深い押圧である。
In some embodiments, the second input corresponding to the request to display the virtual object in the augmented reality environment is at a location on the touch sensitive surface corresponding to the representation of the virtual object in the second user interface area, or , From there, tap input, press input or touch hold or drag input following press input. For example, the second input is a deep press input by
いくつかの実施形態では、第２の入力に基づいて第２のユーザーインターフェース領域の中で仮想オブジェクトの第２の表現の表示特性を変えることは、１つ以上の軸のまわりを回転すること（例えば、垂直及び／又は横スワイプを経て）、サイズ変更すること（例えば、サイズ変更するピンチ）、１つ以上の軸のまわりで傾けること（例えば、デバイスを傾けることによって）、視点を変化させること（例えば、１つ以上の視野面を検出するための１つ以上のカメラの視野の分析のためにいくつかの実施形態において使われる、水平にデバイスを動かすことによって）、及び／又は仮想オブジェクトの表現の色を変えることを含む。例えば、仮想オブジェクトの第２の表現の表示特性を変えることは、図６Ｊ〜６Ｋで図示するように、接触６００６によって水平スワイプジェスチャに応答して仮想椅子５０２０を回転させること、図６Ｋ〜６Ｌで図示するように、接触６００６によって斜めのスワイプジェスチャに応答して仮想椅子５０２０を回転させること、又は図６Ｎ〜６Ｏで図示するように、接触６０２６及び６０３０によってデピンチジェスチャに応答して仮想椅子５０２０のサイズを増加させることを含む。いくつかの実施形態において、仮想オブジェクトの第２の表現の表示特性が変えられる量は、第２の入力特性が変化する量（例えば、接触による移動の距離又は速度、接触の強度、接触の期間など）と相関している。
In some embodiments, changing the display characteristics of the second representation of the virtual object in the second user interface region based on the second input is rotating about one or more axes ( For example, via vertical and / or horizontal swipe), resizing (eg, resizing pinch), tilting around one or more axes (eg, by tilting the device), changing the viewpoint (Eg, by moving the device horizontally, used in some embodiments for analysis of the field of view of one or more cameras to detect one or more field planes), and / or Including changing the color of the expression. For example, changing the display characteristics of the second representation of the virtual object may rotate
いくつかの実施形態では、第２の入力が拡張現実環境に（例えば、図６Ｔに関して記載されている１つ以上のカメラの視野６０３６に）仮想オブジェクトを表示する要求に対応するという決定にしたがって、デバイスは、ディスプレイ上の仮想的なプレーンに対するそれぞれの向き（例えば、図６Ｒに示す仮想椅子５０２０の向き）から、１つ以上のカメラの視野において捕えられる物理的環境の部分の現在の向きに基づいて決定される第３の方向（例えば、図６Ｔに示す仮想椅子５０２０の向き）まで方向変更される、仮想オブジェクトの三次元表現を示す第２のアニメーション化された遷移を表示する。例えば、仮想オブジェクトの三次元の表現は、仮想オブジェクトの三次元表現が、カメラの視野において捕えられる物理的環境５００２（例えば、仮想オブジェクトの三次元表現を支持することができる直立壁又は水平床面などの物理表面）のライブ画像において識別される所定のプレーン（例えば、床面５０３８）に対して固定角であるように、方向変更される。いくつかの実施形態では、拡張現実ビューの仮想オブジェクトの向きは、少なくとも１つの態様においてステージングユーザーインターフェースの仮想オブジェクトの向きによって拘束される。例えば、三次元座標系の少なくとも１つの軸のまわりの仮想オブジェクトの回転角度は、仮想オブジェクトをステージングユーザーインターフェースから拡張現実ビューに遷移するときに維持される（例えば、図６Ｑ〜６Ｕに関して記載されているように、図６Ｊ〜６Ｋに関して記載されている仮想椅子５０２０の回転は維持される）。いくつかの実施形態では、第２のユーザーインターフェース領域の仮想オブジェクトの表現上への光投射源は仮想光源である。いくつかの実施形態では、第３のユーザーインターフェース領域の仮想オブジェクトの第３の表現は、（例えば、１つ以上のカメラの視野において検出され、かつ／又はそれから判定されるような）実世界光源によって照らされる。
In some embodiments, according to the determination that the second input corresponds to a request to display a virtual object in an augmented reality environment (eg, in the field of
いくつかの実施形態では、第１の基準は、第１の入力が仮想オブジェクトインジケータ５０２２（例えば、ディスプレイ上の仮想オブジェクトの表現に重ねてかつ／又はそれと隣接して表示されるアイコンなどのインジケータ）に対応するタッチ感知面上の場所に第１の接触によって入力されるタップを含むときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１２）。例えば、仮想オブジェクトインジケータ５０２２は、それが一致する仮想オブジェクトがステージングビュー（例えば、ステージングユーザーインターフェース６０１０）及び拡張現実ビュー（例えば、カメラの視野６０３６）において見えるという表示を、（例えば、方法１０００に関して下記により詳細に説明するように）提供する。第１の入力が入力されるタップを含むかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is that the first input is a virtual object indicator 5022 (eg, an indicator such as an icon displayed over and / or adjacent to the representation of the virtual object on the display). A criterion that is satisfied (912) when including a tap input by the first touch at a location on the touch-sensitive surface corresponding to (912). For example, the
いくつかの実施形態では、第１の基準は、少なくとも所定の時間（例えば、長いプレスの時間閾値）の間に閾値移動量未満で仮想オブジェクトの第１の表現に対応する、タッチ感知面上の場所に第１の接触が維持されるときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１４）。例えば、第１の基準は、タッチホールド入力によって満たされる。いくつかの実施形態では、第１の基準は、基準が満たされるために、少なくとも所定の閾値時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に第１の接触が維持された後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、タッチホールド入力に続くドラッグ入力によって満たされる。仮想オブジェクトの第２の表現を第２のユーザーインターフェース領域に表示するべきかどうかを決定することは、接触が少なくとも所定の時間の間に閾値移動量未満で仮想オブジェクトの表現に対応するタッチ感知面上の場所に維持されるかどうかに応じて、入力に応答した複数の異なるタイプの操作の実行を可能にする。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。 In some embodiments, the first criterion is on the touch-sensitive surface corresponding to the first representation of the virtual object at least a predetermined amount of time (e.g., a long press time threshold) and less than a threshold shift amount. Criteria that are satisfied (914) when the first contact is maintained at the location (eg, according to a determination that it is). For example, the first criterion is satisfied by the touch hold input. In some embodiments, the first criteria is a first location on the touch sensitive surface corresponding to a representation of the virtual object less than a threshold travel for at least a predetermined threshold time to meet the criteria. Includes criteria that require the movement of the first contact after the contact is maintained. For example, the first criterion is met by a drag input following a touch hold input. Determining whether the second representation of the virtual object is to be displayed in the second user interface area may include a touch sensitive surface corresponding to the representation of the virtual object with a touch less than a threshold travel for at least a predetermined time. Allows execution of several different types of operations in response to input, depending on whether they are kept in place. Enabling the execution of several different types of operations in response to input increases the efficiency with which a user can perform these operations, thereby increasing the operability of the device and in addition it However, it reduces power usage and improves the battery life of the device by allowing the user to use the device more quickly and efficiently.
いくつかの実施形態では、第１の基準は、第１の接触の特性強度が第１の強度閾値（例えば、深い押圧強度閾値ＩＴＤ）を上回って増加するときに（例えば、そうであるという判定にしたがって）満たされる基準を含む（９１６）。例えば、図６Ｑ〜６Ｔに関して記載されているように、基準は、強度レベルメータ５０２８によって示されるように、接触６０３４の特性強度が深い押圧強度閾値ＩＴＤを上回って増加するときに満たされる。いくつかの実施形態では、接触が別のタイプのジェスチャ（例えば、タップ）を認識するための基準を満たすという判定にしたがって、デバイスは第２の（例えば、ステージング）ユーザーインターフェースをトリガさせること以外の別の所定の機能を実行すると共に仮想オブジェクトの表示を維持する。いくつかの実施形態では、第１の基準は、第１の入力がタップ入力でない（例えば、接触のリフトオフの前に閾値強度を上回ったものに達する激しいタップ入力が、接触の最初のタッチダウンのタップ時間閾値の範囲内で検出される）ことを必要とする。いくつかの実施形態では、第１の基準は、基準が満たされるために、第１の接触の強度が第１の強度閾値を超えた後に第１の接触の移動を必要とする基準を含む。例えば、第１の基準は、押圧入力に続くドラッグ入力によって満たされる。接触の特性強度が第１の強度閾値を上回って増加するかどうかに応じて、第２のユーザーインターフェース領域に仮想オブジェクトを表示するかどうかを決定することにより、第１の入力に応答して複数の異なるタイプの操作を実行することができる。入力に応答して複数の異なるタイプの操作の実行を可能にすることは、ユーザーがこれらの操作を実行することができる効率性を増大させ、それによって、デバイスの操作性を高め、加えてそれが、電力使用量を減らして、ユーザーがより迅速かつ効率よくデバイスを使用することができることによってデバイスのバッテリ寿命を改善する。
In some embodiments, the first criterion is (eg, is) when the first contact characteristic intensity increases above a first intensity threshold (eg, deep pressure intensity threshold IT D ). Include the criteria to be met according to the determination (916). For example, as described with respect to FIGS. 6Q-6T, the criteria are met when the characteristic strength of
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第２の基準（例えば、インターフェーススクロール基準）を満たすことの判定に応じて（ただし、第２の基準は、第１の入力が閾値距離よりも長くにわたるタッチ感知面と交差する方向の第１の接触の移動を含むことを必要とする（例えば、第２の基準は、垂直スワイプ又は水平ジェスチャなどのスワイプジェスチャによって満たされる））、デバイスは、第１のユーザーインターフェース領域（及び仮想オブジェクトの表現）を第１の接触の移動方向に対応する方向にスクロールする（９１８）（例えば、第１の基準は満たされず、仮想オブジェクトの表現を第２のユーザーインターフェース領域に表示することは見合わせられる）。例えば、図６Ｂ〜６Ｃに関して説明したように、接触６００２による上向きの垂直スワイプジェスチャは、メッセージングユーザーインターフェース５００８及び仮想椅子５０２０を上方へスクロールさせる一部の実施形態では、第１の基準が満たされるために、第１の基準も、第１の入力が閾値距離よりも長くにわたる第１の接触の移動を含むことを必要とし、デバイスは、第１の入力の初期部分がオブジェクト選択基準（例えば、仮想オブジェクトの表現に対するタッチ保持又は押圧）を満たすか否かに基づいて、第１の入力が、第１の基準（例えば、ステージングトリガ基準）、又は第２の基準（例えば、インターフェーススクロール基準）を満たすか否かを判定する。一部の実施形態では、第２の基準は、仮想オブジェクト及び仮想オブジェクトのＡＲアイコン）の位置の外側のタッチ位置で開始されるスワイプ入力によって満たされる。第１の入力が第２の基準を満たすか否かによって、第１の入力に応答して第１のユーザーインターフェース領域をスクロールするか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to the detection of the first input by the first touch, upon determining that the first input by the first touch meets a second criterion (eg, an interface scroll criterion) In response (although the second criterion requires the first input to include movement of the first contact in a direction intersecting the touch sensitive surface over a threshold distance (eg, the second criterion) (Filled with swipe gestures such as vertical swipe or horizontal gesture)), the device scrolls the first user interface area (and the representation of the virtual object) in the direction corresponding to the first touch movement direction (918 (E.g., the first criteria are not met and it is possible to display the representation of the virtual object in the second user interface area). For example, as described with respect to FIGS. 6B-6C, the upward vertical swipe gesture with
一部の実施形態では、第１の接触による第１の入力の検出に応答して、第１の接触による第１の入力が第３の（例えば、ＡＲトリガ）基準を満たすことの判定に応じて、デバイスは、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する（９２０）。例えば、図６ＡＤ〜６ＡＧに関して説明したように、接触６０４４による長いタッチ入力とそれに続く仮想椅子５０２０をドラッグする接触６０４４による上向きのドラッグ入力によって、仮想椅子５０２０は、カメラの視野６０３６と共に表示される。
In some embodiments, in response to detecting the first input by the first contact, in response to determining that the first input by the first contact meets a third (eg, AR trigger) criterion The device then displays a third representation of the virtual object along with a representation of the field of view of the one or more cameras (920). For example, as described with respect to FIGS. 6AD-6AG,
一部の実施形態では、第３の基準は、例えば、１つ以上のカメラがアクティブ状態にあり、デバイスの向きが規定の範囲（例えば、既定の元の向きから、１つ以上の軸まわりの規定の回転角）内に収まり、接触による入力が選択入力（例えば、長いタッチ）とそれに続くドラッグ入力を含む（（例えば、ディスプレイの縁部から所定の距離内まで）ディスプレイ上で仮想オブジェクトを移動させる接触の移動）、接触の特性強度はＡＲトリガ強度閾値（例えば、ライト押圧閾値ＩＴＬ又はディープ押圧閾値ＩＴＤ））を超えて増大し、接触の持続時間はＡＲトリガ持続時間閾値（例えば、長い押圧閾値）を超えて増大し、及び／又はこの接触により移動する距離はＡＲトリガ距離閾値（例えば、長いスワイプ閾値）を超えて増大する、という判定に応じて満足させられる基準を含む。一部の実施形態では、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想オブジェクトの表現を表示する制御（例えば、トグル制御６０１８）は、仮想オブジェクトの表現及び１つ以上のカメラの視野６０３６を含むユーザーインターフェース（例えば、第２のユーザーインターフェース領域のうちの少なくとも一部に置き換わる第３のユーザーインターフェース領域）に表示される。
In some embodiments, the third criterion may be, for example, that one or more cameras are active and the device orientation is within a defined range (eg, from a predetermined original orientation around one or more axes). Move the virtual object on the display (within a specified rotation angle) and the touch input includes a selection input (eg, long touch) followed by a drag input (eg, within a predetermined distance from the edge of the display) The contact characteristic intensity increases beyond the AR trigger intensity threshold (eg, light pressure threshold IT L or deep pressure threshold IT D )), and the duration of contact is the AR trigger duration threshold (eg, Increasing the distance beyond the long press threshold) and / or the distance traveled by this touch increases beyond the AR trigger distance threshold (eg long swipe threshold); It includes a reference to be satisfied according to the determination. In some embodiments, a control (eg, toggle control 6018) that displays a representation of the virtual object in a second user interface area (eg, staging user interface 6010) is a representation of the virtual object and one or more cameras. A user interface (e.g., a third user interface area that replaces at least a portion of the second user interface area) including the field of
一部の実施形態では、第１のユーザーインターフェース領域（例えば、非ＡＲ、非ステージング、タッチスクリーンＵＩビュー）から第３のユーザーインターフェース領域（例えば、拡張現実ビュー）へ直接に遷移する際に、デバイスは、ディスプレイ上のタッチスクリーンＵＩ（例えば、非ＡＲ、非ステージングビュー）に表されるそれぞれの向きから１つ以上のカメラの視野内に取り込まれた物理的環境の一部の現在の向きに対して予め定められている向きへ仮想オブジェクトの三次元表現の向きが変えられることを示すアニメーション化された遷移を表示する。例えば、図６ＡＤ〜６ＡＪに示すように、第１のユーザーインターフェース領域（例えば、図６ＡＤに示すようなメッセージングユーザーインターフェース５００８）から第３のユーザーインターフェース領域（例えば、図６ＡＪに示すようなカメラの視野６０３６を含む拡張現実ユーザーインターフェース）へ直接に遷移する際に、仮想椅子５０２０は、図６ＡＤ〜６ＡＨに示すような第１の向きから（例えば、図６ＡＪに示すような）カメラの視野６０３６内に取り込まれるような物理的環境５００２内の床面５０３８に対する所定の向きへ変化する。例えば、仮想オブジェクトの三次元表現は、仮想オブジェクトの三次元表現が物理的環境５００２のライブ画像中で識別される所定のプレーン（例えば、仮想オブジェクトの三次元表現を支持することができる垂直壁又は水平床面（例えば、床面５０３８）などの物理的表面）に対して一定の角度であるように向きが変えられる。第１の入力が第３の基準を満たすか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, when transitioning directly from a first user interface area (eg, non-AR, non-staging, touch screen UI view) to a third user interface area (eg, augmented reality view), the device For the current orientation of a portion of the physical environment captured within the field of view of one or more cameras from each orientation represented on a touchscreen UI (eg, non-AR, non-staging view) on the display An animated transition indicating that the orientation of the three-dimensional representation of the virtual object is changed to a predetermined orientation. For example, as shown in FIGS. 6AD-6AJ, a first user interface area (eg,
一部の実施形態では、第１の接触による第１の入力の検出に応答して、デバイスは、１つ以上のデバイス方向センサによって、デバイスの現在のデバイス向き（例えば、デバイスの周囲の物理的環境に対する向き）を決定し（９２２）、第３の基準（例えば、ＡＲトリガ基準）は、第３の基準が満たされるために、現在のデバイス向きが第１の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、（介在状態をバイパスするために）デバイスがグラウンドに対して十分に平行であることを示す閾値角度未満であるときに、第２の基準は満たされる）。一部の実施形態では、第１の基準（例えば、ステージングトリガ基準）は、第１の基準が満たされるために、現在のデバイスの向きが第２の向き範囲内にあることを必要とする（例えば、デバイスとグラウンドの間の角度が、まず介在状態に行くためにデバイスがグラウンドに対して十分に直立であることを示す閾値から９０度の値の範囲内にあるときに、第１の基準は満たされる。デバイスの向きがある向き範囲内にあるか否かによって、第１の入力に応答してカメラの視野と共に仮想オブジェクトの第３の表現を表示するか否かを判定することで、第１の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, in response to the detection of the first input by the first touch, the device is directed by the one or more device orientation sensors to the current device orientation of the device (eg, physical around the device Orientation to the environment) (922), the third criterion (eg AR trigger criterion) requires the current device orientation to be within the first orientation range in order for the third criterion to be met The second criterion is (e.g., the angle between the device and ground is less than a threshold angle which indicates that the device is sufficiently parallel to ground (to bypass the intervening condition)). It is filled). In some embodiments, a first criterion (eg, a staging trigger criterion) requires that the current device orientation be within a second orientation range in order for the first criterion to be met ( For example, when the angle between the device and the ground is within a value of 90 degrees from a threshold indicating that the device is sufficiently upright with respect to the ground to first go to the intervening state, the first criterion It is determined whether to display the third representation of the virtual object with the field of view of the camera in response to the first input, depending on whether the orientation of the device is within an orientation range or not, A plurality of different types of operations can be performed in response to the first input, by enabling the execution of the plurality of different types of operations in response to the input, the efficiency with which the user can perform these operations Enhanced, thereby improving the operability of the device, further, the user reduces power consumption of the device by making it possible to use the device more quickly and efficiently, to improve battery life.
一部の実施形態では、仮想オブジェクトの第２の表現の少なくとも１つの表示特性（例えば、サイズ、形状、ヨー軸、ピッチ軸、ロール軸など周りのそれぞれの角度）は、仮想オブジェクトの第３の表現に適用される（９２４）。例えば、図６Ｑ〜６Ｕに関して説明したように、仮想椅子５０２０の第３の表現が（例えば、図６Ｕに示すような）カメラの視野６０３６を含む拡張現実ビューに表示されるときに、図６Ｊ〜６Ｋに関して説明したように、ステージングユーザーインターフェース６０１０に適用される仮想椅子５０２０の第２の表現の回転は維持される。一部の実施形態では、拡張現実ビューにおける仮想オブジェクトの向きは、少なくとも１つの態様におけるステージングユーザーインターフェースにおける仮想オブジェクトの向きによって制約される。例えば、仮想オブジェクトをステージングビューから拡張現実ビューに遷移するときに、所定の三次元座標系の少なくとも１つの軸（例えば、ヨー、ピッチ、又はロール軸）の周りの仮想オブジェクトの回転角度は維持される。一部の実施形態では、仮想オブジェクトの第２の表現がユーザー入力によっていくつかのやり方で操作（例えば、サイズ、形状、テクスチャ、向き等が変更）される場合、仮想オブジェクトの第２の表現の少なくとも１つの表示特性は、仮想オブジェクトの第３の表現にのみ適用される。言い換えれば、オブジェクトが、１つ以上のやり方で拡張現実ビューに示されるときに又は拡張現実ビュー内でオブジェクトの外観を制約するために使用されるときに、ステージングビューになされる変化は、維持される。（例えば、仮想オブジェクトの第２の表現及び仮想オブジェクトの第３の表現に同一の表示特性を適用するために更なるユーザー入力を必要とせずに）仮想オブジェクトの第２の表現の少なくとも１つの表示特性を仮想オブジェクトの第３の表現に適用することにより、（例えば、仮想オブジェクトの大きなバージョンが第２のユーザーインターフェースに表示されている間にユーザーが第２の仮想オブジェクトに回転を適用することを可能にし、１つ以上のカメラの視野の表現と共に表示される仮想オブジェクトの第３の表現に回転を適用することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, at least one display characteristic of the second representation of the virtual object (eg, size, shape, respective angles around yaw axis, pitch axis, roll axis, etc.) is the third of the virtual object. Applied to the expression (924). For example, as described with respect to FIGS. 6Q-6U, when the third representation of
一部の実施形態では、（例えば、第１の接触の検出、又は第１の基準を満たさずにそれぞれの所定の基準を満たす第１の接触による入力の検出、あるいは第１の基準を満たす入力の検出を含む）第１の接触による第１の入力のうちの少なくとも初期部分の検出に応答して（９２６）、デバイスは、１つ以上のカメラを起動し（例えば、ディスプレイ上にカメラの視野を直ちに表示することなくカメラを起動し）、デバイスは、１つ以上のカメラの視野を分析して、１つ以上のカメラの視野内の１つ以上のプレーンを検出する。一部の実施形態では、（例えば、拡張現実環境に仮想オブジェクトを表示する要求に対応する第２の入力が検出されるまで、少なくとも１つの視野平面が検出されるまで、又は仮想オブジェクトに対して定められるアンカー平面に対応する視野平面が検出されるまで）１つ以上のカメラの視野６０３６を表示することは、１つ以上のカメラの起動後に遅延される。一部の実施形態では、１つ以上のカメラの視野６０３６は、１つ以上のカメラの起動に対応する時点で（例えば、それと同時に）表示される。一部の実施形態では、１つ以上のカメラの視野内でプレーンが検出される前（例えば、接触による第１の入力の検出に応答して判定に応じて１つ以上のカメラの視野が表示される前）に、１つ以上のカメラの視野６０３６が表示される。（例えば、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現と共に表示する前に）カメラを起動しカメラの視野を分析して、第１の入力の初期部分の検出に応答して１つ以上の視野平面の検出することで、（例えば、カメラの視野内のそれぞれのプレーンに対する仮想オブジェクトの第３の表現の位置及び／又は向きを決定するのに必要な時間を減少させることによって）デバイスの効率高め、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments (eg, detection of a first touch, or detection of an input by a first touch meeting each predetermined criteria without meeting a first criterion, or an input meeting a first criteria) In response to detecting (926) at least an initial portion of the first input by the first contact (including detection of), the device activates one or more cameras (eg, a camera field of view on the display). The device does not immediately display the camera) and the device analyzes the field of view of one or more cameras to detect one or more planes within the field of view of one or more cameras. In some embodiments (eg, until a second input corresponding to a request to display a virtual object in an augmented reality environment is detected, at least one field plane is detected, or for a virtual object Displaying the field of
一部の実施形態では、デバイスは、１つ以上のカメラの視野内のそれぞれのプレーン（例えば、床面５０３８）の検出に応答して、１つ以上の触知出力生成器１６７を用いて、１つ以上のカメラの視野内のそれぞれのプレーンの検出を示す触知出力を出力する（９２８）。一部の実施形態では、視野平面が識別される前に、視野６０３６が示され得る。一部の実施形態では、追加のユーザーインターフェース制御及び／又はアイコンは、少なくとも１つの視野平面が検出された後に又は視野平面の全部が識別された後に、視野内で実世界画像上に重ね合わされる。カメラの視野内でプレーンを検出したことを示す触知出力を出力することで、プレーンが検出されたことを示すフィードバックをユーザーに提供する。改善された触覚的フィードバックを提供することにより、（例えば、適切な入力を提供するようにユーザーを支援し、仮想オブジェクトを配置する不要な追加の入力を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device uses one or more
一部の実施形態では、ディスプレイ上の仮想オブジェクトの第３の表現のサイズは、仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野６０３６内の場所との間の距離とに基づいて決定され（９３０）、それと共に仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現は、一定の空間的関係（例えば、仮想オブジェクトが付される床面５０３８などのプレーン）を有する。一部の実施形態では、仮想オブジェクトの第３の表現のサイズは、１つ以上のカメラの視野に対する仮想オブジェクトの第３の表現のサイズの縮尺が維持されるように制約される。一部の実施形態では、１つ以上の物理的寸法パラメータ（例えば、長さ、幅、深さ、及び／又は半径）は、仮想オブジェクトについて定義される。一部の実施形態では、第２のユーザーインターフェース（例えば、ステージングユーザーインターフェース）において、仮想オブジェクトは、その定義された物理的寸法パラメータによって制約されない（例えば、仮想オブジェクトのサイズは、ユーザー入力に応答して変更可能である）。一部の実施形態では、仮想オブジェクトの第３の表現は、その定義された寸法パラメータによって制約される。視野内に表される物理的環境に対する拡張現実ビュー内の仮想オブジェクトの位置を変更するためのユーザー入力が検出されたとき、又は視野のズームレベルを変更するためのユーザー入力が検出されたとき、又はデバイスの周囲の物理的環境に対して移動させるためのユーザー入力が検出されたとき、仮想オブジェクトの外観（例えば、サイズ、ビューイング視点）は、（例えば、仮想オブジェクトのアンカー平面と拡張現実環境内のものとの間の一定の空間的関係によって表現されるような）仮想オブジェクトと物理的環境との間の一定の空間的関係と、仮想オブジェクトの所定の寸法パラメータ及び物理的環境の実際の寸法に基づく一定の縮尺とによって制約されるやり方で変化する。（例えば、仮想オブジェクトの実世界サイズをシミュレートするために仮想オブジェクトの第３の表現をリサイズように更なるユーザー入力を必要とせずに）仮想オブジェクトのシミュレートされた実世界サイズと、１つ以上のカメラと１つ以上のカメラの視野内の場所との間の距離に基づいて仮想オブジェクトの第３の表現のサイズを決定することにより、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the size of the third representation of the virtual object on the display is the simulated real world size of the virtual object and the location within the field of
一部の実施形態では、仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力は、（例えば、距離閾値を超えて増大する距離だけ、定められた境界を越えて、及び／又ディスプレイ若しくは第２のユーザーインターフェース領域の縁部（例えば、底縁、上縁、及び又は側縁）の閾値距離内にある位置まで）仮想オブジェクトの第２の表現を（選択して）ドラッグする入力を含む（９３２）。仮想オブジェクトを拡張現実環境内に表示する要求に対応する第２の入力の検出に応答して、仮想オブジェクトの第３の表現をカメラの視野の表現と共に表示することによって、第２のユーザーインターフェースを追加の表示された制御（例えば、第２のユーザーインターフェースから拡張現実環境を表示する制御）で乱すことなく追加の制御オプションを提供する。第２のユーザーインターフェースを追加の表示された制御で乱すことなく追加の制御オプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the second input corresponding to the request to display the virtual object in an augmented reality environment is (eg, a distance that increases beyond a distance threshold, beyond a defined boundary, and / or Also drag (select) a second representation of the virtual object to a position within the threshold distance of the edge of the display or second user interface area (eg, bottom edge, top edge, and / or side edge). Contains input (932). In response to detecting a second input corresponding to a request to display the virtual object in an augmented reality environment, the second user interface is displayed by displaying a third representation of the virtual object along with a representation of the camera's field of view. Provide additional control options without being disturbed by additional displayed controls (eg, controls displaying the augmented reality environment from the second user interface). Improve device operability by providing additional control options without disturbing the second user interface with additional displayed controls, and also allow users to use the device more quickly and efficiently. By enabling the device to reduce power consumption and improve battery life.
一部の実施形態では、第２のユーザーインターフェース領域（例えば、図６Ｚに示すようなステージングユーザーインターフェース６０１０）に仮想オブジェクトの第２の表現を表示しつつ、デバイスは、第１のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第４の入力（例えば、仮想オブジェクトの第２の表現に対応するタッチ感知面上の場所、又はタッチ感知面上の別の場所（例えば、第２のユーザーインターフェース領域の底部又は縁部）でのタップ、強い押圧、又はタッチ保持及びドラッグ入力、並びに／あるいは第１のユーザーインターフェースの領域に復帰する制御に対応するタッチ感知面上の位置での入力）を検出し（９３４）、この第４の入力の検出に応答して、デバイスは、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を再表示する。例えば、図６Ｚ〜６ＡＣに示すように、ステージングユーザーインターフェース６０１０に表示されたバック制御６０１６に対応する位置での接触６０４２による入力に応答して、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）に仮想椅子５０２０の第２の表現を表示するのを中止し、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）に仮想椅子５０２０の第１の表現を再表示する。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観、位置、及び／又は向きで第１のユーザーインターフェース領域に表示される。例えば、図６ＡＣにおいて、仮想椅子５０２０は、図６Ａにおけるメッセージングユーザーインターフェース５００８に表示される仮想椅子５０２０と同じ向きでメッセージングユーザーインターフェース５００８に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｙ〜６Ｃにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からメッセージングユーザーインターフェース５００８の表示への遷移中に連続的に表示される。第２のユーザーインターフェースに仮想オブジェクトの第２の表現を表示しつつ検出された第４の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第４の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device displays the first user interface area while displaying a second representation of the virtual object in a second user interface area (eg, staging
一部の実施形態では、（例えば、図６Ｕに示すように）１つ以上のカメラの視野５０３６の表現と共に仮想オブジェクトの第３の表現を表示しつつ、デバイスは、第２のユーザーインターフェース領域を再表示するそれぞれの基準を満たす第５の入力（例えば、仮想オブジェクトの第３の表現に対応するタッチ感知面上の位置又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力、並びに／あるいは第２のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の場所での入力）を検出し（９３６）、この第５の入力の検出に応答して、デバイスは、仮想オブジェクトの第３の表現及び１つ以上のカメラの視野の表現を表示するのを中止し、第２のユーザーインターフェース領域に仮想オブジェクトの第２の表現を再表示する。例えば、図６Ｖ〜図６Ｙに示すように、カメラの視野６０３６を含む第３のユーザーインターフェースに表示されるトグル制御６０１８に対応する位置での接触６０４０による入力に応答して、デバイスは、カメラの視野６０３６を表示するのを中止し、ステージングユーザーインターフェース６０１０を再表示する。一部の実施形態では、仮想オブジェクトの第２の表現は、拡張現実ビューに示されるものと同じ向きで第２のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第２のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。例えば、図６Ｖ〜６Ｙにおいて、仮想椅子５０２０は、カメラの視野６０３６の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示される。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第５の入力が、第２のユーザーインターフェースを再表示する基準を満たすか否かによって、第２のユーザーインターフェースに仮想オブジェクトの第２の表現を再表示するか否かを判定することで、第５の入力に応答して複数の異なるタイプの動作の実行を可能にする。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device displays a second representation of a virtual object along with a representation of one or more camera views 5036 (eg, as shown in FIG. 6U) while displaying a second user interface area. A fifth input (e.g., a tap, strong press, or touch at a location on the touch-sensitive surface corresponding to the third representation of the virtual object or at another location on the touch-sensitive surface that meets each criterion to be redisplayed) In response to the detection of the fifth input, 936), and in response to the detection of the fifth input, a drag input and / or an input at a location on the touch-sensitive surface corresponding to the control to return to the display of the second user interface area The device ceases to display the third representation of the virtual object and the representation of the field of view of the one or more cameras, and virtualizes in the second user interface area To redisplay the second representation of the object. For example, as shown in FIGS. 6V-6Y, in response to input by
一部の実施形態では、仮想オブジェクトの第３の表現を１つ以上のカメラの視野の表現６０３６と共に表示しつつ、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）を再表示するそれぞれの基準を満たす第６の入力を検出し（９３８）、この第６の入力の検出に応答して、デバイスは、（例えば、図６Ｕに示すような）仮想オブジェクト（例えば、仮想椅子５０２０）の第３の表現及び１つ以上のカメラの視野６０３６の表現を表示するのを中止し、デバイスは、（例えば、図６ＡＣに示すように）仮想オブジェクトの第１の表現を第１のユーザーインターフェースの領域に再表示する。一部の実施形態では、第６の入力は、例えば、仮想オブジェクトの第３の表現の表現に対応するタッチ感知面上の場所又はタッチ感知面上の別の位置でのタップ、強い押圧、又はタッチ及びドラッグ入力であり、並びに／あるいは第１のユーザーインターフェース領域の表示に復帰する制御に対応するタッチ感知面上の位置での入力である。一部の実施形態では、仮想オブジェクトの第１の表現は、ステージングビュー及び／又は拡張現実ビューに遷移する前に示されたものと同じ外観及び位置で第１のユーザーインターフェース領域に表示される。一部の実施形態では、デバイスは、第１のユーザーインターフェース領域における仮想オブジェクトの表示に戻るように遷移する際に、仮想オブジェクトをスクリーン上に連続的に表示する。カメラの視野と共に仮想オブジェクトの第３の表現を表示しつつ検出された第６の入力が第１のユーザーインターフェースを再表示する基準を満たすか否かによって、第１のユーザーインターフェースに仮想オブジェクトの第１の表現を再表示するか否かを判定することで、第６の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device redisplays a first user interface area (eg, messaging user interface 5008) while displaying a third representation of the virtual object along with one or more
一部の実施形態では、第１の接触による第１の入力の検出に応答し、第１の接触による入力が第１の基準を満たすという判定に応じて、デバイスは、第１のユーザーインターフェース領域（例えば、メッセージングユーザーインターフェース５００８）の表示から第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示へ遷移するときに、第１のユーザーインターフェース領域内の仮想オブジェクトの第１の表現を第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで、仮想オブジェクトを連続的に表示する（９４０）。例えば、図６Ｅ〜６Ｉにおいて、仮想椅子５０２０は、メッセージングユーザーインターフェース５００８の表示からステージングユーザーインターフェース６０１０の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の向きが変化する）。一部の実施形態では、仮想オブジェクトは、（例えば、第１のユーザーインターフェース領域に示されるような仮想オブジェクトの第１の表現の形状及び向きに基づいて定められる）カメラの視野内のプレーンに対する定められた向き、位置、及び／又は距離を有し、第２のユーザーインターフェース領域に遷移するときに、仮想オブジェクトの第１の表現は、ディスプレイ上の新しい位置（例えば、第２のユーザーインターフェース領域内の仮想ステージングプレーンの中心）で仮想オブジェクトの第２の表現に移動し、リサイズし、及び／又は向きを変え、移動中又は移動終了時に、デバイスの周囲の物理的環境から独立して定められる所定の仮想ステージングプレーンに対して仮想オブジェクトが所定の角度であるように、仮想オブジェクトは向きを変える。第１のユーザーインターフェースにおける仮想オブジェクトの第１の表現が第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現に変形するときにアニメーションを表示することにより、第１の入力が第１の基準を満たすことを示すフィードバックをユーザーに提供する。改善されたフィードバックを提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to the detection of the first input by the first touch, and responsive to determining that the input by the first touch meets the first criteria, the device is configured to: When transitioning from the display of the
一部の実施形態では、第２の接触による第２の入力の検出に応答し、第２の接触による第２の入力が拡張現実環境に仮想オブジェクトを表示する要求に対応するという判定に応じて、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース６０１０）の表示から１つ以上のカメラの視野６０３６を含む第３のユーザーインターフェース領域の表示へ遷移するときに、第２のユーザーインターフェース領域内の仮想オブジェクトの第２の表現を、１つ以上のカメラの視野を含む第３のユーザーインターフェース領域内の仮想オブジェクトの第３の表現に変形するアニメーション（例えば、移動、１つ以上の軸を中心にした回転、及び／又はスケーリング）の表示を含んで仮想オブジェクトを連続的に表示する（９４２）。例えば、図６Ｑ〜６Ｕにおいて、仮想椅子５０２０は、ステージングユーザーインターフェース６０１０の表示からカメラの視野６０３６の表示への遷移中に連続的に表示され、アニメーション化される（例えば、仮想椅子５０２０の位置及びサイズが変化する）。一部の実施形態では、仮想オブジェクトは、１つ以上のカメラの視野内で検出される視野平面（例えば、ユーザーインターフェースオブジェクトの三次元表現を支持することができる垂直壁又は水平床面などの物理的表面）に対して仮想オブジェクトが所定の向き、位置、及び／又は距離にあるように向きを変える。第２のユーザーインターフェースにおける仮想オブジェクトの第２の表現が第３のユーザーインターフェースにおける仮想オブジェクトの第３の表現に変形するときにアニメーションを表示することで、仮想オブジェクトを拡張現実環境に表示する要求に第２の入力が対応することを示すフィードバックをユーザーに提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザーを支援し、ユーザーの誤りを削減することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, in response to detecting the second input by the second contact, in response to determining that the second input by the second contact corresponds to a request to display the virtual object in the augmented reality environment. The second user interface when the device transitions from displaying a second user interface area (eg, staging user interface 6010) to displaying a third user interface area that includes one or more camera views 6036. An animation (eg, movement, one or more axes) that transforms a second representation of the virtual object in the region into a third representation of the virtual object in a third user interface region that includes one or more camera views. Continuous rotation of the virtual object, including the display of rotation and / or scaling) To display (942). For example, in FIGS. 6Q-6U, the
図９Ａ〜９Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図９Ａ〜９Ｄに関して上記した方法９００にも、同様に適用可能であることに留意されたい。例えば、方法９００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース領域、強度閾値、視野、触知出力、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
It is understood that the specific order described for the operations in FIGS. 9A-9D is merely an example, and the described order is not intended to indicate that it is the only order in which the actions can be performed. I want to be Those skilled in the art will recognize various ways to reorder the operations described herein. In addition, details of other processes described herein with respect to other methods described herein (eg,
図１０Ａ〜１０Ｄは、一部の実施形態による、アイテムが仮想三次元オブジェクトに対応することを示すために視覚的な指示と共にアイテムを表示する方法１０００を示すフロー図である。方法１０００は、ディスプレイ及びタッチ感知面（例えば、ディスプレイとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
10A-10D are a flow diagram illustrating a
以下に説明するように、方法１０００は、第１及び第２のユーザーインターフェースにアイテムを表示することに関する。各アイテムは、アイテムがそれぞれの仮想三次元オブジェクトに対応するか否かによって、アイテムが仮想三次元オブジェクトに対応することを示す視覚的な指示と共に、又は視覚的な指示なしで表示される。アイテムが仮想三次元オブジェクトであるか否かユーザーに指示を与えることで、（例えば、アイテムが仮想三次元オブジェクトであるか否かによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のアイテムに対して動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。
As described below, the
デバイスは、第１のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第１のユーザーインターフェースを表示する要求を受信する（１００２）。例えば、一部の実施形態では、要求は、第１のアイテムの表現を第１のアイテムに関連付けられた所定の環境に表示するユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）を開く（例えば、図７に関して説明したような）入力である。所定の環境は、任意選択で、アプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェース、又はシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）である。
The device receives a request to display a first user interface that includes a first item (eg, an icon, a thumbnail image, an image, a pictogram, an attachment, a sticker, an app icon, an avatar, etc.) (1002). For example, in some embodiments, the request may display a representation of the first item in a predetermined environment associated with the first item (eg, an Internet
第１のユーザーインターフェースを表示する要求に応答して、デバイスは、第１のユーザーインターフェース（例えば、図７Ｂで示すように、インターネットブラウザユーザーインターフェース５０６０）を第１のアイテムの表現と共に表示する（１００４）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテムの表現を視覚的な指示と共に表示する（例えば、第１のアイテム、輪郭、及び／又はテキストの表現に対応する位置で表示されるアイコン及び／又は背景パネルなどの画像）。第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第１のアイテムの表現を視覚的な指示なしで表示する。例えば、インターネットブラウザユーザーインターフェース５０６０では、図７Ｂに示すように、（仮想三次元ランプオブジェクト５０８４の表現を含む）ウェブオブジェクト５０６８は、仮想ランプ８０８４が仮想三次元オブジェクトであることを示すために視覚的な指示（仮想オブジェクトインジケータ５０８０）と共に表示され、ウェブオブジェクト５０７４は、ウェブオブジェクト５０７４が仮想三次元オブジェクトに対応するアイテムを含んでいないので、視覚的なオブジェクインジケータなしで表示される。
In response to the request to display the first user interface, the device displays a first user interface (eg, an internet
第１のアイテムの表現を表示した後に、デバイスは、第２のアイテム（例えば、アイコン、サムネイル画像、画像、絵文字、添付物、ステッカー、アプリアイコン、アバター等）を含む第２のユーザーインターフェース（例えば、図７Ｍに示すような、メッセージングユーザーインターフェース５００８）を表示するために要求（例えば、図７Ｈ〜７Ｌに関して説明したような入力）を受信する（１００６）。第２のアイテムは第１のアイテムとは異なり、第２のユーザーインターフェースは第１のユーザーインターフェースとは異なる。例えば、一部の実施形態では、要求は、第２のアイテムに関連付けられた所定の環境に第２のアイテムの表現を表示するユーザーインターフェースを開く別の入力である。所定の環境は、任意選択で、第１のアイテムを示すのに使用されるアプリケーション以外のアプリケーション（例えば、電子メールアプリケーション、メッセージングアプリケーション、ブラウザアプリケーション、ワード処理アプリケーション、電子リーダアプリケーション等）のユーザーインターフェースであり、又は第１のアイテムを示すのに使用されるシステムユーザーインターフェース以外のシステムユーザーインターフェース（例えば、ロック画面、通知インターフェース、サジェスチョンインターフェース、コントロールパネルユーザーインターフェース、ホーム画面ユーザーインターフェース等）にある。 After displaying the representation of the first item, the device may include a second user interface (e.g., an icon, thumbnail image, image, pictograph, attachment, sticker, app icon, avatar, etc.). A request (eg, an input as described with respect to FIGS. 7H-7L) is received 1006 to display the messaging user interface 5008), as shown in FIG. 7M. The second item is different from the first item, and the second user interface is different from the first user interface. For example, in some embodiments, the request is another input that opens a user interface that displays a representation of the second item in a predetermined environment associated with the second item. The predetermined environment is optionally a user interface of an application (eg, an email application, a messaging application, a browser application, a word processing application, an electronic reader application, etc.) other than the application used to indicate the first item. Or in a system user interface other than the system user interface used to indicate the first item (eg, lock screen, notification interface, suggestion interface, control panel user interface, home screen user interface, etc.).
第２のユーザーインターフェースを表示する要求に応答して、デバイスは、第２のユーザーインターフェース（例えば、図７Ｍで示すように、メッセージングユーザーインターフェース５００８）を第２のアイテムの表現と共に表示する（１００８）。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応するとの判定に応じて、デバイスは、第２のアイテムがそれぞれの第２の仮想三次元オブジェクトに対応することを示すために、第２のアイテムの表現を視覚的な指示（例えば、第１のアイテムが仮想三次元オブジェクトに対応することを示す同一の視覚的な指示）と共に表示する。第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定に応じて、デバイスは、第２のアイテムの表現を視覚的な指示なしで表示する。例えば、メッセージングユーザーインターフェース５００８において、図７Ｍに示すように、仮想三次元椅子オブジェクト５０２０は、仮想椅子５０２０が仮想三次元オブジェクトであることを示す視覚的な指示（仮想オブジェクトインジケータ５０２２）と共に表示され、絵文字７０２０は、仮想三次元オブジェクトに対応するアイテムを絵文字７０２０が含んでいないので、視覚的なオブジェクトインジケータなしで表示される。
In response to the request to display the second user interface, the device displays a second user interface (eg,
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すために、第１のアイテム（例えば、仮想ランプ５０８４）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示することは、（例えば、方向センサ（例えば、デバイス１００の１つ以上の加速度計１６８）により検出されるような）第１のデバイス向きから第２のデバイス向きへの変化という結果になるデバイスの移動の検出に応答して、第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動（例えば、第１のユーザーインターフェースに対する第１のアイテムの傾斜及び／又は第１のアイテムの移動）を表示することを含む（１０１０）。例えば、第１のデバイス向きは、図７Ｆ１に示すようなデバイス１００の向きであり、第２のデバイス向きは、図７Ｇ１に示すようなデバイス１００の向きである。図７Ｆ１〜図７Ｇ１に示す移動に応答して、第１のアイテム（例えば、仮想ランプ５０８４）は、（例えば、図７Ｆ２〜図７Ｇ２に示すように）傾斜する。一部の実施形態では、第２のオブジェクトが仮想三次元オブジェクトに対応する場合、第２のオブジェクトは、（例えば、第２のオブジェクトも仮想三次元オブジェクトに対応することを示すために）上記のようにデバイスの移動の検出にも応答する。
In some embodiments, a visual indication (e.g., a virtual lamp 5084) is represented to indicate that the first item corresponds to a respective first virtual three-dimensional object. Display with a virtual object indicator 5080) (eg, as detected by a direction sensor (eg, one or
第１のデバイス向きから第２のデバイス向きへの変化に対応する第１のアイテムの移動を表示することによって、仮想三次元オブジェクトの挙動を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the movement of the first item corresponding to the change from the first device orientation to the second device orientation, visual feedback is provided to the user indicating the behavior of the virtual three-dimensional object. Improve device operability by providing improved visual feedback to the user (eg, by allowing the user to view the virtual three-dimensional object in an orientation that does not require further input) In addition, it allows the user to use the device more quickly and efficiently, reducing power consumption of the device and improving battery life.
一部の実施形態では、第１のアイテムがそれぞれの第１の仮想三次元オブジェクトに対応することを示すための視覚的な指示と共に第１のアイテムの表現を表示することは、第１のアイテムの表現が第１のユーザーインターフェースに表示されている間に第１のユーザーインターフェースをスクロールする第１の接触による第１の入力（例えば、第１の方向の第１のユーザーインターフェース上のスワイプ入力、又はスクロールバー端部上のスクロールボタンに対するタッチ保持入力）の検出に応答して、デバイスは、第１のユーザーインターフェースのスクロールに応じてディスプレイ上で第１のアイテムの表現を並進し（例えば、第１のユーザーインターフェースになされるスクロール量に基づく距離だけ、及びスクロールの反対方向に、第１のアイテムのアンカー位置を移動させる（例えば、第１のユーザーインターフェースがタッチ感知面をわたって移動する接触によって上方にドラッグされるときに、第１のアイテムの表現は、第１のユーザーインターフェースと共にディスプレイ上で上方に移動する））、このデバイスは、第１のユーザーインターフェースがスクロールされる方向に応じて第１のユーザーインターフェース（又はディスプレイ）によって定められるプレーンに対して第１のアイテムの表現を回転することを含む（１０１２）。例えば、図７Ｃ〜７Ｄに示すように、仮想ランプ５０８４の表現がインターネットブラウザユーザーインターフェース５０６０に表示されている間にインターネットブラウザユーザーインターフェース５０６０をスクロールする接触７００２による入力の検出に応答して、仮想ランプ５０８４はインターネットブラウザユーザーインターフェース５０６０のスクロールにしたがって並進させられ、仮想ランプ５０８４は接触７００２の移動経路の方向にしたがってディスプレイ１１２に対して回転する。一部の実施形態では、第１のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第１のアイテムの表現が第１のユーザーインターフェースと共に上方に移動し、第１のユーザーインターフェース上に示すような第１のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第１のアイテムを見ているかのように変化する。一部の実施形態では、第２のユーザーインターフェースが上方にドラッグされているとの判定に応じて、第２のアイテムの表現は第２のユーザーインターフェースと共に上方に移動し、第２のユーザーインターフェース上に示すような第２のアイテムのビューイング視点が、ユーザーが異なる視野角（例えば、低い角度）から第２のアイテムを見ているかのように変化する。
In some embodiments, displaying a representation of the first item with visual indications to indicate that the first item corresponds to a respective first virtual three-dimensional object is the first item A first input by a first touch that scrolls through the first user interface while a representation of is displayed on the first user interface (eg, a swipe input on the first user interface in a first direction, Or in response to detecting a touch hold input to a scroll button on the end of the scroll bar, the device translates a representation of the first item on the display in response to scrolling of the first user interface (eg, a first A distance based on the amount of scrolling made to one user interface, and in the opposite direction of scrolling The anchor position of the first item is moved (eg, when the first user interface is dragged upward by a contact moving across the touch-sensitive surface, the representation of the first item is the first user interface The device represents a first item representation relative to a plane defined by the first user interface (or display) depending on the direction in which the first user interface is scrolled). Including rotating (1012). For example, as shown in FIGS. 7C-7D, in response to detection of input by
移動が第１のデバイス向きから第２のデバイス向きへの変化に対応する場合、アイテムの移動を表示することによって、デバイス向きの変化を示すユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、ユーザーが、更なる入力を行う必要がない向きから仮想三次元オブジェクトを見ることを可能にすることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 If the movement corresponds to a change from a first device orientation to a second device orientation, displaying movement of the item provides visual feedback to the user indicating the change in device orientation. Improve device operability by providing improved visual feedback to the user (eg, by allowing the user to view the virtual three-dimensional object in an orientation that does not require further input) In addition, it allows the user to use the device more quickly and efficiently, reducing power consumption of the device and improving battery life.
一部の実施形態では、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）に第１のアイテム（例えば、ランプオブジェクト５０８４）の表現を視覚的な指示（例えば、視覚的なオブジェクトインジケータ５０８０）と共に表示しつつ、デバイスは、第３のアイテムの表現を表示する（１０１４）ものであり、第３のアイテムが仮想三次元オブジェクトに対応していない（例えば、第３のアイテムは、拡張現実環境内でレンダリングできる任意の三次元オブジェクトに対応していない）ことを示すために、第３のアイテムの表現は、視覚的な指示なしで表示される。例えば、インターネットブラウザユーザーインターフェース５０６０において、図７Ｂで示すように、ウェブオブジェクト５０７４、５０７０、及び５０７６は、ウェブオブジェクト５０７４、５０７０、及び５０７６が仮想三次元オブジェクトに対応していないため、視覚的なオブジェクトインジケータなしで表示される。
In some embodiments, a visual indication (eg, visual indication) of a representation of a first item (eg, lamp object 5084) on a first user interface (eg, Internet
第１のユーザーインターフェースに、第１のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第１のアイテムを表示すると共に、視覚的な指示なしで表示される第３のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第１のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 A third item displayed on the first user interface with a visual indication to indicate that the first item is a virtual three-dimensional object, as well as a visual indication. By displaying the first user interface (eg, by assisting the user to provide appropriate input depending on whether the item the user is interacting with is a virtual three-dimensional object or not). Reduce the power usage of the device by increasing the efficiency with which operations can be performed, thereby improving the operability of the device, and also enabling the user to use the device more quickly and efficiently, Improve battery life.
一部の実施形態では、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）に、第２のアイテム（例えば、仮想椅子５０２０）の表現を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第４のアイテム（例えば、絵文字７０２０）の表現を表示し（１０１６）、第４のアイテムがそれぞれの仮想三次元オブジェクトに対応していないことを示すために、第４のアイテムの表現は視覚的な指示なしで表示される。
In some embodiments, the second user interface (eg,
第２のユーザーインターフェースに、第２のアイテムが仮想三次元オブジェクトであることを示すための視覚的な指示と共に第２のアイテムを表示すると共に、視覚的な指示なしで表示される第４のアイテムを表示することで、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 A fourth item displayed on the second user interface with a visual indication to indicate that the second item is a virtual three-dimensional object, and displayed without visual indication. By displaying a second user interface (eg, by assisting the user to provide appropriate input depending on whether the item the user is interacting with is a virtual three-dimensional object or not). Reduce the power usage of the device by increasing the efficiency with which operations can be performed, thereby improving the operability of the device, and also enabling the user to use the device more quickly and efficiently, Improve battery life.
一部の実施形態において（１０１８）、第１のユーザーインターフェース（例えば、図７Ｂに示すようなインターネットブラウザユーザーインターフェース５０６０）は、第１のアプリケーション（例えば、インターネットブラウザアプリケーション）に対応し、第２のユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）は、第１のアプリケーションとは別個の第２のアプリケーション（例えば、メッセージングアプリケーション）に対応し、視覚的な指示（例えば、仮想オブジェクトインジケータ５０８０）と共に表示される第１のアイテム（例えば、ランプオブジェクト５０８４）の表現、及び視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示される第２のアイテム（例えば、仮想椅子５０２２）の表現は、所定の１組の視覚特性及び／又は挙動特性を共有する（例えば、同じインジケータアイコンを使用し、同じテクスチャ若しくはレンダリングのスタイル、及び／又は所定のタイプの入力によって引き起こされるときの挙動を有する）。例えば、仮想オブジェクトインジケータ５０８０及び仮想オブジェクトインジケータ５０２２のためのアイコンは、同一のシンボルを含む。
In some embodiments (1018), a first user interface (eg, Internet
第１のアイテム及び第２のアイテムの視覚的な指示が所定の１組の視覚特性及び／又は挙動特性を共有するように、第１のアプリケーションの第１のユーザーインターフェースに第１のアイテムを視覚的な指示と共に表示すると共に、第２のアプリケーションの第２のユーザーインターフェースに第２のアイテムを視覚的な指示と共に表示することによって、（例えば、ユーザーが対話しているアイテムが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが第２のユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 Visualizing the first item in the first user interface of the first application such that the visual indication of the first item and the second item share a predetermined set of visual and / or behavioral characteristics By displaying the second item with the visual indication on the second user interface of the second application (eg, the item the user is interacting with is a virtual three-dimensional object) Increase the efficiency with which the user can perform actions with the second user interface by assisting the user to provide appropriate input depending on the presence or absence, thereby improving the operability of the device and further By enabling users to use devices more quickly and efficiently Reducing power consumption of the device Te, improves battery life.
一部の実施形態では、第１のユーザーインターフェースは、インターネットブラウザアプリケーションのユーザーインターフェース（例えば、図７Ｂに示すような、インターネットブラウザユーザーインターフェース５０６０）であり（１０２０）、第１のアイテムは、ウェブページの要素である（例えば、第１のアイテムは、埋込画像、ハイパーリンク、アプレット、絵文字、埋め込まれたメディアオブジェクト等としてウェブページ内で表される）。例えば、第１のアイテムは、ウェブオブジェクト５０６８の仮想ランプオブジェクト５０８４である。
In some embodiments, the first user interface is a user interface of an internet browser application (e.g., internet
ウェブページ要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にウェブページ要素を表示することによって、（例えば、ユーザーが対話しているウェブページ要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがインターネットブラウザアプリケーションを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the web page element with a visual indication that the web page element is a virtual 3D object (for example, depending on whether the web page element with which the user is interacting is a virtual 3D object or not) Increases the efficiency with which a user can perform actions using an Internet browser application (by assisting the user in providing appropriate input), thereby improving the operability of the device, and further enabling the user to Reduce device power usage and improve battery life by allowing efficient use.
一部の実施形態では、第１のユーザーインターフェースは、電子メールアプリケーションユーザーインターフェース（例えば、図７Ｐに示すような電子メールユーザーインターフェース７０５２）であり（１０２２）、第１のアイテムは、電子メールに対する添付物（例えば、添付物７０６０）である。
In some embodiments, the first user interface is an email application user interface (eg,
電子メール添付物が仮想三次元オブジェクトであることを示す視覚的な指示と共に電子メール添付物を表示することによって、（例えば、ユーザーが対話している電子メール添付物が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが電子メールアプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the email attachment with a visual indication that the email attachment is a virtual 3D object (for example, the email attachment with which the user is interacting is a virtual 3D object The ability to perform actions using the email application user interface (by assisting the user in providing appropriate input depending on whether or not), thereby improving the operability of the device and Reduce device power usage and improve battery life by enabling devices to be used more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、メッセージングアプリケーションユーザーインターフェース（例えば、図７Ｍに示すようなメッセージングユーザーインターフェース５００８）であり（１０２４）、第１のアイテムは、メッセージ中の添付物又は要素（例えば、仮想椅子５０２０）である（例えば、第１のアイテムは、画像、ハイパーリンク、ミニプログラム、絵文字、メディアオブジェクト等である）。
In some embodiments, the first user interface is a messaging application user interface (eg,
メッセージの添付物又は要素が仮想三次元オブジェクトであることを示す視覚的な指示と共にメッセージの添付物又は要素を表示することによって、（例えば、ユーザーが対話しているメッセージの添付物又は要素が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがメッセージングユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying the message attachment or element with a visual indication that the message attachment or element is a virtual three-dimensional object (eg, the message attachment or element the user is interacting with is virtual) Increase the efficiency with which a user can perform actions using the messaging user interface (by assisting the user in providing appropriate input depending on whether or not it is a three-dimensional object), thereby improving the usability of the device, Furthermore, it reduces power usage of the device and improves battery life by allowing the user to use the device more quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、ファイル管理アプリケーションユーザーインターフェース（例えば、図７Ｏに示すようなファイル管理ユーザーインターフェース７０３６）であり（１０２６）、第１のアイテムは、ファイルプレビューオブジェクト（例えば、ファイル情報領域７０４６中のファイルプレビューオブジェクト７０４５）である。
In some embodiments, the first user interface is a file management application user interface (eg, file
ファイルプレビューオブジェクトが仮想三次元オブジェクトであることを示す視覚的な指示と共にファイルプレビューオブジェクトを表示することによって、（例えば、ユーザーが対話しているファイルプレビューオブジェクトが仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーがファイル管理アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying a file preview object with a visual indication that the file preview object is a virtual three-dimensional object (eg, depending on whether the file preview object the user is interacting with is a virtual three-dimensional object or not) Improves the efficiency with which users can perform actions with the file management application user interface by assisting the user to provide appropriate input, thereby improving the operability of the device and further allowing the user to Reduces device power usage and improves battery life by allowing it to be used quickly and efficiently.
一部の実施形態では、第１のユーザーインターフェースは、地図アプリケーションユーザーインターフェース（例えば、地図アプリケーションユーザーインターフェース７０２４）であり（１０２８）、第１のアイテムは、地図内の対象地点の表現（例えば、対象地点オブジェクト７０２８）である（例えば、地図上の位置に対応する特徴の三次元表現（例えば、地図上の位置に対応する地形及び／又は構造物の三次元表現が挙げられる）、又は作動時に地図の三次元表現を表示させる制御）。 In some embodiments, the first user interface is a map application user interface (eg, map application user interface 7024) (1028) and the first item is a representation of a point of interest in the map (eg, target Point object 7028) (eg, a three-dimensional representation of features corresponding to a location on the map (eg, a three-dimensional representation of terrain and / or structures corresponding to a location on the map), or a map when activated Control to display a three-dimensional representation of).
地図内の対象地点の表現が仮想三次元オブジェクトであることを示す視覚的な指示と共に対象地点の表現を表示することによって、（例えば、ユーザーが対話している対象地点の表現が仮想三次元オブジェクトであるのかないのかによって適切な入力を提供するようにユーザーを支援することによって）ユーザーが地図アプリケーションユーザーインターフェースを用いて動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying a representation of the point of interest with a visual indication that the representation of the point of interest in the map is a virtual three-dimensional object (eg, the representation of the point of interest at which the user is interacting is a virtual three-dimensional object By enhancing the efficiency with which the user can perform operations with the map application user interface, thereby improving the operability of the device, and by further assisting the user to provide appropriate input depending on whether or not Reduce device power usage and improve battery life by enabling users to use the device more quickly and efficiently.
一部の実施形態では、第１のアイテムがそれぞれの仮想三次元オブジェクトに対応するという視覚的な指示は、それぞれの三次元オブジェクトの表現に向けられる入力を必要とせずに発生する第１のアイテムのアニメーション（例えば、経時的に第１のアイテムに適用される連続的な移動又は視覚的効果の変化（例えば、スパークリング、きらめき等））を含む（１０３０）。 In some embodiments, the visual indication that the first item corresponds to the respective virtual three-dimensional object occurs without the need for an input directed to the representation of the respective three-dimensional object. Animation (e.g., continuous movement or change in visual effects (e.g., sparkling, glitter etc) applied to the first item over time) (1030).
それぞれの三次元オブジェクトの表現に向けられる入力なしで発生する第１のアイテムのアニメーションを表示することにより、（例えば、ユーザーが第１のアイテムの三次元態様を見るために必要な入力数を減少させることによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By displaying an animation of the first item that occurs without input directed to the representation of each 3D object (eg, reducing the number of inputs required for the user to view the 3D aspect of the first item) To improve the operability of the device, and further reduce the power usage of the device and improve the battery life by allowing the user to use the device more quickly and efficiently.
一部の実施形態では、デバイスは、第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すための視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に第２のアイテム（例えば、仮想椅子５０２０）の表現を表示しつつ、第２のアイテムの表現に対応するタッチ感知面上の場所での第２の接触による第２の入力（例えば、図５Ｃ〜５Ｆに関して説明したような入力）を検出し（１０３２）、第２の接触による第２の入力の検出に応答して、及び第２の接触による第２の入力が第１の（例えば、ＡＲトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェース（例えば、メッセージングユーザーインターフェース５００８）のうちの少なくとも一部の表示を（例えば、図５Ｆ〜５Ｉに関して説明した）１つ以上のカメラの視野５０３６の表現で置き換えることを含めて、ディスプレイ上に第３のユーザーインターフェース領域を表示し、第２のユーザーインターフェースの表示から第３のユーザーインターフェース領域の表示に切り替えつつ第２の仮想三次元オブジェクトを連続的に表示する。（例えば、方法８００を参照して本明細書により詳細に説明されるように）。一部の実施形態では、デバイスは、（例えば、動作８３４を参照して本明細書により詳細に説明するように）第２のユーザーインターフェースの一部を１つ以上のカメラの視野の表現と共に表示することから切り替えつつ、仮想オブジェクトの表現が連続的に表示されるようにアニメーションを表示する。
In some embodiments, the device may be configured to use the second item (e.g. virtual) with a visual indication (e.g. virtual object indicator 5022) to indicate that the second item corresponds to the respective virtual three-dimensional object. A second input by a second touch at a location on the touch sensitive surface corresponding to the representation of the second item while displaying a representation of the chair 5020) (eg, an input as described with respect to FIGS. 5C-5F) Detection (1032), in response to detection of the second input by the second touch, and upon determining that the second input by the second touch meets the first (eg, AR trigger) criteria In response, the device displays (eg, FIG. 5F) at least a portion of a second user interface (eg, messaging user interface 5008). Displaying a third user interface area on the display, including replacing with a representation of the field of
第３のユーザーインターフェース領域を表示するか否かを判定する第１の基準を用いることで、第２の入力に応答して複数の異なるタイプの動作を実行することができる。入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 By using a first criterion to determine whether to display a third user interface area, a plurality of different types of operations can be performed in response to a second input. By enabling the execution of several different types of actions in response to input, the user is able to perform these actions more efficiently, thereby improving the operability of the device and further enabling the user to make the device faster And reduce power consumption of the device by enabling efficient use and improve battery life.
一部の実施形態では、（例えば、方法９００を参照して本明細書により詳細に記載するように）第２のアイテムがそれぞれの仮想三次元オブジェクトに対応することを示すために第２のアイテム（例えば、仮想椅子５０２０）を視覚的な指示（例えば、仮想オブジェクトインジケータ５０２２）と共に表示しつつ、デバイスは、第２のアイテムの表現に対応するタッチ感知面上の場所で第３の接触による第３の入力（例えば、図６Ｅ〜６Ｉに関して説明したような入力）を検出し（１０３４）、第３の接触による第３の入力の検出に応答し、第３の接触による第３の入力が第１の（例えば、ステージングトリガ）基準を満たすとの判定に応じて、デバイスは、第２のユーザーインターフェースとは異なる第４のユーザーインターフェース（例えば、方法９００を参照してより詳細に説明したようなステージングユーザーインターフェース６０１０）に第２の仮想三次元オブジェクトを表示する。一部の実施形態では、第２の仮想三次元オブジェクトを第４のユーザーインターフェース（例えば、図６Ｉに示すように、ステージングユーザーインターフェース６０１０）に表示しつつ、デバイスは、第４の入力を検出し、この第４の入力の検出に応答して、第４の入力が第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトを操作する要求に対応しているとの判定に応じて、デバイスは、（例えば、図６Ｊ〜６Ｍに関して説明したような及び／又は図６Ｎ〜６Ｐに関して説明したような）第４の入力に基づいて、第４のユーザーインターフェースにおける第２の仮想三次元オブジェクトの表示特性を変化させ、第４の入力が拡張現実環境内に第２の仮想オブジェクトを表示させる要求（例えば、第２のユーザーインターフェース領域内の仮想オブジェクトの表現に対応するタッチ感知面上の場所における又はその場所からのタップ入力、押圧入力、又はタッチ保持若しくは押圧入力とそれに続くドラッグ入力）に対応するとの判定に応じて、このデバイスは、（例えば、図６Ｑ〜６Ｕに関して説明したように）１つ以上のカメラの視野の表現と共に第２の仮想三次元オブジェクトを表示する。
In some embodiments, the second item to indicate that the second item corresponds to a respective virtual three-dimensional object (eg, as described in more detail herein with reference to method 900). While displaying (e.g., virtual chair 5020) with a visual indication (e.g., virtual object indicator 5022), the device may cause a third contact with a third touch at a location on the touch-sensitive surface corresponding to the representation of the second item. 3 inputs (eg, inputs as described with respect to FIGS. 6E-6I) are detected (1034) and in response to detection of the third input by the third contact, the third input by the third contact is In response to determining that one (e.g., staging trigger) criteria are met, the device is configured to use a fourth user interface (e.g., different from the second user interface). If, displaying a second virtual three-dimensional object in the staging user interface 6010), as described in more detail with reference to the
第２の三次元オブジェクトを第４のユーザーインターフェース（例えば、ステージングユーザーインターフェース６０１０）に表示しつつ、第４の入力に応答して、デバイスは、第４の入力に基づいて第２の三次元オブジェクトの表示特性を変化させる、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示する。（例えば、第２の三次元オブジェクトの表示特性を変化させることによって、又はデバイスの１つ以上のカメラの視野の表現と共に第２の三次元オブジェクトを表示することによって）入力に応答して複数の異なるタイプの動作の実行を可能にすることで、ユーザーがこれらの動作を実行できる効率を高め、それによってデバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることによってデバイスの電力使用量を削減し、電池寿命を改善する。 In response to the fourth input while displaying the second three-dimensional object on the fourth user interface (e.g., the staging user interface 6010), the device generates a second three-dimensional object based on the fourth input. Or display a second three-dimensional object with a representation of the field of view of one or more cameras of the device. (E.g., by changing the display characteristics of the second three-dimensional object, or by displaying the second three-dimensional object with a representation of the field of view of one or more cameras of the device) By enabling the execution of different types of actions, the efficiency with which the user can carry out these actions is increased, thereby improving the operability of the device, and further enabling the user to use the device more quickly and efficiently By reducing the power consumption of the device by improving the battery life.
図１０Ａ〜１０Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書に記載される他のプロセスの詳細は、図１０Ａ〜１０Ｄに関して上記した方法１０００にも、同様に適用可能であることに留意されたい。例えば、方法１０００を参照して上記した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８００、９００、１６０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書に記載した接触、入力、仮想オブジェクト、ユーザーインターフェース、ユーザーインターフェース領域、視野、移動、及び／又はアニメーションの特徴のうちの１つ以上を有する。簡潔にするために、これらの詳細はここでは繰り返さない。
It is understood that the specific order described for the operations in FIGS. 10A-10D is merely an example, and the described order is not intended to indicate that it is the only order in which the actions can be performed. I want to be Those skilled in the art will recognize various ways to reorder the operations described herein. In addition, details of other processes described herein with respect to other methods described herein (eg,
図１１Ａ〜１１Ｖは、オブジェクト配置基準が満たされるか否かに応じて異なる視覚特性を有する仮想オブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
11A-11V illustrate examples of user interfaces displaying virtual objects with different visual characteristics depending on whether object placement criteria are met. The user interfaces in these figures are shown in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. Is used to illustrate the process described below. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
図１１Ａ〜１１Ｅは、ステージングビューに仮想オブジェクトを表示する入力を示す。例えば、三次元オブジェクトの二次元二次元（例えば、サムネイル）表現がユーザーインターフェース（例えば、電子メールユーザーインターフェース７０５２、ファイル管理ユーザーインターフェース７０３６、地図ユーザーインターフェース７０２２、メッセージングユーザーインターフェース５００８、インターネットブラウザユーザーインターフェース５０６０、又はサードパーティアプリケーションユーザーインターフェース）に表示されている間に、入力が検出される。
11A-11E illustrate the input for displaying a virtual object in the staging view. For example, a two-dimensional two-dimensional (eg, thumbnail) representation of a three-dimensional object may be represented in a user interface (eg,
図１１Ａにおいて、インターネットブラウザユーザーインターフェース５０６０は、三次元仮想オブジェクト１１００２（椅子）の二次元表現を含む。接触１１００４による入力（例えば、タップ入力）は、仮想オブジェクト１１００２に対応する位置で検出される。タップ入力に応答して、インターネットブラウザユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
In FIG. 11A, the Internet
図１１Ｂ〜１１Ｅは、インターネットブラウザユーザーインターフェース５０６０がステージングユーザーインターフェース６０１０の表示によって置き換えられるときに生じる遷移を示す。一部の実施形態では、仮想オブジェクト１０００２は、遷移中に、徐々にビューにフェードインし、及び／又はステージングユーザーインターフェース６０１０の制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、徐々にビューにフェードインする。例えば、（例えば、仮想オブジェクト１１００２の三次元表現がディスプレイ上にレンダリングされるのに必要な期間中、制御の表示を遅延させるために）仮想オブジェクト１１００２がビューにフェードインした後に、ステージングユーザーインターフェース６０１０の制御がビューにフェードインする。一部の実施形態では、仮想オブジェクト１１００２の「フェードイン」は、仮想オブジェクト１１００２の低解像度、二次元、及び／又はホログラフィックバージョンを表示することとそれに続く仮想オブジェクト１１００２の最終的な三次元表現を表示することを含む。図１１Ｂ〜１１Ｄは、仮想オブジェクト１１００２の徐々のフェードインを示す。図１１Ｄには、仮想オブジェクト１１００２の影１１００６が表示されている。図１１Ｄ〜１１Ｅは、制御６０１６、６０１８、及び６０２０の徐々のフェードインを示す。
FIGS. 11B-11E show the transitions that occur when the Internet
図１１Ｆ〜１１Ｇは、仮想オブジェクト１１００２の三次元表現をデバイス１００の１つ以上のカメラの視野６０３６を含むユーザーインターフェースに表示させる入力を示す。図１１Ｆにおいて、接触１１００８による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｇに示すように、ステージングユーザーインターフェース６０１０の表示が、カメラの視野６０３６を含むユーザーインターフェースの表示に置き換えられる。
FIGS. 11F-11G illustrate input for causing a three-dimensional representation of the
図１１Ｇ〜１１Ｈに示すように、カメラの視野６０３６が最初に表示されるときに（例えば、仮想オブジェクトに対応するプレーンが、カメラの視野６０３６内で検出されていないときに）、仮想オブジェクトの半透明表現が表示されてもよい。
As shown in FIGS. 11G-11H, when the camera field of
図１１Ｇ〜１１Ｈは、カメラの視野６０３６を含むユーザーインターフェースに表示される仮想オブジェクト１１００２の半透明表現を示す。仮想オブジェクト１１００２の半透明表現は、ディスプレイ１１２に対して一定の位置に表示される。例えば、図１１Ｇから図１１Ｈまで、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、ディスプレイ１１２に対して一定の位置のままである。
FIGS. 11G-11H show a translucent representation of a
一部の実施形態では、仮想オブジェクトに対応するプレーンがカメラの視野６０３６内で検出されたとの判定に応じて、検出されたプレーン上に仮想オブジェクトが配置される。
In some embodiments, in response to determining that a plane corresponding to the virtual object has been detected within the field of
図１１Ｉにおいて、仮想オブジェクト１１００２に対応するプレーンが、カメラの視野６０３６内で検出されており、検出されたプレーン上に仮想オブジェクト１１００２が配置される。（例えば、少なくとも１つのプレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示すために）デバイスは、１１０１０で示すように、触知出力を生成している。仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されるとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。図１１Ｉから図１１Ｊまで、（例えば、カメラの視野６０３６内に表示されたテーブル５００４の変化した位置によって示されるように）デバイス１００が、物理的環境５００２に対して移動させられるとき、仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
In FIG. 11I, a plane corresponding to
一部の実施形態では、カメラの視野６０３６が表示される間、（例えば、入力が受信されない期間が経過との判定に応じて）制御（例えば、バック制御６０１６、トグル制御６０１８、及び／又は共有制御６０２０）は、表示されるのを中止する。図１１Ｊ〜１１Ｌにおいて、制御６０１６、６０１８、及び６０２０は、（例えば、図１１Ｋに示すように）徐々にフェードアウトし、（例えば、図１１Ｌに示すように）カメラの視野６０３６が表示されるディスプレイ１１２の部分を増大させる。
In some embodiments, control (eg, back
図１１Ｍ〜１１Ｓは、仮想オブジェクトがカメラの視野６０３６を含むユーザーインターフェース内で表示されるときに、仮想オブジェクト１１００２を操作する入力を示す。
11M-11S illustrate inputs for manipulating the
図１１Ｍ〜１１Ｎにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２及び１１０１４による入力（例えば、デピンチジェスチャ）が検出される。入力の検出に応答して、制御６０１６、６０１８、及び６０２０が再表示される。接触１１０１２は矢印１１０１６で示す経路に沿って移動し、接触１１０１４は矢印１１０１８で示す経路に沿って移動し、仮想オブジェクト１１００２のサイズは増大する。
In FIGS. 11M-11N, input (eg, depinching gestures) by
図１１Ｎ〜１１Ｐにおいて、仮想オブジェクト１１００２のシミュレートされた物理的サイズを変更する接触１１０１２〜１１０４による入力（例えば、ピンチジェスチャ）が検出される。（図１１Ｎ〜１１Ｏ及び１１Ｏ〜１１Ｐに示すように）接触１１０１２は矢印１１０２０で示す経路に沿って移動し、接触１１０１４は矢印１１０２２示す経路に沿って移動し、仮想オブジェクト１１００２のサイズが減少する。図１１Ｏに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズ（例えば、図１１Ｉに示すように、物理的環境５００２内の検出されたプレーン上に最初に配置されたときの仮想オブジェクト１１００２のサイズ）に調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２４で示すような）触知出力が発生する。図１１Ｑにおいて、接触１１０１２及び１１０１４は、タッチスクリーンディスプレイ１１２からリフトオフされている。
11N-11P, inputs (eg, pinch gestures) by contacts 11012-1104 that change the simulated physical size of
図１１Ｒにおいて、仮想オブジェクト１１００２を物理的環境５００２に対して元のサイズに戻すための入力（例えば、二重タップ入力）が検出される。入力は、接触１１０２６によって示すように、仮想オブジェクト１１００２に対応する位置で検出される。この入力に応答して、仮想オブジェクト１１００２は、図１１Ｒに示す縮小サイズから、図１１Ｓに示すような仮想オブジェクト１１００２の元のサイズに調整される。図１１Ｓに示すように、仮想オブジェクト１１００２のサイズが、物理的環境５００２に対してその元のサイズに調整されるとき、（例えば、仮想オブジェクト１１００２がその元のサイズに戻ったことを示すフィードバックを提供するために）（１１０２８で示すような）触知出力が発生する。
In FIG. 11R, an input (eg, a double tap input) to return the
図１１Ｔにおいて、接触１１０３０による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、図１１Ｕに示すように、カメラの視野６０３６を含むユーザーインターフェースの表示は、ステージングユーザーインターフェース６０１０によって置き換えられる。
In FIG. 11T, the input by contact 11030 is detected at a position corresponding to toggle
図１１Ｕにおいて、接触１１０３２による入力が、バック制御６０１６に対応する位置で検出される。この入力に応答して、図１１Ｖに示すように、ステージングユーザーインターフェース６０１０の表示は、インターネットブラウザユーザーインターフェース５０６０によって置き換えられる。
In FIG. 11U, an input by
図１２Ａ〜１２Ｌは、デバイスの１つ以上のカメラの移動に応じて動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
12A-12L illustrate examples of user interfaces displaying calibration user interface objects that are animated dynamically in response to movement of one or more cameras of the device. The user interfaces in these figures are shown in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. Is used to illustrate the process described below. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
一部の実施形態によれば、１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示するように要求を受信しているが、デバイスの較正のために追加データが必要とされる場合、較正ユーザーインターフェースオブジェクトが表示される。 According to some embodiments, a request is received to display a virtual object on a user interface that includes the field of view of one or more cameras, but additional data is required to calibrate the device A calibration user interface object is displayed.
図１２Ａは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示することを要求する入力を示す。接触１２００２による入力は、トグル制御６０１８に対応する位置で検出される。図１２Ｂに示すように、この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。仮想オブジェクト１１００２の半透明表現は、カメラの視野６０３６を含むユーザーインターフェースに表示される。（例えば、仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されていないので）較正が必要とされるが、（例えば、以下に説明するように、プロンプト及び／又は較正オブジェクトの挙動を強調するために）カメラの視野６０３６はぼかされる。
FIG. 12A shows an input requesting to display
図１２Ｂ〜１２Ｄは、（例えば、較正が必要とされるとの判定に応じて表示される）ユーザーにデバイスの移動を促す動画像及びテキストを示す。動画像は、デバイス１００の表現１２００４と、デバイス１００の左右の移動が必要とされることを示す矢印１２００６及び１２００８と、（例えば、仮想オブジェクト１１００２に対応するプレーンを検出するためにプレーンに対してデバイス１００が移動しなければならないことを示すための）プレーンの表現１２０１０とを含む。テキストプロンプト１２０１２は、較正が必要なデバイス１００の移動に関する情報を提供する。図１２Ｂ〜１２Ｃ、１２Ｃ〜１２Ｄにおいて、デバイス１００の表現１２００４及び矢印１２００６は、較正が必要なデバイス１００の移動の指示を与えるために、プレーンの表現１２０１０に対して調整される。図１２Ｃから図１２Ｄまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。デバイス１００の移動を検出した結果として、図１２Ｅ−１に示すように、較正ユーザーインターフェースオブジェクト１２０１４（立方体の輪郭）が表示される。
12B-12D illustrate moving images and text prompting the user to move the device (e.g., displayed in response to a determination that calibration is required). The moving image includes a
図１２Ｅ−１から１２Ｉ−１は、それぞれ図１２Ｅ−２から１２Ｉ−２に示すように、物理的環境５００２に対するデバイス１００の移動に対応する較正ユーザーインターフェースオブジェクト１２０１４の挙動を示す。較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、較正に役立つ移動に関してユーザーにフィードバックを提供するために）デバイス１００の移動（例えば、横移動）に応じてアニメーション化される（例えば、立方体の輪郭が回転する）。図１２Ｅ−１において、較正ユーザーインターフェースオブジェクト１２０１４は、デバイス１００のカメラの視野６０３６を含むユーザーインターフェース内の第１の回転角度で示される。図１２Ｅ−２には、物理的環境５００２に対して第１の位置でユーザーの手５００６で保持されたデバイス１００が示されている。図１２Ｅ−２から図１２Ｆ−２まで、デバイス１００は物理的環境５００２に対して（右へ）横に移動している。移動の結果として、図１２Ｆ−１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は更新され、較正ユーザーインターフェースオブジェクト１２０１４は（図１２Ｅ−１におけるその位置に対して）回転している。図１２Ｆ−２から図１２Ｇ−２まで、デバイス１００は、物理的環境５００２に対してその右方に移動を継続している。移動の結果として、図１２Ｇ−１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は更に回転させられる。図１２Ｇ−２から図１２Ｈ−２まで、デバイス１００は、物理的環境５００２に対して上方に移動している。移動の結果として、デバイス１００によって表示されるようなカメラの視野６０３６は更新される。図１２Ｇ−１から図１２Ｈ−１に示すように、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、デバイスの垂直移動が較正に寄与しないという指示をユーザーに与えるために）図１２Ｇ−２から図１２Ｈ−２に示すデバイスの上方移動に応じて回転しない。図１２Ｈ−２から図１２Ｉ−２まで、デバイス１００は、物理的環境５００２に対して更に右方に移動している。移動の結果として、図１２Ｉ−１に示すように、デバイス１００によって表示されるようなカメラの視野６０３６は再び更新され、較正ユーザーインターフェースオブジェクト１２０１４は回転させられる。
12E-1 through 12I-1 illustrate the behavior of the calibration
図１２Ｊにおいて、（例えば、図１２Ｅ〜１２Ｉに示すような）デバイス１００の移動は、必要な較正を満足している（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内で検出されている）。仮想オブジェクト１１００２は検出されたプレーン上に配置され、カメラの視野６０３６はぼかされるのを中止する。触知出力生成器は、プレーン（例えば、床面５０３８）がカメラの視野６０３６内で検出されたことを示す（１２０１６で示すような）触知出力を出力する。床面５０３８は、検出されたプレーンの指示を与えるように強調される。
In FIG. 12J, movement of device 100 (eg, as shown in FIGS. 12E-12I) satisfies the required calibration (eg, the plane corresponding to
仮想オブジェクト１１００２がカメラの視野６０３６内で検出されるプレーンに対してある位置に配置されているとき、仮想オブジェクト１１００２は、１つ以上のカメラによって取り込まれた物理的環境５００２に対して一定の位置のままである。（図１２Ｋ−２〜図１２Ｌ−２に示すように）デバイス１００は、物理的環境５００２に対して移動させられるとき、（図１２Ｋ−１〜図１２Ｌ−１に示すように）仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置のままである。
When the
図１３Ａ〜１３Ｍは、軸を中心にした仮想オブジェクトの回転を制約するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
13A-13M show examples of user interfaces that constrain rotation of a virtual object about an axis. The user interfaces in these figures are shown in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. Is used to illustrate the process described below. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
図１３Ａにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に示されている。ｘ軸、ｙ軸、及びｚ軸は、仮想オブジェクト１１００２に対して示されている。
In FIG. 13A,
図１３Ｂ〜１３Ｃは、図１３Ａに示されるｙ軸周りに仮想オブジェクト１１００２を回転させるための入力を示す。図１３Ｂにおいて、接触１３００２による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３００４で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｂに示される位置までｙ軸周りに（例えば、３５度だけ）回転する。ステージングユーザーインターフェース６０１０において、仮想オブジェクト１１００２に対応する影１３００６が表示される。図１３Ｂから図１３Ｃへ、影１３００６は、仮想オブジェクト１１００２の位置変化に応じて変化する。
13B-13C show the input for rotating the
接触１３００２がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、（例えば、仮想オブジェクト１１００２が物理的オブジェクトのように振る舞う印象を与えるために、接触１３００２の移動により付与される「運動量」に応じて）図１３Ｃ〜１３Ｄに示すように、回転し続ける。
After the
図１３Ｅ〜１３Ｆは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる入力を示す。図１３Ｅにおいて、接触１３００８による入力は、仮想オブジェクト１１００２に対応する位置で検出される。入力は、矢印１３０１０で示す経路に沿って距離ｄ１だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｆに示される位置までｘ軸周りに（例えば、５度だけ）回転する。接触１３００８は、接触１３００２が１３Ｂ〜１３Ｃから移動したのと同じ距離ｄ１だけ図１３Ｅ〜１３Ｆのｘ軸に沿って移動するが、図１３Ｅ〜１３Ｆにおけるｘ軸周りの仮想オブジェクト１１００２の回転角は、図１３Ｂ〜１３Ｃにおけるｙ軸周りの仮想オブジェクト１１００２ の回転角よりも小さい。
13E-13F show inputs to rotate
図１３Ｆ〜１３Ｇは、図１３Ａに示すｘ軸周りに仮想オブジェクト１１００２を回転させる更なる入力を示す。図１３Ｆにおいて、接触１３００８はその移動を続け、矢印１３０１２で示す経路に沿って（距離ｄ１よりも大きい）距離ｄ２だけ移動する。入力が経路に沿って移動するとき、仮想オブジェクト１１００２は、図１３Ｇに示す位置までｘ軸周りに（２５度だけ）回転する。図１３Ｅ〜１３Ｇに示すように、距離ｄ１＋ｄ２だけの接触１３００８の移動により、仮想オブジェクト１１００２はｘ軸周りに３０度回転する一方、図１３Ｂ〜１３Ｃにおいて、距離ｄ１だけの接触１３００４の移動により、仮想オブジェクト１１００２はｙ軸回りに３５度回転する。
13F-13G show additional inputs to rotate
（例えば、接触１３００８の移動により、回転限界を越えて達する仮想オブジェクト１１００２の回転量を引き起こしたことを示すために）接触１３００８がタッチスクリーン１１２からリフトオフされた後、仮想オブジェクト１１００２は、図１３Ｇ〜１３Ｈに示すように、接触１３００８の移動によって引き起こされる回転の方向とは反対の方向に回転する。
After
図１３Ｇ〜１３Ｉにおいて、影１３００６は、（例えば、オブジェクトを下から見たときには、仮想オブジェクト１１００２は影を投じないため）示されていない。
In Figures 13G-13I, the
図１３Ｉにおいて、（例えば、図１３Ａに示すように）仮想オブジェクト１１００２をそれが本来表示されていた視点に復帰させる入力（例えば、二重タップ入力）が検出される。入力は、接触１３０１４によって示すように、仮想オブジェクト１１００２に対応する位置で行われる。この入力に応答して、仮想オブジェクト１１００２は、（図１３Ｅ〜１３Ｈから生じた回転を逆にするために）ｙ軸周りに回転させられると共に、（図１３Ｂ〜１３Ｄから生じた回転を逆にするために）ｘ軸周りに回転させられる。図１３Ｊにおいて、接触１３０１６による入力により、仮想オブジェクト１１００２は元々表示されていた視点に復帰する。
In FIG. 13I, an input (eg, a double tap input) is detected that causes the
一部の実施形態では、ステージングユーザーインターフェース６０１０が表示されている間に、仮想オブジェクト１１００２のサイズを調整するための入力が受信される。例えば、仮想オブジェクト１１００２のサイズを調整するための入力は、仮想オブジェクト１１００２のサイズを増大させる（例えば、図６Ｎ〜６Ｏに関して説明したような）デピンチジェスチャ、又は仮想オブジェクト１１００２のサイズを減少させるピンチジェスチャである。
In some embodiments, while the
図１３Ｊにおいて、ステージングユーザーインターフェース６０１０の表示をカメラの視野６０３６を含むユーザーインターフェースの表示に置き換えるための入力が受信される。接触１３０１６による入力は、トグル制御６０１８に対応する位置で検出される。この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、図１３Ｋに示すように、カメラの視野６０３６を含むユーザーインターフェースに置き換えられる。
In FIG. 13J, input is received to replace the
図１３Ｋにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。仮想オブジェクト１１００２に対応するプレーンがカメラの視野６０３６内で検出されたことを示すために（１３０１８で示すように）触知出力が発生する。カメラの視野６０３６を含むユーザーインターフェースにおける仮想オブジェクト１１００２の回転角は、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の回転角に対応する。
In FIG. 13K,
カメラの視野６０３６を含むユーザーインターフェースが表示されるとき、図１３Ｌ〜１３Ｍで示すように、横移動を含む入力は、カメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２の横移動を引き起こす。図１３Ｌにおいて、接触１３０２０は仮想オブジェクト１１００２に対応する位置で検出され、接触は矢印１３０２２で示す経路に沿って移動する。接触が移動すると、仮想オブジェクト１１００２は、（図１３Ｌに示すような）第１の位置から（図１３Ｍに示すような）第２の位置へ接触１３０２０の移動に対応する経路に沿って移動する。
When a user interface including the field of
一部の実施形態では、図５ＡＪ〜５ＡＭに関して説明したように、カメラの視野６０３６を含むユーザーインターフェースが表示されるときに提供される入力は、仮想オブジェクト１１００２を第１のプレーン（例えば、床面５０３８）から第２のプレーン（例えば、テーブル基準面５０４６）への移動させることができる。
In some embodiments, as described with respect to FIGS. 5AJ-5AM, the input provided when the user interface including the field of
図１４Ａ〜１４Ｚは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させるユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１４ＡＡ〜１４ＡＤ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
14A-14Z increase the second threshold magnitude of movement required for the second object manipulation behavior in response to determining that the first threshold magnitude of movement is satisfied for the first object manipulation behavior. Here is an example of a user interface that The user interfaces in these figures are shown in Figures 8A-8E, 9A-9D, 10A-10D, 14AA-14AD, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and Used to illustrate the process described below, including the process at 20A-20F. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
図１４Ａにおいて、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェースに表示される。図１４Ｂ〜１４Ｚに関して更に説明するように、並進移動量計１４００２、スケーリング移動量計１４００４、回転移動量計１４００６を用いて、オブジェクトの操作挙動（例えば、並進動作、スケーリング動作、及び／又は回転動作）に対応するそれぞれの移動の大きさを示す。並進移動量計１４００２は、タッチスクリーンディスプレイ１１２上に１組の接触の横（例えば、左向き又は右向きの）移動の大きさを示す。スケーリング移動量計１４００４は、タッチスクリーンディスプレイ１１２上に１組の接触におけるそれぞれの接触間の距離の増加又は減少の大きさ（例えば、ピンチジェスチャ又はデピンチジェスチャの大きさ）を示す。回転移動量計１４００６は、タッチスクリーンディスプレイ１１２上に１組の接触の回転移動の大きさを示す。
In FIG. 14A,
図１４Ｂ〜１４Ｅは、１つ以上のカメラの視野６０３６を含むユーザーインターフェースにおいて仮想オブジェクト１１００２を回転させる入力を示す。仮想オブジェクト１１００２を回転させる入力は、第１の接触１４００８が矢印１４０１０で示す経路に沿って時計方向に回転移動し、第２の接触１４０１２が矢印１４０１４で示す経路に沿って時計方向に回転移動するジェスチャを含む。図１４Ｂでは、タッチスクリーン１１２との接触１４００８及び１４０１２が検出される。図１４Ｃにおいて、接触１４００８は、矢印１４０１０で示す経路に沿って移動しており、接触１４０１２は、矢印１４０１２で示す経路に沿って移動している。図１４Ｃでは、接触１４００８及び接触１４０１２の回転移動の大きさが、まだ閾値ＲＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して回転していない。図１４Ｄにおいて、接触１４００８及び接触１４０１２の回転移動の大きさは閾値ＲＴを超えて増大しており、仮想オブジェクト１１００２は入力に応答して（図１４Ｂに示す仮想オブジェクト１１００２の位置に対して）回転している。回転移動の大きさが閾値ＲＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大し（例えば、スケーリング閾値ＳＴは、スケーリング移動量計１４００４で示すように、ＳＴからＳＴ'に増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴは、ＴＴからＴＴ'に増大している）。図１４Ｅにおいて、接触１４００８及び接触１４０１２は、それぞれ矢印１４０１０及び１４０１４で示す回転経路に沿って移動し続けており、仮想オブジェクト１１００２は入力に応答して回転し続けている。図１４Ｆにおいて、接触１４００８及び１４０１２は、タッチスクリーン１１２からリフトオフされている。
14B-14E show inputs for rotating
図１４Ｇ〜１４Ｉは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の仮想オブジェクト１１００２をスケーリングする（例えば、そのサイズを増大する）入力を示す。仮想オブジェクト１１００２のサイズを増大させる入力は、（例えば、接触１４０１６と接触１４０２０との間の距離が増大するように）第１の接触１４０１６が矢印１４０１８で示す経路に沿って移動し、第２の接触１４０２０が矢印１４０２２で示す経路に沿って移動するジェスチャを含む。図１４Ｇでは、タッチスクリーン１１２との接触１４０１６及び１４０２０が検出される。図１４Ｈにおいて、接触１４０１６は矢印１４０１８で示す経路に沿って移動しており、接触１４０２０は矢印１４０２２で示す経路に沿って移動している。図１４Ｈにおいて、接触１４０２０から離れた接触１４０１６の移動の大きさは、閾値ＳＴに達していないので、仮想オブジェクト１１００２のサイズは、入力に応答してまだ調整されていない。図１４Ｉにおいて、接触１４０１６及び接触１４０２０のスケーリング移動の大きさは閾値ＳＴを超えて増大しており、仮想オブジェクト１１００２のサイズはその入力に応答して（図１４Ｈに示す仮想オブジェクト１１００２のサイズに対して）増大している。スケーリング移動の大きさが閾値ＳＴを超えて増大するとき、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大し（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴはＲＴからＲＴ'へ増大しており）、仮想オブジェクト１１００２を並進するのに必要な移動の大きさは増大する（例えば、並進移動量計１４００２で示すように、並進閾値ＴＴはＴＴからＴＴ'へ増大している）。図１４Ｊにおいて、接触１４０１６及び１４０２０はタッチスクリーン１１２からリフトオフしている。
14G-14I illustrate an input scaling (eg, increasing its size)
図１４Ｋ〜１４Ｍは、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内で仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を左へ移動させる）入力を示す。仮想オブジェクト１１００２を移動させる入力は、（例えば、接触１４０２４及び接触１４０２８が共に左方へ移動するように）第１の接触１４０２４が矢印１４０２６で示す経路に沿って移動し、第２の接触１４０２８が矢印１４３０で示す経路に沿って移動するジェスチャを含む。図１４Ｋでは、タッチスクリーン１１２との接触１４０２４及び１４０２８が検出される。図１４Ｌにおいて、接触１４０２４は矢印１４０２６で示す経路に沿って移動しており、接触１４０２８は矢印１４０３０で示す経路に沿って移動している。図１４Ｌにおいて、接触１４０２４及び１４０２８の左方移動の大きさは閾値ＴＴに達していないので、仮想オブジェクト１１００２は、まだ入力に応答して移動させられていない。図１４Ｍにおいて、接触１４０２４及び接触１４０２８の左方移動の大きさは閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は、接触１４０２４及び１４０２８の移動の方向に移動させられている。並進移動の大きさが閾値ＴＴを超えて増大するとき、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさは増大しており（例えば、スケーリング移動量計１４００４で示すように、スケーリング閾値ＳＴは、ＳＴからＳＴ'に増大している）、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさは増大している（例えば、回転移動量計１４００６で示すように、回転閾値ＲＴは、ＲＴからＲＴ'に増大している）。図１４Ｎにおいて、接触１４０２４及び１４０２８はタッチスクリーン１１２からリフトオフされている。
FIGS. 14K-14M illustrate input for translating virtual object 11002 (eg, moving
図１４Ｏ〜１４Ｚは、仮想オブジェクト１１００２を並進させる（例えば、仮想オブジェクト１１００２を右に移動させる）、仮想オブジェクト１１００２をスケーリングする（例えば、仮想オブジェクト１１００２のサイズを増大させる）、及び仮想オブジェクト１１００２を回転させるジェスチャを含む入力を示す。図１４Ｏでは、タッチスクリーン１１２との接触１４０３２及び１４０３６が検出される。図１４Ｏ〜１４Ｐにおいて、接触１４０３２は矢印１４０３４で示す経路に沿って移動し、接触１４０３６は矢印１４０３８で示す経路に沿って移動する。接触１４０３２及び１４０３６の右方移動の大きさは、閾値ＴＴを超えて増大しており、仮想オブジェクト１１００２は接触１４０３２及び１４０３６の移動方向に移動させられている。接触１４０３２及び１４０３６の移動による閾値ＴＴの満足の結果として、仮想オブジェクト１１００２をスケーリングするのに必要な移動の大きさはＳＴ'に増大し、仮想オブジェクト１１００２を回転させるのに必要な移動の大きさはＲＴ'になる。（図１４Ｑにおける並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）閾値ＴＴを満足した後、接触１４０３２及び１４０３６の任意の横移動により、仮想オブジェクト１１００２の横移動を引き起こす。
14O-14Z translate virtual object 11002 (eg, move
図１４Ｑ〜１４Ｒにおいて、接触１４０３２は矢印１４０４０で示す経路に沿って移動し、接触１４０３６は矢印１４０４２で示す経路に沿って移動する。図１４Ｒにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、元のスケーリング閾値ＳＴを超えているが、増大したスケーリング閾値ＳＴ'に達していない。増大したスケーリング移動閾値ＳＴ'が効果的であるとき、接触１４０３６から離れた接触１４０３２の移動の大きさが増大したスケーリング移動閾値ＳＴ'を超えて増大するまでスケーリングは起こらず、したがって、仮想オブジェクト１１００２のサイズは、図１４Ｑ〜１４Ｒから変化していない。図１４Ｒ〜１４Ｓにおいて、接触１４０３２が矢印１４０４４で示す経路に沿って移動し、接触１４０３６が矢印１４０４６で示す経路に沿って移動するとき、接触１４０３２と１４０４６の間の距離は増大し続ける。図１４Ｓにおいて、接触１４０３６から離れた接触１４０３２の移動の大きさは、増大したスケーリング閾値ＳＴ'を超えており、仮想オブジェクト１１００２のサイズは増大している。（図１４Ｔにおけるスケーリング移動量計１４００４で示す高ウォーターマーク１４０４７によって示すように）閾値ＳＴ'が満足された後、接触１４０３２及び１４０３６の任意のスケーリング移動によって、仮想オブジェクト１１００２のスケーリングを引き起こす。
14Q-14R, contact 14032 moves along the path indicated by
図１４Ｔ〜１４Ｕにおいて、接触１４０３２は矢印１４０４８で示す経路に沿って移動し、接触１４０３６は矢印１４０５０で示す経路に沿って移動する。（並進移動量計１４００２で示す高ウォーターマーク１４０４３によって示すように）閾値ＴＴが満たされているので、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動する。
14T-14U, contact 14032 travels along the path shown by
図１４Ｖ〜１４Ｗにおいて、接触１４０３２は矢印１４０５２で示す経路に沿って移動し、接触１４０３６は矢印１４０５４で示す経路に沿って移動する。接触１４０３２及び１４０３６の移動は、並進移動（接触１４０３２及び１４０３６の左方移動）と、スケーリング移動（接触１４０３２と接触１４０３６との間の距離を減少させる移動（例えば、ピンチジェスチャ））とを含む。（並進移動量計１４００２で示される高ウォーターマーク１４０４３によって示すように）並進閾値ＴＴが満足させられたため、仮想オブジェクト１１００２は、接触１４０３２及び１４０３６の横移動の方向に自由に移動し、（スケーリング移動量計１４００４で示される高ウォーターマーク１４０４７によって示すように）増大したスケーリング閾値ＳＴ'が満足させられたため、仮想オブジェクト１１００２は、接触１４０３２の接触１４０３６の方への移動に応じて自由にスケーリングする。図１４Ｖから１４Ｗまで、仮想オブジェクト１１００２のサイズは減少しており、仮想オブジェクト１１００２は、矢印１４０５２で示す経路に沿った接触１４０３２の移動、及び矢印１４０５４で示す経路に沿った接触１４０３６の移動に応じて左方に移動している。
14V-14W, contact 14032 travels along the path shown by
図１４Ｘ〜１４Ｚでは、接触１４０３２が矢印１４０５６で示す経路に沿って反時計方向に回転移動し、接触１４０３６が矢印１４０５８で示す経路に沿って反時計方向に回転移動する。図１４Ｙにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは、元のスケーリング閾値ＲＴを超えているが、増大したスケーリング閾値ＲＴ'に達していない。増大したスケーリング移動閾値ＲＴ'が効果的であるとき、接触１４０３２及び１４０３６の回転移動の大きさが増大した回転移動閾値ＲＴ'を超えて増大するまで仮想オブジェクト１１００２の回転は起こらず、したがって、仮想オブジェクト１１００２は、図１４Ｘ〜１４Ｙから回転していない。図１４Ｙ〜１４Ｚにおいて、接触１４０３２が矢印１４０６０で示す経路に沿って移動し、接触１４０３６が矢印１４０６２で示す経路に沿って移動するとき、接触１４０３２及び１４０４６は反時計方向に回転移動し続ける。図１４Ｚにおいて、接触１４０３２及び接触１４０３６の回転移動の大きさは増大したスケーリング閾値ＲＴ'を超えおり、仮想オブジェクト１１００２は入力に応答して回転している。
14X-14Z, contact 14032 rotates counterclockwise along the path indicated by
図１４ＡＡ〜１４ＡＤは、移動の第１の閾値大きさが第１のオブジェクト操作挙動について満たされるとの判定に応じて、第２のオブジェクト操作挙動に必要な移動の第２の閾値大きさを増大させる動作を示すフロー図である。図１４ＡＡ〜１４ＡＤに関して説明する動作は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、及びタッチ感知面（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）を有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。図１４ＡＡ〜１４ＡＤに関して説明した一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
14AA-14AD increase the second threshold magnitude of movement required for the second object manipulation behavior in response to determining that the first threshold magnitude of movement is satisfied for the first object manipulation behavior It is a flowchart which shows the operation to make it. 14AA-14AD operate as display generation components (eg, displays, projectors, heads-up displays, etc.), and serve as touch sensitive surfaces (eg, touch sensitive surfaces, or both display generation components and touch sensitive surfaces). 3 is implemented on an electronic device (eg, the device 300 of FIG. 3 or the
動作１４０６６で、１つ以上の接触の移動を含むユーザー入力の第１の部分が検出される。動作１４０６８で、（例えば、仮想オブジェクト１１００２に対応する位置における）１つ以上の接触の移動が、オブジェクト回転閾値（例えば、回転移動量計１４００６が示す回転閾値ＲＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｂ〜１４Ｄに関して説明するように）オブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４０７０に進む。１つ以上の接触の移動がオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４０７４に進む。
At
動作１４０７０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｂ〜１４Ｄに関して説明したように）ユーザー入力の第１の部分に基づいて回転させられる。動作１４０７２で、オブジェクト並進閾値は（例えば、図１４Ｄに関して説明したように、ＴＴからＴＴ'まで）増大し、オブジェクトスケーリング閾値は（例えば、図１４Ｄに関して説明したように、ＳＴからＳＴ'まで）まで増大する。流れは、Ａで示すように、動作１４０７２から図１４ＡＢの動作１４０８６に進む。
At
動作１４０７４で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動が、オブジェクト並進閾値（例えば、並進移動量計１４００２によって示す並進閾値ＴＴ）を超えて増大しているか否かが判定される。（例えば、図１４Ｋ〜１４Ｍに関して説明するように）１つ以上の接触の移動がオブジェクト並進閾値を超えて増大するとの判定に応じて、流れは動作１４０７６へ進む。１つ以上の接触の移動がオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０８０へ進む。
In
動作１４０７６で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｋ〜１４Ｍに関して説明したように）ユーザー入力の第１の部分に基づいて並進される。動作１４０７８で、オブジェクト回転閾値は（例えば、図１４Ｍに関して説明したように、ＲＴからＲＴ'へ）増大させられ、オブジェクトスケーリング閾値は（例えば、図１４Ｍに関して説明したように、ＳＴからＳＴ'へ）増大させられる。Ｂに示すように、流れは、動作１４０７８から図１４ＡＣの動作１４１００に進む。
At
動作１４０８０で、（例えば、仮想オブジェクト１１００２に対応する位置での）１つ以上の接触の移動は、オブジェクトスケーリング閾値（例えば、スケーリング移動量計１４００４で示すスケーリング閾値ＳＴ）を超えて増大するか否かが判定される。１つ以上の接触の移動が（例えば、図１４Ｇ〜１４Ｉに関して説明したような）オブジェクトスケーリング閾値を超えて増大するとの判定に応じて、流れは動作１４０８２に進む。１つ以上の接触の移動がオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８５に進む。
In
動作１４０８２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｇ〜１４Ｉに関して説明したように）ユーザー入力の第１の部分に基づいてスケーリングされる。動作１４０８４では、オブジェクト回転閾値は（例えば、図１４Ｉに関して説明するように、ＲＴからＲＴ'に）増大し、オブジェクト並進閾値は（例えば、図１４Ｉに関して説明するように、ＴＴからＴＴ'に）増大する。Ｃで示すように、流れは動作１４０８４から図１４ＡＤの動作１４１１４へ進む。
At
動作１４０８５で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０６６へ進む。
At
図１４ＡＢにおいて、動作１４０８６で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４０８６から動作１４０８８へ進む。
In FIG. 14AB, at
動作１４０８８で、１つ以上の接触の移動が回転運動であるか否かが判定される。１つ以上の接触の移動が回転運動であるとの判定に応じて、流れは動作１４０９０に進む。１つ以上の接触の移動が回転運動でないとの判定に応じて、流れは動作１４０９２に進む。
At
動作１４０９０で、オブジェクト（例えば、仮想オブジェクト１１００２）は、（例えば、図１４Ｄ〜１４Ｅに関して説明したように）ユーザー入力の追加部分に基づいて回転させられる。回転閾値が予め満たされていたので、オブジェクトは、追加の回転入力に応じて自由に回転する。
At
動作１４０９２で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｄの並進移動量計１４００２によって示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４０９４に進む。１つ以上の接触の移動が増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４０９６に進む。
At
動作１４０９４では、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進される。
In
動作１４０９６では、１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値（例えば、図１４Ｄのスケーリング移動量計１４００４によって示されるスケーリング閾値ＳＴ'）を超えて増大しているか否か判定される。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４０９８に進む。１つ以上の接触の移動が、増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４０８６に戻る。
In
動作１４０９８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
At
図１４ＡＣにおいて、動作１４１００で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１００から動作１４１０２に進む。
In FIG. 14AC, at
動作１４１０２で、１つ以上の接触の移動が並進移動であるか否か判定される。１つ以上の接触の移動が並進移動であるとの判定に応じて、流れは動作１４０１０４に進む。１つ以上の接触の移動が並進移動でないとの判定に応じて、流れは動作１４１０６に進む。
At
動作１４１０４で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて並進させられる。並進閾値が予め満たされていたので、オブジェクトは、追加の並進入力に応じて自由に並進する。
At
動作１４１０６で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｍの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１０８に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１１０に進む。
At
動作１４１０８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
At
動作１４１１０で、１つ以上の接触の移動が増大したオブジェクトスケーリング閾値（例えば、図１４Ｍのスケーリング移動量計１４００４で示すスケーリング閾値ＳＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大しているとの判定に応じて、流れは動作１４１１２に進む。１つ以上の接触の移動が増大したオブジェクトスケーリング閾値を超えて増大していないとの判定に応じて、流れは動作１４１００に戻る。
At
動作１４１１２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。
At
図１４ＡＤにおいて、動作１４１１４で、１つ以上の接触の移動を含むユーザー入力の追加部分が検出される。流れは、動作１４１１４から動作１４１１６に進む。
In FIG. 14AD, at
動作１４１１６で、１つ以上の接触の移動がスケーリング移動であるか否かが判定される。１つ以上の接触の移動がスケーリング移動であるとの判定に応じて、流れは動作１４０１１８に進む。１つ以上の接触の移動がスケーリング移動でないとの判定に応じて、流れは動作１４１２０に進む。
At
動作１４１１８で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいてスケーリングされる。スケーリング閾値が予め満たされていたので、オブジェクトは、追加のスケーリング入力に応じて自由にスケーリングされる。
At
動作１４１２０で、１つ以上の接触の移動が、増大したオブジェクト回転閾値（例えば、図１４Ｉの回転移動量計１４００６で示す回転閾値ＲＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大しているとの判定に応じて、流れは動作１４１２２に進む。１つ以上の接触の移動が、増大したオブジェクト回転閾値を超えて増大していないとの判定に応じて、流れは動作１４１２４に進む。
At
動作１４１２２で、オブジェクト（例えば、仮想オブジェクト１１００２）は、ユーザー入力の追加部分に基づいて回転させられる。
At
動作１４１２４で、１つ以上の接触の移動が、増大したオブジェクト並進閾値（例えば、図１４Ｉの並進移動量計１４００２で示す並進閾値ＴＴ'）を超えて増大しているか否かが判定される。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大しているとの判定に応じて、流れは動作１４１２６に進む。１つ以上の接触の移動が、増大したオブジェクト並進閾値を超えて増大していないとの判定に応じて、流れは動作１４１１４に進む。
At
図１５Ａ〜１５ＡＩは、デバイスが移動することで、１つ以上のデバイスカメラの表示された視野の外に仮想オブジェクトが移動したという判定に応じて音声警報を生成するユーザーインターフェースの例を示す。これらの図におけるユーザーインターフェースは、図８Ａ〜８Ｅ、図９Ａ〜９Ｄ、図１０Ａ〜１０Ｄ、図１６Ａ〜１６Ｇ、図１７Ａ〜１７Ｄ、図１８Ａ〜１８Ｉ、図１９Ａ〜１９Ｈ、及び図２０Ａ〜２０Ｆにおけるプロセスを含む以下に説明するプロセスを例示するために用いられる。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上で図に示されるユーザーインターフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応答して、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
15A-15AI illustrate examples of user interfaces that, upon device movement, generate an audio alert in response to a determination that the virtual object has moved out of the displayed field of view of one or more device cameras. The user interfaces in these figures are shown in FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. Is used to illustrate the process described below. For convenience of explanation, some of the embodiments will be discussed with reference to operations performed on a device having a touch-
図１５Ａ〜１５ＡＩは、アクセシビリティ特徴がアクティブであるときに行われるユーザーインターフェース及びデバイスの動作を示す。一部の実施形態では、アクセシビリティ特徴は、（例えば、能力に制限のあるユーザーが上記の入力ジェスチャを行うためにデバイス特徴にアクセスする容易性を高めるために）デバイス特徴にアクセスするために減少した数の入力又は代替入力が使用可能であるモードを含む。例えば、アクセシビリティモードは、利用可能なデバイスを介して動作を前進又は逆転させるために第１の入力ジェスチャ（例えば、スワイプ入力）が使用され、現在示されている動作を実行するために選択入力（例えば、二重タップ入力）が使用されるスイッチ制御モードである。ユーザーがデバイスと対話すると、（例えば、操作が行われたことを示すため、デバイスのステージングユーザーインターフェース又は１つ以上のカメラの視野に対して仮想オブジェクト１１００２の現在の表示状態を示すため等、ユーザーにフィードバックを提供するために）音声警報が生成される。
15A-15AI illustrate user interface and device operations that occur when an accessibility feature is active. In some embodiments, accessibility features have been reduced to access device features (eg, to increase the ease with which users with limited capabilities can access device features to perform the above input gestures) Includes modes in which a number of inputs or alternative inputs are available. For example, the accessibility mode uses a first input gesture (e.g., swipe input) to advance or reverse an action through an available device, and a select input to perform the currently shown action ( For example, a double tap input) is a switch control mode used. When the user interacts with the device (eg, to indicate the current display state of the
図１５Ａにおいて、メッセージングユーザーインターフェース５００８は、三次元仮想オブジェクト１１００２の二次元表現を含む。（例えば、現在選択されている動作が、仮想オブジェクト１１００２上で実行される動作であることを示すために）選択カーソル１５００１が、三次元仮想オブジェクト１１００２の周囲に示されている。現在指示されている動作（例えば、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の三次元表現の表示）を行うために、接触１５００２による入力（例えば、二重タップ入力）が検出される。図１５Ｂに示すように、この入力に応答して、メッセージングユーザーインターフェース５０６０の表示は、ステージングユーザーインターフェース６０１０の表示によって置き換えられる。
In FIG. 15A,
図１５Ｂにおいて、仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される。デバイスの状態を示すために、１５００８で示すように、（例えば、デバイススピーカ１１１によって）音声警報が生成される。例えば、音声警報１５００８は、１５０１０で示すように、「現在、椅子はステージングビューで示されている」というアナウンスを含む。
In FIG. 15B, the
図１５Ｂには、（例えば、現在選択されている動作が、共有動作であることを示すために）選択カーソル１５００１が、共有制御６０２０の周囲に示されている。接触１５００４による入力（例えば、矢印１５００６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15B (e.g., to indicate that the currently selected operation is a sharing operation), a
図１５Ｃには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を上方に傾斜させる動作であることを示すために）チルトアップ制御１５０１２が表示されている。デバイスの状態を示すために、１５０１４で示すように、音声警報が生成される。例えば、音声警報は、１５０１６で示すように、「選択済み：チルトアップボタン」というアナウンスを含む。接触１５０１８による入力（例えば、矢印１５０２０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15C, a tilt-
図１５Ｄには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を下方に傾斜させる動作であることを示すために）チルトダウン制御１５０２２が表示されている。音声警報は、１５０２４に示すように、デバイスの状態を示すために生成される。例えば、音声警報は、１５０２６で示すように、「選択済み：チルトダウンボタン」というアナウンスを含む。接触１５０２８による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、ステージングビュー内で下方に傾斜させられる）。
In FIG. 15D, a tilt-
図１５Ｅにおいて、仮想オブジェクト１１００２は、ステージングビューにおいて下方に傾斜している。デバイスの状態を示すために、１５０３０に示すように、音声警報が生成される。例えば、音声警報は、「椅子が下に５度傾斜している」というアナウンスを含む。１５０３２に示すように、現在、椅子は画面に向かって１０度傾斜している。
In FIG. 15E,
図１５Ｆにおいて、接触１５０３４による入力（例えば、矢印１５０３６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15F, an input by contact 15034 (eg, a rightward swipe along the path indicated by arrow 15036) is detected. In response to this input, the selected operation proceeds to the next operation.
図１５Ｇには、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５０３８が表示されている。音声警報１５０４０は、１５０４２で示すように、「選択済み：時計回りにボタンを回転させる」というアナウンスを含む。接触１５０４４による入力（例えば、矢印１５０４６で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15G, clockwise
図１５Ｈにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２を反時計回りに回転させる動作であることを示すために）反時計回り回転制御１５０４８が表示される。音声警報１５０５０は、１５０５２で示すように、「選択済み：反時計回りにボタンを回転させる」というアナウンスを含む。接触１５０５４による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５Ｉに示すように、仮想オブジェクト１１００２は、ステージングビュー内で反時計回りに回転させられる）。
In FIG. 15H,
図１５Ｉにおいて、１５０５８に示すように、音声警報１５０５６は、「椅子を反時計回りに５度回転します。次に、椅子をスクリーンから離れるように５度回転します。」というアナウンスを含む。
In FIG. 15I, as shown at 15058, the
図１５Ｊにおいて、接触１５０６０による入力（例えば、矢印１５０６２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15J, an input by contact 15060 (eg, a rightward swipe along the path indicated by arrow 15062) is detected. In response to this input, the selected operation proceeds to the next operation.
図１５Ｋにおいて、（例えば、現在選択されている動作が、表示された仮想オブジェクト１１００２をズームする動作であることを示すために）ズーム制御１５０６４が表示される。音声警報１５０６６は、１５０６８で示すように、「縮尺：調節可能」というアナウンスを含む。アナウンスにおいて制御名と併用されるキーワード「調整可能」は、制御を動作させるのにスワイプ入力（例えば、垂直スワイプ入力）が使用可能であることを示す。例えば、上向きのスワイプ入力は、矢印５０７２で示す経路に沿って接触５０７０が上方に移動するときに、接触５０７０によって与えられる。この入力に応答して、ズーム操作が行われる（例えば、図１５Ｋ〜１５Ｌに示すように、仮想オブジェクト１１００２のサイズが増大する）。
In FIG. 15K,
図１５Ｌにおいて、音声警報１５０７４は、１５０７６で示すように、「現在、椅子は元のサイズの１５０パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズを縮小する入力（例えば、下向きのスワイプ入力）は、矢印５０７８で示す経路に沿って下方に移動する接触５０７８により与えられる。入力に応答して、ズーム操作が実行される（例えば、図１５Ｌ〜１５Ｍに示すように、仮想オブジェクト１１００２のサイズは縮小される）。
In FIG. 15L,
図１５Ｍにおいて、音声警報１５０８２は、１５０８４で示すように、「現在、椅子は元のサイズの１００パーセントに調整されている」というアナウンスを含む。仮想オブジェクト１１００２のサイズは、ステージングビュー６０１０において元々表示されたサイズに調整されるので、（例えば、仮想オブジェクト１１００２がその元のサイズに復帰したことを示すフィードバックを提供するために）（１５０８６で示すような）触知出力が発生する。
In FIG. 15M,
図１５Ｎにおいて、接触１５０８８による入力（例えば、矢印１５０９０で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15N, an input by contact 15088 (eg, a right swipe along the path indicated by arrow 15090) is detected. In response to this input, the selected operation proceeds to the next operation.
図１５Ｏにおいて、（例えば、現在選択されている動作が先のユーザーインターフェースに復帰する動作であることを示すために）選択カーソル１５００１がバック制御６０１６の周囲に示される。音声警報１５０９２は、１５０９４で示すように、「選択済み：復帰ボタン」というアナウンスを含む。接触１５０９６による入力（例えば、矢印１５０９８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15O, a
図１５Ｐには、（例えば、現在選択されている動作が、ステージングユーザーインターフェース６０１０の表示とカメラの視野６０３６を含むユーザーインターフェースの表示との間でトグルする動作であることを示すために）選択カーソル１５００１が、トグル制御６０１８の周囲に示されている。音声警報１５０９８は、５０１００で示すように、「選択済み：ワールドビュー／ステージングビュートグル」というアナウンスを含む。接触１５１０２による入力（例えば、二重タップ入力）が検出される。（図１５Ｑに示すように）この入力に応答して、ステージングユーザーインターフェース６０１０の表示は、カメラの視野６０３６を含むユーザーインターフェースの表示によって置き換えられる。
FIG. 15P shows a selection cursor (eg, to indicate that the currently selected action is an action that toggles between the display of the
図１５Ｑ〜１５Ｔは、（例えば、仮想オブジェクト１１００２に対応するプレーンは、カメラの視野６０３６内でまだ検出されていないので）カメラの視野６０３６が表示されるときに発生する較正シーケンスを示す。較正シーケンス中に、仮想オブジェクト１１００２の半透明表現が表示され、カメラの視野６０３６がぼかされ、（デバイス１００の表現１２００４及びプレーンの表現１２０１０を含む）動画像を含むプロンプトが表示されて、ユーザーにデバイスの移動を促す。図１５Ｑにおいて、音声警報１５１０２は、５０１０４で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｑから図１５Ｒまで、デバイス１００は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動する。デバイス１００の移動の検出の結果として、図１５Ｓで示すように、較正ユーザーインターフェースオブジェクト１２０１４が表示される。
FIGS. 15Q-15T illustrate a calibration sequence that occurs when the camera field of
図１５Ｓにおいて、音声警報１５１０６は、５０１０８で示すように、「プレーンを検出するためにデバイスを移動させる」というアナウンスを含む。図１５Ｓ〜１５Ｔにおいて、較正ユーザーインターフェースオブジェクト１２０１４は、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）デバイス１００が物理的環境５００２に対して移動するときに回転する。図１５Ｔにおいて、カメラの視野６０３６内で検出される仮想オブジェクト１１００２に対応するプレーンについて十分な動きが生じており、音声警報１５１１０は、５０１１２で示すように、「プレーンが検出された」というアナウンスを含む。図１５Ｕ〜１５Ｖにおいて、仮想オブジェクト１１００２の半透明性は減少し、仮想オブジェクト１１００２は検出されたプレーン上に配置される。
In FIG. 15S, the
図１５Ｖにおいて、音声警報１５１１４は、５０１１６で示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含む。触知出力生成器は、仮想オブジェクト１１００２がプレーン上に配置されていることを示す触知出力を（１５１１８で示すように）出力する。仮想オブジェクト１１００２は、物理的環境５００２に対して一定の位置に表示される。
In FIG. 15V,
図１５Ｖ〜１５Ｗにおいて、デバイス１００は、仮想オブジェクト１１００２がカメラの視野６０３６内でもはや見えないように（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）物理的環境５００２に対して移動させられる。カメラの視野６０３６の外に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２２は、５０１２４に示すように、「椅子がスクリーン上にない」というアナウンスを含む。
In FIGS. 15V-15W, the
図１５Ｗ〜１５Ｘにおいて、デバイス１００は、仮想オブジェクト１１００２が図１５Ｘのカメラの視野６０３６内で再び見えるように物理的環境５００２対して移動されている。仮想オブジェクト１１００２がカメラの視野６０３６内に移動する結果として、音声警報１５１１８は、５０１２０に示すように、「現在、椅子は、１００パーセント可視でワールドに投影され、スクリーンの１０パーセントを占める」というアナウンスを含んで生成される。
In Figures 15W-15X, the
図１５Ｘ〜１５Ｙにおいて、デバイス１００は、（例えば、カメラの視野６０３６内に投影されるときにデバイス１００が仮想オブジェクト１１００２に対して「より近い」ように、及び仮想オブジェクト１１００２が図１５Ｙのカメラの視野６０３６内で部分的に見えるように）物理的環境５００２に対して移動されている。カメラの視野６０３６の外に部分的に仮想オブジェクト１１００２が移動する結果として、音声警報１５１２６は、５０１２８に示すように、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含む。
In FIGS. 15X-15Y, the device 100 (eg, so that the
一部の実施形態では、仮想オブジェクト１１００２に対応する位置で与えられる入力により、仮想オブジェクト１１００２についての言語情報を含む音声メッセージが提供される。反対に、仮想オブジェクト１１００２及び制御から離れている位置で入力が与えられるときは、仮想オブジェクト１１００２についての言語情報を含む音声メッセージは提供されない。図１５Ｚにおいて、ユーザーインターフェースにおける制御又は仮想オブジェクト１１００２の位置に対応しない位置で接触１５１３２が検出されることを示すために、音声出力１５１３０（例えば「クリック」又は「機械音」）が発生する。図１５ＡＡにおいて、接触１５１３４による入力は、仮想オブジェクト１１００２の位置に対応する位置で検出される。この入力に応答して、５０１３８に示すように、（例えば、仮想オブジェクト１１００２の状態を示す）仮想オブジェクト１１００２に対応する音声警報１５１３６は、「椅子は、９０パーセント可視であり、スクリーンの２０パーセントを占める」というアナウンスを含んで生成される。
In some embodiments, the input provided at the location corresponding to the
図１５ＡＢ〜１５ＡＩは、カメラの視野６０３６を含むユーザーインターフェースが表示されている間に、スイッチ制御モードにおいて動作を選択及び実行する入力を示す。
FIGS. 15AB-15AI illustrate inputs for selecting and performing operations in switch control mode while a user interface including a
図１５ＡＢにおいて、接触１５１４０による入力（例えば、矢印１５１４２で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、図１５ＡＣで示すように、動作が選択される。 In FIG. 15AB, an input by contact 15140 (eg, a swipe pointing to the right along the path indicated by arrow 15142) is detected. In response to this input, an action is selected as shown in FIG. 15AC.
図１５ＡＣにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を右に移動させる動作であることを示すために）右方横移動制御１５１４４が表示される。音声警報１５１４６は、１５１４８で示されるように、「選択済み：右ボタンを移動する」というアナウンスを含む。接触１５１５０による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、仮想オブジェクト１１００２は、図１５ＡＤに示すように、カメラの視野６０３６内で右に移動させられる）。
In FIG. 15AC, right
図１５ＡＤにおいて、仮想オブジェクト１１００２の移動は、１５１５４で示すように、「椅子は、１００パーセント可視であり、スクリーンの３０パーセントを占める」というアナウンスを含む音声警報１５１５２によって報告される。
In FIG. 15AD, movement of the
図１５ＡＥにおいて、接触１５１５６による入力（例えば、矢印１５１５８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。 In FIG. 15AE, an input by contact 15156 (eg, a swipe pointing to the right along the path indicated by arrow 15158) is detected. In response to this input, the selected operation proceeds to the next operation.
図１５ＡＦにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を左に移動させる動作であることを示すために）左方横移動制御１５１６０が表示される。音声警報１５１６２は、１５１６４で示されるように、「選択済み：左に移動する」というアナウンスを含む。接触１５１６６による入力（例えば、矢印１５１６８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15AF, left
図１５ＡＧにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）時計回り回転制御１５１７０が表示される。音声警報１５１７２は、１５１７４で示すように、「選択済み：時計回りに回転する」というアナウンスを含む。接触１５１７６による入力（例えば、矢印１５１７８で示す経路に沿った右向きのスワイプ）が検出される。この入力に応答して、選択された動作は次の動作に進む。
In FIG. 15AG,
図１５ＡＨにおいて、（例えば、現在選択されている動作が、仮想オブジェクト１１００２を時計回りに回転させる動作であることを示すために）反時計回り回転制御１５１８０が表示される。音声警報１５１８２は、１５１８４で示すように、「選択済み：反時計回りに回転する」というアナウンスを含む。接触１５１８６による入力（例えば、二重タップ入力）が検出される。この入力に応答して、選択された動作が実行される（例えば、図１５ＡＩで示すように、仮想オブジェクト１１００２は反時計回りに回転させられる）。
In FIG. 15AH,
図１５ＡＩにおいて、音声警報１５１９０は、「椅子は反時計回りに５度だけ回転した」というアナウンスを含む。１５１６４で示すように、椅子は、現在、スクリーンに対してゼロ度だけ回転している。
In FIG. 15AI, the
一部の実施形態では、オブジェクト（例えば、仮想オブジェクト１１００２）の少なくとも１つの表面（例えば、下側面）で反射が生じる。反射は、デバイス１００の１つ以上のカメラによって取り込まれる画像データを使用して生成される。例えば、反射は、１つ以上のカメラの視野６０３６内で検出される水プレーン（例えば、床面５０３８）に対応する取り込まれた画像データ（例えば、画像、画像のセット、及び／又は動画）のうちの少なくとも一部に基づく。一部の実施形態では、反射の発生は、（例えば、取り込まれた画像データを仮想の球のモデル上にマッピングすることにより）取り込まれた画像データを含む球状モデルを生成することを含む。
In some embodiments, reflection occurs on at least one surface (e.g., lower surface) of an object (e.g., virtual object 11002). The reflection is generated using image data captured by one or more cameras of
一部の実施形態では、オブジェクトの表面で生じる反射は、（例えば、プレーンにより近い表面の一部が、プレーンからより遠い表面の一部よりも大きい反射率の大きさを有するように）反射勾配を含む。一部の実施形態では、オブジェクトの表面で生じる反射の反射率の大きさは、表面に対応するテクスチャの反射率値に基づく。例えば、表面の非反射部では反射が生じない。 In some embodiments, the reflection that occurs at the surface of the object is a reflection gradient (eg, such that a portion of the surface closer to the plane has a greater reflectivity magnitude than a portion of the surface further from the plane) including. In some embodiments, the magnitude of the reflectance of reflections occurring at the surface of the object is based on the reflectance value of the texture corresponding to the surface. For example, no reflection occurs on the non-reflecting portion of the surface.
一部の実施形態では、反射は、経時的に調整される。例えば、反射は、オブジェクトを移動及び／又はスケーリングする入力を受信したときに調整される（例えば、オブジェクトが移動するとき、オブジェクトの反射は、オブジェクトに対応する位置にあるプレーンの一部を反射するように調整される）。一部の実施形態では、反射は、オブジェクトが（例えば、ｚ軸周りに）回転しているときには調整されない。 In some embodiments, the reflection is adjusted over time. For example, the reflection is adjusted when receiving an input that moves and / or scales the object (eg, when the object moves, the object's reflection reflects a portion of the plane at the location corresponding to the object) To be adjusted). In some embodiments, the reflections are not adjusted when the object is rotating (eg, around the z-axis).
一部の実施形態では、（例えば、オブジェクトに対応するカメラの視野６０３６内で検出されるプレーン上の）決定された位置でオブジェクトを表示する前に、オブジェクトの表面上で反射は生じない。例えば、（例えば、図１１Ｇ〜１１Ｈに関して説明するように）オブジェクトの半透明表現が表示されるとき、及び／又は（例えば、図１２Ｂ〜１２Ｉに関して説明するように）較正が実行されているとき、オブジェクトの表面上で反射は生じない。
In some embodiments, no reflection occurs on the surface of the object before displaying the object at a determined position (eg, on a plane detected in the camera's field of
一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で検出される１つ以上のプレーン上で生じる。一部の実施形態では、オブジェクトの反射は、カメラの視野６０３６内で生じない。
In some embodiments, object reflections occur on one or more planes that are detected within the field of
図１６Ａ〜１６Ｇは、オブジェクト配置基準が満たされているか否かによって異なる視覚特性を用いる１つ以上のカメラの視野を含むユーザーインターフェースに仮想オブジェクトを表示する方法１６０００を示すフロー図である。方法１６０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は表示生成コンポーネントとタッチ感知面の両方としての役割を果たすタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面とは反対のデバイスの側の１つ以上の背面カメラ）とを有する電子デバイス（例えば、図３のデバイス３００、又は図１Ａのポータブル多機能デバイス１００）で実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上にあるか又はこれに組み込まれている。一部の実施形態では、ディスプレイはタッチ感知面から分離している。方法１６０００の一部の動作は任意選択で組み合わされ、及び／又は一部の動作の順序は任意選択で変更される。
16A-16G are flow diagrams illustrating a
デバイスは、（例えば、仮想オブジェクトの移動可能な表現を含むステージングユーザーインターフェースが表示されている間に、及びカメラの視野が表示される前に）１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、拡張現実ビューインターフェース）に仮想オブジェクト（例えば、三次元モデルの表現）を表示する要求を受信する（１６００２）（例えば、この要求は、タッチスクリーンディスプレイ上の仮想オブジェクトの表現上で検出される接触による入力であり、あるいはこの接触は、仮想オブジェクトの表現と同時に表示され、第１の接触により引き起こされるときにＡＲビューの表示をトリガするように構成されているアフォーダンス（例えば、「ＡＲビュー」又は「ワールドビュー」ボタン上のタップ）で検出される）。例えば、図１１Ｆに関して説明したように、要求は、１つ以上のカメラの視野６０３６内に仮想オブジェクト１１００２を表示するための入力である。
The device may include at least a portion of one or more camera fields of view (eg, while a staging user interface including a movable representation of a virtual object is displayed and before the camera field of view is displayed). A request to display a virtual object (eg, a representation of a 3D model) in a first user interface area (eg, augmented reality view interface) that includes (16002) (eg, the request is Input by contact detected on the representation of the virtual object, or this contact is displayed simultaneously with the representation of the virtual object and is configured to trigger the display of the AR view when triggered by the first contact Affordances (eg “AR View” or “ Is detected by the Rudobyu "tap on the button)). For example, as described with respect to FIG. 11F, the request is an input for displaying the
第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求（例えば、デバイスの周囲の物理的環境のビューに仮想オブジェクトを表示する要求）に応答して、デバイスは、表示生成コンポーネントを介して、第１のユーザーインターフェース領域に含まれる１つ以上のカメラの視野のうちの少なくとも一部の上に仮想オブジェクトの表現を表示する（１６００４）（例えば、１つ以上のカメラの視野は、第１のユーザーインターフェースの領域に仮想オブジェクトを表示する要求に応答して表示される）ものであり、１つ以上のカメラの視野は、１つ以上のカメラが位置する物理的環境のビューである。例えば、図１１Ｇに関して説明したように、仮想オブジェクト１１００２は、１つ以上のカメラが位置する物理的環境５００２のビューである１つ以上のカメラの視野６０３６内に表示される。仮想オブジェクトの表現を表示することは、オブジェクト配置基準が満たされるために、１つ以上のカメラの視野内で仮想オブジェクトの配置位置（例えば、プレーン）が識別されることを必要とするオブジェクトの配置基準が満たされていないとの判定に応じて（例えば、第１のユーザーインターフェース領域内で１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていない（例えば、プレーン識別がまだ進行中であり、又はプレーンを識別するのに十分な画像データがない）とき、オブジェクト配置基準は満たされていない）、第１の１組の視覚特性（例えば、第１の半透明レベル、又は第１の輝度レベル、又は第１の彩度レベル等）を伴うと共に、物理的環境の一部が１つ以上のカメラの視野内に表示されることから独立している第１の向きを伴って、仮想オブジェクトの表現を表示することを含んでおり、例えば、物理的環境（例えば、ステージングビューに設定された向き）から独立していると共に、カメラの視野内で生じる変化（例えば、物理的環境に対するデバイスの移動による変化）から独立して、仮想オブジェクトは、所定のプレーンに相対的である向きでカメラの視野の上で浮いている。例えば、図１１Ｇ〜１１Ｈでは、仮想オブジェクト１１００２についての配置位置がカメラの視野６０３６内で識別されていないので、仮想オブジェクト１１００２の半透明バージョンが表示される。（図１１Ｇ〜１１Ｈに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは変化しない。一部の実施形態では、オブジェクト配置基準は、視野が安定しており、物理的環境の静止画を提供するという要件を含む（例えば、カメラは少なくとも閾値時間中に閾値量よりも少なく移動し、及び／又は要求が受信されて以来少なくとも所定の時間が経過しており、及び／又は十分に前のデバイスの移動でプレーン検出のためにカメラが較正されている。オブジェクト配置基準が満たされている（例えば、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又は面をデバイスが識別していないときに、オブジェクト配置基準は満たされている）との判定に応じて、デバイスは、第１の１組の視覚特性とは異なるの（例えば、第２の半透明性レベル、又は第２の輝度レベル、又は第２の彩度レベル等で）第２の１組の視覚特性を有すると共に、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する、仮想オブジェクトの表現を表示する。例えば、図１１Ｉでは、仮想オブジェクト１１００２の配置位置は、カメラの視野６０３６内で識別されているので（例えば、物理的環境５００２内の床面５０３８に対応するプレーン）、仮想オブジェクト１１００２の非半透明バージョンが表示される。仮想オブジェクト１１００２の向き（例えば、タッチスクリーンディスプレイ１１２上の位置）は、図１１Ｈに示す第１の向きから図１１Ｉに示す第２の向きへ変化している。（図１１Ｉから図１１Ｊに示すように）デバイスが移動するとき、仮想オブジェクト１１００２の向きは、（仮想オブジェクト１１００２が物理的環境５００２に対して一定の向きで現在表示されているため）変化する。オブジェクト配置基準が満たされるかどうかに応じて、仮想オブジェクトを第１の１組の視覚特性又は第２の１組の視覚特性と共に表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要されていることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In response to a request to display the virtual object in the first user interface area (e.g., a request to display the virtual object in a view of the physical environment around the device), the device receives, via the display generation component, the first Display a representation of the virtual object on at least a portion of one or more of the camera's fields of view included in the user interface area of the (16004) (eg, the field of view of the one or more cameras is the first user interface The field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. For example, as described with respect to FIG. 11G,
一部の実施形態では、デバイスは、仮想オブジェクトの表現が第１の１組の視覚特性及び第１の向きを伴って表示されている間に、オブジェクト配置基準が満たされていることを検出する（１６００６）（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に、仮想オブジェクトを配置するプレーンが識別される）。オブジェクト配置基準の検出を開始するのに更なるユーザー入力を必要とせずに、仮想オブジェクトが第１の１組の視覚特性を伴って（例えば、半透明状態で）表示されている間に、オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the device detects that the object placement criteria are met while the representation of the virtual object is displayed with a first set of visual characteristics and a first orientation. (16006) (For example, while the virtual object is suspended in a translucent state over the view of the physical environment around the device, the plane on which the virtual object is placed is identified). An object while the virtual object is displayed (eg, in a translucent state) with a first set of visual characteristics without requiring additional user input to initiate detection of object placement criteria By detecting that the placement criteria are met, the number of inputs required for object placement is reduced. By reducing the number of inputs required to perform an operation, you can improve device operability, make the user device interface more efficient, and allow users to use the device more quickly and efficiently Reduce device power usage and improve battery life.
一部の実施形態では、オブジェクトの配置基準が満たされていることの検出に応答して、デバイスは、表示生成コンポーネントを介して、第１の向きから第２の向きへ移る（例えば、回転する、スケーリングする、並進する、及び／又は上記の組合せ）と共に第１の１組の視覚特性を有することから第２の１組の視覚特性を有することへ変化する仮想オブジェクトの表現を示すアニメーション化された遷移を表示する（１６００８）。例えば、仮想オブジェクトを配置するプレーンがカメラの視野内で識別されると、仮想オブジェクトはその向き、サイズ、半透明性（等）を可視的に調整してそのプレーン上に配置される。（例えば、第１のユーザーインターフェース内で仮想オブジェクトの向きを変えるために更なるユーザー入力を必要とすることなく）第１の向きから第２の向きへアニメーション化された遷移を表示することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, in response to detecting that an object placement criterion is met, the device moves from a first orientation to a second orientation (eg, rotates) via a display generation component. Animated, showing a representation of a virtual object that changes from having a first set of visual properties to having a second set of visual properties together with scaling, translating, and / or combinations of the above) Display the transition (16008). For example, when a plane on which a virtual object is to be placed is identified within the field of view of the camera, the virtual object is placed on the plane with its orientation, size, translucency (etc.) visibly adjusted. By displaying an animated transition from the first orientation to the second orientation (eg, without requiring further user input to change the orientation of the virtual object in the first user interface), Reduce the number of inputs required for object placement. By reducing the number of inputs required to perform an operation, you can improve device operability, make the user device interface more efficient, and allow users to use the device more quickly and efficiently Reduce device power usage and improve battery life.
一部の実施形態では、オブジェクト配置基準が満たされていることの検出（１６０１０）は、１つ以上のカメラの視野内で平面が識別されたことの検出、（例えば、カメラの視野内の物理的環境の実質的に静止したビューに導く）少なくとも閾値時間にわたるデバイスと物理的環境との間の閾値移動量未満の検出、及び第１のユーザーインターフェース領域に仮想オブジェクトを表示させる要求を受信してから少なくとも所定の時間が経過したことの検出のうちの１つ以上を含む。（例えば、プレーンを検出するユーザー入力を必要とせずに１つ以上のカメラの視野内でプレーンを検出することによって）オブジェクト配置基準が満たされていることを検出することで、オブジェクト配置に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, detecting that the object placement criteria are met (16010) comprises detecting that a plane has been identified within the field of view of one or more cameras (eg, physics within the field of view of the camera). Receiving a detection below the threshold movement amount between the device and the physical environment for at least a threshold time leading to a substantially stationary view of the dynamic environment, and a request to display the virtual object in the first user interface area One or more of detecting that at least a predetermined time has passed. Needed for object placement by detecting that the object placement criteria are met (eg, by detecting the plane within the field of view of one or more cameras without the need for user input to detect the plane) Reduce the number of inputs. By reducing the number of inputs required to perform an operation, you can improve device operability, make the user device interface more efficient, and allow users to use the device more quickly and efficiently Reduce device power usage and improve battery life.
一部の実施形態では、デバイスは、１つ以上のカメラの視野内で取り込まれた物理的環境の第１の部分（例えば、物理的環境の第１の部分は、半透明の仮想オブジェクトを通じてユーザーに見える）にわたって、仮想オブジェクトの表現が、第１の１組の視覚特性及び第１の向きを伴って表示される間に（例えば、仮想オブジェクトが、デバイスの周囲の物理的環境のビューの上に半透明状態でサスペンドされている間に）１つ以上のカメラの第１の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１２）。例えば、図１１Ｇ〜１１Ｈにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の半透明表現が表示されている間、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。カメラの視野６０３６内に取り込まれ、ユーザーインターフェースに表示される物理的環境の壁及びテーブルは、半透明性の仮想オブジェクト１１００２を通して見える。１つ以上のカメラの第１の移動を検出することに応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第２の部分にわたって第１の１組の視覚特性及び第１の向きを伴って仮想オブジェクトの表現を表示し（１６０１４）、ただし、物理的環境の第２の部分は、物理的環境の第１の部分とは異なる。例えば、カメラの視野内に示される物理的環境の上で浮かんでいる仮想オブジェクトの半透明バージョンが表示されている間に、カメラの視野内の物理的環境のビューは、デバイスが物理的環境に対して移動するときに、（例えば、半透明性の仮想オブジェクトの背後で）シフト及びスケーリングする。したがって、デバイスの移動中、仮想オブジェクトの半透明バージョンは、カメラの視野内の物理的環境のビューの並進及びスケーリングの結果として、視野内で表される物理的環境の異なる部分の上に重ね合わされる。例えば、図１１Ｈにおいて、カメラの視野６０３６は、図１１Ｇに表示される物理的環境５００２の第１の部分とは異なるの物理的環境５００２の第２の部分を表示する。図１１Ｇ〜１１Ｈにおいて１つ以上のカメラの移動が生じるときに、仮想オブジェクト１１００２の半透明表現の向きは変化しない。１つ以上のカメラの移動の検出に応答して第１の向きで仮想オブジェクトを表示することにより、（例えば、１つ以上のカメラの視野内で取り込まれた物理的環境の一部が１つ以上のカメラの移動に応じて変化するときに、仮想オブジェクトは物理的環境に対して一定の位置にまだ配置されておらず、したがって移動しないことを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device may include a first portion of a physical environment captured within the field of view of one or more cameras (eg, the first portion of the physical environment may be transmitted to the user through a translucent virtual object. While the representation of the virtual object is displayed with a first set of visual characteristics and a first orientation (eg, the virtual object is above the view of the physical environment surrounding the device) The first movement of one or more cameras (eg, rotation and / or translation of the device relative to the physical environment around the device) is detected (16012). For example, in FIGS. 11G-11H, one or more cameras may be displayed while a translucent representation of
一部の実施形態では、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分（例えば、物理的環境の第３の部分（例えば、仮想オブジェクトを支持する検出されたプレーンの一部）の直接ビューは、仮想オブジェクトによって遮られる）にわたって、仮想オブジェクトの表現が第２の１組の視覚特性及び第２の向きを伴って表示される間に（例えば、オブジェクト配置基準が満たされ、仮想オブジェクトがカメラの視野内の物理的環境内で検出されるプレーン上に配置された後に）、１つ以上のカメラの第２の移動（例えば、デバイスの周囲の物理的環境に対するデバイスの回転及び／又は並進）を検出する（１６０１６）。例えば、図１１Ｉ〜１１Ｊにおいて、１つ以上のカメラは、仮想オブジェクト１１００２の非半透明表現が表示されている間に、（例えば、カメラの視野６０３６内のテーブル５００４の変化した位置によって示されるように）移動する。デバイスの第２の移動の検出に応答して、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境がデバイスの第２の移動に応じて移動する（例えば、シフトする及びスケーリングする）間、１つ以上のカメラの視野内に取り込まれる物理的環境の第３の部分にわたって第２の１組の視覚特性及び第２の向きを伴った仮想オブジェクトの表現の表示を維持し（１６０１８）、第２の向きは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応し続ける。例えば、仮想オブジェクトの非半透明性バージョンが、カメラの視野内で示される物理的環境内で検出されるプレーン上の静止位置でドロップされた後、仮想オブジェクトの位置及び向きは、カメラの視野内の物理的環境に対して固定され、仮想オブジェクトは、デバイスが物理的環境に対して移動するときにカメラの視野内の物理的環境と共にシフト及びスケーリングする（例えば、仮想オブジェクト１１００２の非半透明表現は、図１１Ｉ〜１１Ｊ中で１つ以上のカメラの移動が起こるときに、物理的環境５００２内の床面に対してある向きで固定されたままである）。１つ以上のカメラの移動の検出に応答して第２の向きで仮想オブジェクトの表示を維持することにより、（例えば、仮想オブジェクトは、物理的環境に対して一定の位置に配置され、したがって、１つ以上のカメラの移動に応じて、１つ以上のカメラの視野内に取り込まれる物理的環境の一部が変化するときに移動することを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きで配置された仮想オブジェクトについての適切な入力を提供するようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the device is configured to detect a third portion of the physical environment (eg, a third portion of the physical environment (eg, supporting a virtual object) that is captured within the field of view of one or more cameras. (A portion of a plane) is interrupted by the virtual object) while the representation of the virtual object is displayed with a second set of visual characteristics and a second orientation (eg, object placement A second movement of one or more cameras (eg, the physical environment around the device, eg, after the criteria have been met and the virtual object has been placed on a plane detected within the physical environment within the field of view of the camera) Detection of the rotation and / or translation of the device). For example, in FIGS. 11I-11J, one or more cameras may be displayed while the non-translucent representation of
一部の実施形態では、オブジェクト配置基準が満たされている（例えば、オブジェクト配置基準は、第１のユーザーインターフェース領域内の１つ以上のカメラの視野に対して仮想オブジェクトを配置する位置又はプレーンでデバイスが識別されていないときに満たされる）との判定に応じて、デバイスは、（例えば、下げられた半透明性レベル、又はより高い輝度レベル、又はより高い彩度レベル等で）第２の１組の視覚特性を有すると共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを有する仮想オブジェクトの表現を表示すると共に、（例えば、デバイスの１つ以上の触知出力発生器を用いて）触知出力を生成する（１６０２０）（例えば、触知出力の発生は、仮想オブジェクトの非半透明の外観への遷移の完了、並びに物理的環境内で検出されるプレーン上のドロップ位置に在る仮想オブジェクトの回転及び並進の完了と同期される）。例えば、図１１Ｉに示すように、仮想オブジェクト１１００２に対応するプレーン（例えば、床面５０３８）に付された仮想オブジェクト１１００２の非半透明表現を表示すると共に、１１０１０で示す触知出力が生成される。オブジェクト配置基準が満たされているとの判定に応じて、触知出力を生成することにより、（例えば、仮想オブジェクトを配置する動作がうまく実行されたことを示す）改善された触覚的フィードバックをユーザーに提供する。改善されたフィードバックをユーザーに提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなくオブジェクト配置基準が満たされたことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the object placement criteria are met (eg, the object placement criteria is a location or plane where the virtual object is placed relative to the field of view of one or more cameras in the first user interface area. In response to determining that the device is not identified), the device may receive a second (eg, at a reduced translucency level, or at a higher luminance level, or at a higher saturation level). Displaying a representation of a virtual object having a set of visual characteristics and having a second orientation corresponding to a plane in the physical environment that is detected within the field of view of one or more cameras; Generate tactile output (using one or more tactile output generators) (16020) (eg, generation of tactile output is a non-translucent Completion of the transition to the watch, and is synchronized with the completion of the rotation and translation of the virtual object in the drop position on the plane which is detected by the physical environment). For example, as shown in FIG. 11I, a non-translucent representation of the
一部の実施形態では、第２の１組の視覚特性を伴うと共に１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きを伴った仮想オブジェクトの表現を表示している間に、デバイスは、１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新を受信する（１６０２２）（例えば、更新されたプレーンの位置及び向きは、最初のプレーン検出結果を使用して仮想オブジェクトを配置した後に蓄積された追加データ、又はより時間がかかる計算方法（例えば、より少ない近似等）に基づくより正確な計算の結果である）。１つ以上のカメラの視野内で検出される物理的環境内のプレーンの少なくとも位置又は向きに関する更新の受信に応答して、デバイスは、更新に応じて仮想オブジェクトの表現の少なくとも位置及び／又は向きを調整する（例えば、更新されたプレーンにより近い仮想オブジェクトを徐々に移動（例えば、並進及び回転）させる）（１６０２４）。（例えば、プレーンに対して仮想オブジェクトを配置するユーザー入力を必要とせずに）物理的環境内のプレーンに関する更新の受信に応答して仮想オブジェクトの位置及び／又は向きを調整することにより、仮想オブジェクトの調整に必要な入力数を減少させる。動作を行うために必要な入力の数を減少させることにより、デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, a representation of a virtual object with a second orientation corresponding to a plane in a physical environment with a second set of visual characteristics and detected within the field of view of one or more cameras. , The device receives (16022) an update regarding at least the position or orientation of the plane in the physical environment that is detected within the field of view of the one or more cameras (eg, for the updated plane). The position and orientation is the result of a more accurate calculation based on additional data accumulated after placing the virtual object using the initial plane detection result, or a more time-consuming calculation method (eg, less approximation, etc.) is there). In response to receiving an update regarding at least the position or orientation of a plane in the physical environment that is detected within the field of view of the one or more cameras, the device responds to the update with at least the position and / or orientation of the representation of the virtual object. (Eg, gradually move (eg, translate and rotate) the virtual object closer to the updated plane) (16024). By adjusting the position and / or orientation of the virtual object in response to receiving an update for the plane in the physical environment (eg, without requiring user input to place the virtual object relative to the plane) Reduce the number of inputs required to adjust By reducing the number of inputs required to perform an operation, you can improve device operability, make the user device interface more efficient, and allow users to use the device more quickly and efficiently Reduce device power usage and improve battery life.
一部の実施形態では、第１の１組の視覚特性は、第１のサイズと、第１の半透明レベルとを含み（１６０２６）（例えば、ＡＲビューの中におろされてしまう前、オブジェクトは、ディスプレイに対する一定のサイズと、一定の高い半透明レベルとを有し）、第２の１組の視覚特性は、第１のサイズとは異なるの第２のサイズ（例えば、ＡＲビューにおろされると、オブジェクトは、物理的環境内のサイズ及びドロップ位置に関してシミュレートされた物理的サイズで表示される）と、第１の半透明レベル（例えば、オブジェクトは、ＡＲビューにおいてもはや半透明でない）よりも低い（例えばそれよりも不透明な）第２の半透明レベルとを含む（１６０２８）。例えば、図１１Ｈにおいて、仮想オブジェクト１１００２の半透明表現は第１のサイズで示され、図１１Ｉにおいて、仮想オブジェクト１１００４の非半透明表現は第２の（より小さい）サイズで示される。オブジェクト配置基準が満たされたか否かに応じて、第１のサイズ及び第１の半透明レベル、又は第２のサイズ及び第２の半透明レベルで、仮想オブジェクトを表示することにより、（例えば、仮想オブジェクトを表示する要求が受信されているが、１つ以上のカメラの視野内に仮想オブジェクトを配置するために追加の時間及び／又は較正情報が必要とされていることを示すために）ユーザーへの視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、適切な入力を提供し、プレーンに対応する第２の向きでオブジェクトを配置する前に仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the first set of visual characteristics includes a first size and a first translucency level (16026) (eg, before being dropped into an AR view) Have a fixed size for the display and a fixed high translucency level), and the second set of visual characteristics is a second size different from the first size (eg, down to AR view) Objects are displayed in simulated physical size with respect to size and drop position in the physical environment), and a first translucency level (eg, the object is no longer translucent in the AR view) And a second translucent level lower (eg, more opaque) (16028). For example, in FIG. 11H, the translucent representation of
一部の実施形態では、仮想オブジェクトが、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース（例えば、ステージングユーザーインターフェース）に表示されている間に（例えば、仮想オブジェクトは、デバイスの物理的環境から独立している向きを有する仮想ステージに対して向けられる）、１つ以上のカメラの視野のうちの少なくとも一部を含む第１のユーザーインターフェース領域（例えば、ＡＲビュー）に仮想オブジェクトを表示する要求が受信される（１６０３０）。第１の向きは、仮想オブジェクトの向きに対応し、一方、仮想オブジェクトは、要求が受信された時点でそれぞれのユーザーインターフェースに表示される。例えば、図１１Ｆに関して説明したように、（カメラの視野を含まない）ステージングユーザーインターフェース６０１０が表示されている間に、カメラの視野６０３６を含むユーザーインターフェースに仮想オブジェクト１１００２を表示する要求が受信される。図１１Ｇの仮想オブジェクト１１００２の向き（仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される）は、図１１Ｆの仮想オブジェクト１１００２の向きに対応する（仮想オブジェクト１１００２は、ステージングユーザーインターフェース６０１０に表示される）。（予め表示した）インターフェース（例えば、ステージングユーザーインターフェース）に表示されるような仮想オブジェクトの向きに対応する向きで、第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に仮想オブジェクトを表示することにより、（例えば、ステージングユーザーインターフェースが表示されている間に与えられたオブジェクト操作入力を使用して、ＡＲビュー内にオブジェクトの向きを確立することができることを示すために）ユーザーに視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーに提供することにより、（例えば、プレーンに対応する第２の向きでオブジェクトを配置する前に、適切な入力を提供し、仮想オブジェクトを操作する入力をしようするのを防ぐようにユーザーを支援することによって）デバイスの操作性を向上させ、ユーザーデバイスインターフェースをより効率的にし、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, while the virtual objects are displayed in their respective user interface (eg, a staging user interface) that does not include at least a portion of one or more camera views (eg, virtual objects) Is directed to a virtual stage having an orientation that is independent of the physical environment of the device), a first user interface area (eg, AR view) including at least a portion of one or more camera views A request to display the virtual object at) is received (16030). The first orientation corresponds to the orientation of the virtual object, while the virtual object is displayed on the respective user interface when the request is received. For example, as described with respect to FIG. 11F, while the staging user interface 6010 (not including the camera field of view) is displayed, a request to display the
一部の実施形態では、第１の向きは、所定の向き（例えば、１つ以上のカメラの視野のうちの少なくとも一部を含まないそれぞれのユーザーインターフェース内に最初に仮想オブジェクトを表示するときに仮想オブジェクトが表示される向きなどのデフォルトの向き）に対応する（１６０３２）。第１のユーザーインターフェース（例えば、表示される拡張現実ビュー）に第１の１組の視覚特性及び所定の向きを伴って仮想オブジェクトを表示することで（例えば、ステージングユーザーインターフェースに確立される向きに応じて半透明表現をレンダリングするのではなく、予め生成された仮想オブジェクトの半透明表現を表示することを可能にすることによって）、デバイスの電力使用量を削減し、電池寿命を改善する。 In some embodiments, the first orientation is a predetermined orientation (eg, when initially displaying a virtual object in a respective user interface that does not include at least a portion of the field of view of one or more cameras). The default orientation, such as the orientation in which the virtual object is displayed, corresponds (16032). By displaying a virtual object with a first set of visual characteristics and a predetermined orientation on a first user interface (eg, a displayed augmented reality view) (eg, in an orientation established in a staging user interface) By reducing the power usage of the device and improving the battery life, by rendering a semi-transparent representation of the virtual object generated in advance, rather than rendering the translucent representation accordingly.
一部の実施形態では、第１のユーザーインターフェース領域（例えば、ＡＲビュー）に第２の１組の視覚特性と１つ以上のカメラの視野内で検出される物理的環境内のプレーンに対応する第２の向きとを伴って仮想オブジェクトを表示する間に、デバイスは、１つ以上のカメラの視野内に取り込まれる物理的環境に対して第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ（例えば、デフォルトサイズの８０％からデフォルトサイズの１２０％へ、又はその逆へ）（例えば、スケーリング入力（例えば、仮想オブジェクトに向けられるピンチ又はデピンチジェスチャ）の結果として）仮想オブジェクトのシミュレートされた物理的サイズを変更する要求を検出する（１６０３４）。例えば、仮想オブジェクト１１００２のシミュレートされた物理的サイズを減少させる入力は、図１１Ｎ〜１１Ｐに関して説明したようなピンチジェスチャである。仮想オブジェクトのシミュレートされた物理的サイズを変更する要求の検出に応答して、デバイスは、第１のシミュレートされた物理的サイズから第２のシミュレートされた物理的サイズへ仮想オブジェクトのシミュレートされた物理的サイズの徐々の変化に応じて、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを徐々に変化させ（１６０３６）（例えば、１つ以上のカメラの視野内で取り込まれる物理的環境の表示サイズが変わらないままである一方で、仮想オブジェクトの表示サイズは拡大又は縮小し）、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズが徐々に変化している間、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズ（例えば、デフォルトサイズの１００％）に達したとの判定に応じて、デバイスは、仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したことを示すための触知出力を生成する。例えば、図１１Ｎ〜１１Ｐに関して説明したように、ピンチジェスチャ入力に応答して、仮想オブジェクト１１００２の表現の表示サイズが徐々に減少する。図１１Ｏにおいて、仮想オブジェクト１１００２の表現の表示サイズが、仮想オブジェクト１１００２のサイズ（例えば、図１１Ｉに示すように、１つ以上のカメラの視野６０３６を含むユーザーインターフェースに当初表示されたような仮想オブジェクト１１００２のサイズ）の１００％に達したときに、１１０２４で示すように触知出力が生成される。仮想オブジェクトのシミュレートされた物理的サイズが所定のシミュレートされた物理的サイズに達したとの判定に応じて触知出力を生成することにより、（例えば、仮想オブジェクトのシミュレートされたサイズを所定サイズに戻す更なる入力が必要とされないことを示すために）ユーザーにフィードバックを提供する。改善された触覚的フィードバックを提供することにより、（例えば、ユーザーインターフェースを表示情報で乱すことなく仮想オブジェクトの所定のシミュレートされた物理的サイズに達したことをユーザーが知覚することを可能にする感覚情報を提供することによって）デバイスの操作性を向上させ、更に、ユーザーがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、電池寿命を改善する。
In some embodiments, the first user interface region (eg, AR view) corresponds to a second set of visual characteristics and a plane in the physical environment that is detected within the field of view of one or more cameras. While displaying the virtual object with the second orientation, the device can move from the first simulated physical size to the second for a physical environment captured within the field of view of the one or more cameras. The result of scaling input (eg, a pinch or de-pinch gesture directed to a virtual object) to the simulated physical size (eg, 80% of the default size to 120% of the default size or vice versa) As request) to change the simulated physical size of the virtual object (16034). For example, the input to reduce the simulated physical size of the
いくつかの実施形態では、所定の擬似的な物理サイズとは異なるの仮想オブジェクトの第２の擬似的な物理サイズ（例えば、スケーリング入力（例えば、仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャ）の結果として、デフォルトサイズの１２０％、又は、デフォルトサイズの８０％）において、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示している間、デバイスは、仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出する（例えば、（仮想オブジェクト、又は、仮想オブジェクトの外部の）タッチスクリーン上におけるタップ又は二重タップ入力を検出する）（１６０３８）。例えば、（図１１Ｎ〜図１１Ｐに関して説明されるように、）ピンチ入力が、仮想オブジェクト１１００２を小型化した後、（図１１Ｒに関して説明されるように、）仮想オブジェクト１１００２に対応する場所において、二重タップ入力が検出される。仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、デバイスは、仮想オブジェクトの擬似的な物理サイズの変化にしたがって、第１のユーザーインターフェース領域内の仮想オブジェクトの表現の表示サイズを、所定の擬似的な物理サイズへ変更する（例えば、表示された仮想オブジェクトのサイズが拡大又は縮小する一方、１つ以上のカメラの視野においてキャプチャされた物理的環境の表示サイズは変わらないままである）（１６０４０）。例えば、図１１Ｒに関して説明される二重タップ入力に応じて、仮想オブジェクト１１００２のサイズは、図１１Ｉに表示されるような仮想オブジェクト１１００２のサイズ（１つ以上のカメラの視野６０３６を含むユーザーインターフェースに元々表示されていたような仮想オブジェクト１１００２のサイズ）へ戻る。いくつかの実施形態では、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズ（例えば、デフォルトサイズの１００％）に達したとの判定にしたがって、デバイスは、仮想オブジェクトの擬似的な物理サイズが、所定の擬似的な物理サイズに達したことを示す触知出力を生成する。（例えば、表示サイズを調節するために提供された入力が、仮想オブジェクトを、所定の擬似的な物理サイズにおいて表示するために十分である場合を推定するようにユーザーへ要求するのではなく、表示サイズを、所定の擬似的な物理サイズへ正確に調節するオプションを提供することによって、）仮想オブジェクトを所定の擬似的な物理サイズへ戻す要求を検出することに応じて、仮想オブジェクトの表示サイズを、所定のサイズへ変更することは、オブジェクトを表示するために必要とされる入力数を、所定のサイズへ低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、さらに、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, a second pseudo physical size of a virtual object that is different from a predetermined pseudo physical size (eg, a scaling input (eg, a pinch or depinch gesture directed to the virtual object) As a result, while displaying the virtual object in the first user interface area (eg, AR view) at 120% of the default size or 80% of the default size), the device A request to return to a pseudo physical size is detected (eg, detecting a tap or double tap input on a touch screen (virtual object or outside of virtual object)) (16038). For example, after a pinch input has reduced the size of the virtual object 11002 (as described with respect to FIGS. 11N-11P), at a location corresponding to the virtual object 11002 (as described with respect to FIG. A double tap input is detected. In response to detecting a request to return the virtual object to a predetermined pseudo-physical size, the device follows a change in the pseudo-physical size of the virtual object and the representation of the virtual object in the first user interface area Change the display size to a predetermined pseudo-physical size (eg, the size of the displayed virtual object is enlarged or reduced, while the display size of the physical environment captured in the field of view of one or more cameras is changed) Remain absent) (16040). For example, in response to a double tap input as described with respect to FIG. 11R, the size of the
いくつかの実施形態では、デバイスは、物理的環境に対する１つ以上のカメラのそれぞれの位置及び向き（例えば、オブジェクト配置基準が満たされる時における現在の位置及び向き）にしたがって、第２の１組の視覚特性を用いて第２の仮想オブジェクトの表現の方位を設定するためのプレーンを選択し、プレーンを選択することは、（例えば、デバイスが、物理的環境における第１の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第１の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第１の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第１のプレーンとの間のより大きな接近と、第１のプレーンと、物理ワールドにおける物理的環境の第１の部分との間のより大きな接近にしたがって）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第１のプレーンを、第２の１組の視覚特性を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することと、（例えば、デバイスが、物理的環境における第２の方向を示す結果として）１つ以上のカメラの視野においてキャプチャされた物理的環境の第２の部分の上方に仮想オブジェクトの表現が表示された（例えば、半透明のオブジェクトのベースが、物理的環境の第２の部分におけるプレーンとオーバラップしている）場合に、オブジェクト配置基準が満たされているとの判定にしたがって、（例えば、オブジェクトのベースと、ディスプレイ上の第２のプレーンとの間のより大きな接近、及び、第２のプレーンと、物理ワールドにおける物理的環境の第２の部分との間のより大きな接近にしたがって、）１つ以上のカメラの視野における物理的環境において検出された多数のプレーンのうちの第２のプレーンを、視覚特性の第２の１組を用いて仮想オブジェクトの第２の表現の向きを設定するためのプレーンとして選択することとを含み、物理的環境の第１の部分は、物理的境の第２の部分とは異なり、第１のプレーンは、第２のプレーンとは異なる（１６０４２）。（例えば、検出された多くのプレーンのうちのどれが、仮想オブジェクトが設定されたプレーンであるかを指定するユーザー入力を必要とすることなく、）仮想オブジェクトが設定されるプレーンとして、第１のプレーン又は第２のプレーンを選択することは、プレーンを選択するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device sets the second set according to the position and orientation of each of the one or more cameras relative to the physical environment (eg, current position and orientation when object placement criteria are met). Selecting a plane for orienting the representation of the second virtual object using the visual properties of the and selecting the plane (eg as a result of the device indicating a first direction in the physical environment A representation of the virtual object is displayed above the first part of the physical environment captured in the field of view of one or more cameras (e.g. the base of the translucent object is the first part of the physical environment) According to the determination that the object placement criteria are met (if overlapping with a plane in (According to the larger approach between the base of the target and the first plane on the display, the larger approach between the first plane and the first part of the physical environment in the physical world) For orienting a second representation of a virtual object using a second set of visual characteristics and a first one of a plurality of detected planes in the physical environment in the field of view of the camera Selecting as a plane and a virtual object above the second portion of the physical environment captured in the field of view of one or more cameras (eg, as a result of the device indicating a second direction in the physical environment) If a representation of is displayed (for example, the base of the translucent object overlaps the plane in the second part of the physical environment), According to the determination that the object placement criteria are met (eg, greater access between the base of the object and the second plane on the display, and the second plane and physical in the physical world A second plane of the plurality of planes detected in the physical environment in the field of view of the one or more cameras), according to the greater proximity between the second part of the environment, and the second of the visual characteristics Selecting a plane as a plane for setting the orientation of the second representation of the virtual object using a set, wherein the first part of the physical environment is different from the second part of the physical boundary; The first plane is different from the second plane (16042). As the plane on which the virtual object is configured (for example, without requiring user input which specifies which of the many planes detected are the virtual object being configured) Selecting a plane or a second plane reduces the number of inputs required to select a plane. Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、第２の１組の視覚特性と第２の向きを用いて、第１のユーザーインターフェース領域（例えば、ＡＲビュー）内に仮想オブジェクトを表示することと同時に、スナップショットアフォーダンス（例えば、カメラシャッターボタン）を表示する（１６０４４）。スナップショットアフォーダンスの活性化に応じて、デバイスは、１つ以上のカメラの視野における物理的環境における配置場所において、第２の１組の視覚特性と、１つ以上のカメラのビューの視野内で検出された物理的環境におけるプレーンに対応する第２の向きとを用いて、仮想オブジェクトの表現の現在のビューを含むスナップショット画像をキャプチャする（１６０４６）。現在のオブジェクトのビューのスナップショット画像をキャプチャするためスナップショットアフォーダンスを表示することは、オブジェクトのスナップショット画像をキャプチャするために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device uses the second set of visual characteristics and the second orientation to simultaneously display a virtual object in a first user interface area (eg, an AR view), A snapshot affordance (eg, a camera shutter button) is displayed (16044). In response to the activation of the snapshot affordance, the device is within the field of view of the second set of visual characteristics and the view of one or more cameras at a location in the physical environment at the field of view of the one or more cameras. A snapshot image including a current view of the representation of the virtual object is captured using a second orientation corresponding to the plane in the detected physical environment (16046). Displaying a snapshot affordance to capture a snapshot image of the current object's view reduces the number of inputs required to capture the object's snapshot image. Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域内に、第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンス（例えば、ステージングユーザーインターフェースへスイッチバックするためのアフォーダンス、ＡＲビューワから出るためのアフォーダンス、スナップショットをキャプチャするためのアフォーダンス等）を表示する（１６０４８）。例えば、図１１Ｊでは、バック制御６０１６、トグル制御６０１８、及びシェア制御６０２０を含む制御のセットが表示される。第２の１組の視覚特性を有する仮想オブジェクトの表現とともに、１つ以上の制御アフォーダンスを表示している間、デバイスは、制御フェイディング基準が満たされている（例えば、閾値時間の間、（例えば、デバイスの移動及びカメラの視野に対する更新とともに、又は、デバイスの移動及びカメラの視野に対する更新なく）タッチ感知面においてユーザー入力が検出されなかった）ことを検出する（１６０５０）。制御フェージング基準が満たされていることを検出することに応じて、デバイスは、１つ以上のカメラの視野を含む第１のユーザーインターフェース領域内に、第２の１組の視角特性を有する仮想オブジェクトの表現の表示を継続している間、１つ以上の制御アフォーダンスを表示することを停止する（１６０５２）。例えば、図１１Ｋ〜図１１Ｌに関して説明されるように、閾値時間の間、ユーザー入力が検出されない場合、制御６０１６、６０１８、６０２０は、徐々に、フェードアウトし、表示されないようになる。いくつかの実施形態において、制御アフォーダンスがフェードアウェイされた後、タッチ感知面におけるタップ入力、又は、仮想オブジェクトとの相互作用が、デバイスに対して、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現と同時に、制御アフォーダンスを再表示させる。制御フェージング基準が満たされているとの判定に応じて、制御の表示を自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device may switch back to one or more control affordances (e.g., to a staging user interface) in a first user interface area, along with a representation of a virtual object having a second set of visual characteristics. The affordance, the affordance for getting out of the AR viewer, the affordance for capturing a snapshot, etc. are displayed (16048). For example, in FIG. 11J, a set of controls including a
いくつかの実施形態では、第１のユーザーインターフェース領域内に仮想オブジェクトを表示するための要求に応じて、第１のユーザーインターフェース領域に含まれている１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示する前に、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、異なる視野角度からの十分な量の画像が存在しないので、）較正基準が満たされていないとの判定にしたがって、デバイスは、物理的環境に対してデバイスを移動させるための、ユーザーのためのプロンプトを表示する（例えば、方法１７０００を参照して以下により詳細に説明されるように、（例えば、較正ユーザーインターフェースオブジェクトが１つ以上のカメラの視野の、ぶれた画像にオーバレイされる）第１のユーザーインターフェース領域内に、デバイスを移動させるための視覚的なプロンプトを表示し、オプションとして、較正ユーザーインターフェースオブジェクト（例えば、デバイスの移動にしたがって移動する弾力性ワイヤフレームボール又は立方体）を表示する）（１６０５４）。物理的環境に対してデバイスをユーザーが移動させるためのプロンプトを表示することは、（例えば、カメラの視野に仮想オブジェクトを配置するための情報を取得するために、デバイスの移動が必要とされることを示すために、）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する）。
In some embodiments, in response to a request to display a virtual object in the first user interface area, at least a portion of a field of view of one or more cameras included in the first user interface area. Above, prior to displaying a representation of the virtual object (e.g. sufficient to generate dimensional and spatial relationship data for the physical environment captured in the field of view of one or more cameras, from different viewing angles The device displays a prompt for the user to move the device relative to the physical environment (eg, (See, for example, a calibration user interface object, as described in more detail below with reference to
図１６Ａ〜図１６Ｇにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、これら動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１６Ａ〜図１６Ｇに関して上述された方法１６０００に類似の方式でも適用可能であることが注目されるべきである。例えば、方法１６０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is understood that the specific order in which the operations in FIGS. 16A-16G are described is merely an example, and that the described order is not intended to indicate that these are the only orders that can be performed. It should be. One of ordinary skill in the art would recognize various approaches to reordering the operations described herein. In addition, the details of other processes described herein with respect to the other methods described herein (eg,
図１７Ａ〜図１７Ｄは、デバイスの１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクトを表示する方法１７０００を例示するフロー図である。方法１７０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）、及び、１つ以上のカメラを含むデバイスの姿勢における変化（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）を検出するための１つ以上の姿勢センサ（例えば、加速度計、ジャイロスコープ、及び／又は、磁力計）、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１７０００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
17A-17D are a flow diagram illustrating a
デバイスは、１つ以上のカメラの視野（例えば、視野は、物理的環境の少なくとも一部をキャプチャする）の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求を受信する（１７００２）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの、拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。例えば、この要求は、図１２Ａに関して説明されるように、１つ以上のカメラの視野６０３６に、仮想オブジェクト１１００２を表示するために、トグル６０１８において検出されたタップ入力である。
The device may include a physical environment (eg, one or more physical areas) within a first user interface area that includes a representation of one or more camera views (eg, the field of view captures at least a portion of the physical environment). A request is received to display an augmented reality view of the physical environment around the device including the camera (17002). In some embodiments, the request is a tap input detected on a button to switch from the staging view of the virtual object to the augmented reality view of the virtual object. In some embodiments, the request is a selection of augmented reality affordances that are displayed in the two-dimensional user interface next to the representation of the virtual object. In some embodiments, the request is activation of an augmented reality measurement application (eg, a measurement app that facilitates measurement of the physical environment). For example, this request is a tap input detected at
物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示する（例えば、デバイスは、較正基準が満たされていない場合、１つ以上のカメラの視野に、物理的環境のぶれたバージョンを表示する）（１７００４）。例えば、デバイスは、図１２Ｅ−１に図示されるように、１つ以上のカメラの視野６０３６のぶれた表現を表示する。（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために、（例えば、異なる視野角度からの）十分な量の画像データが存在しないので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されないので、及び／又は、カメラから利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在しないので、）物理的環境の拡張現実ビューのための較正基準が満たされていないとの判定にしたがって、デバイスは、（例えば、表示生成コンポーネントによって、及び、（例えば、視野のぶれたバージョンのような）１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に）物理的環境における１つ以上のカメラの移動にしたがって動的にアニメーション化される較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する。例えば、図１２Ｅ−１ないし図１２Ｉ−１において、較正ユーザーインターフェースオブジェクト１２０１４が表示される。１つ以上のカメラの移動に従う較正ユーザーインターフェースオブジェクトのアニメーションは、例えば、図１２Ｅ−１ないし図１２Ｆ−１に関して説明される。いくつかの実施形態では、１つ以上のカメラの視野において、１つ以上のプレーン（例えば、床、壁、テーブル等）を検出するために、１つ以上のカメラの視野を分析することは、拡張現実ビューの表現を表示するための要求に対応する入力の初期部分が受信された場合に生じる。いくつかの実施形態では、分析することは、この要求を受信する前（例えば、仮想オブジェクトがステージングビューに表示されている間）に生じる。較正ユーザーインターフェースオブジェクトを表示することは、較正ユーザーインターフェースオブジェクトを表示している間、１つ以上の姿勢センサによって、物理的環境における１つ以上のカメラの姿勢（例えば、場所及び／又は向き（例えば、回転、傾斜、ヨー角））における変化を検出することと、物理的環境における１つ以上のカメラの姿勢における変化を検出することに応じて、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の少なくとも１つの表示パラメータ（例えば、ディスプレイにおける向き、サイズ、回転、又は場所）を調節することと、を含む。例えば、図１２Ｅ−２ないし図１２Ｆ−２にそれぞれ対応する図１２Ｅ−１ないし図１２Ｆ−１は、物理的環境５００２に対するデバイス１００の横移動と、デバイスの１つ以上のカメラの、表示された視野６０３６における対応する変化とを例示する。図１２Ｅ−２ないし図１２Ｆ−２では、較正ユーザーインターフェースオブジェクト１２０１４は、１つ以上のカメラの移動に応じて回転する。
In response to receiving a request to display an augmented reality view of the physical environment, the device displays a representation of the field of view of one or more cameras (e.g., the device does not meet the calibration criteria) Display a blurred version of the physical environment, in the field of view of one or more cameras) (17004). For example, the device displays a blurred representation of the field of
物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、ディスプレイ上を移動する較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示している間、デバイスは、較正基準が満たされていないことを検出する（１７００６）。例えば、図１２Ｅ〜図１２Ｊに関して説明されるように、デバイスは、図１２Ｅ−１ないし図１２Ｉ−１から生じるデバイスの移動に応じて、較正基準が満たされていることを判定する。 Displays a calibration user interface object (eg, a scan prompt object such as a resilient cube or wireframe object) that moves on the display according to detected changes in the posture of one or more cameras in the physical environment While operating, the device detects that the calibration standard is not met (17006). For example, as described with respect to FIGS. 12E-12J, the device determines that the calibration criteria are met in response to movement of the device resulting from FIGS. 12E-1 through 12I-1.
較正基準が満たされていることを検出することに応じて、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を停止する（１７００８）。いくつかの実施形態では、デバイスが、較正ユーザーインターフェースオブジェクトの表示を停止した後、デバイスは、カメラの視野の表現を、ぶれなく表示する。いくつかの実施形態では、仮想オブジェクトの表現は、カメラの視野のぶれのない表現の上方に表示される。例えば、図１２Ｊにおいて、図１２Ｅ−１ないし図１２Ｉ−１に関して説明されるデバイスの移動に応じて、較正ユーザーインターフェースオブジェクト１２０１４は、もはや表示されず、仮想オブジェクト１１００２が、カメラの視野の、ぶれのない表現６０３６にわたって表示される。１つ以上のカメラ（例えば、デバイスの物理的環境をキャプチャするデバイスカメラ）の移動にしたがって較正ユーザーインターフェースオブジェクトの表示パラメータを調節することは、（例えば、較正のためにデバイスの移動が必要とされていることを示すために）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In response to detecting that the calibration criteria have been met, the device stops displaying the calibration user interface object (eg, a scan prompt object such as a resilient cube or wireframe object) (17008) . In some embodiments, after the device has stopped displaying the calibration user interface object, the device displays a representation of the camera's field of view without blurring. In some embodiments, the representation of the virtual object is displayed above the blur-free representation of the camera's field of view. For example, in FIG. 12J, in response to the movement of the devices described with respect to FIGS. 12E-1 to 12I-1, the calibration
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、物理的環境の拡張現実ビューにおける仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現を表示するための要求を含む（１７０１０）。いくつかの実施形態では、この要求は、仮想オブジェクトのステージングビューから、仮想オブジェクトの拡張現実ビューへ切り換えるためのボタンにおいて検出されたタップ入力である。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される拡張現実アフォーダンスの選択である。例えば、図１２Ａでは、トグル制御６０１８に対応する場所における接触１２００２による入力は、図１２Ｂに図示されるように、カメラの視野６０３６を含むユーザーインターフェース内に、仮想オブジェクト１１００２を表示するための要求である。拡張現実ビューにおいて仮想オブジェクトを表示するための要求に応じて、物理的環境の拡張現実ビューを表示することは、（例えば、物理的環境と仮想オブジェクトとの両方のビューを表示するために）必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、（例えば、ユーザーが較正入力を提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, an extension of the physical environment (e.g., the physical environment around a device including one or more cameras) within a first user interface area that includes a representation of a field of view of one or more cameras The request to display a real view includes a request to display a representation of a virtual three-dimensional object (eg, a virtual object having a three-dimensional model) in an augmented reality view of a physical environment (17010). In some embodiments, the request is a tap input detected at a button for switching to a virtual object augmented reality view from a staging view of the virtual object. In some embodiments, the request is a selection of augmented reality affordances to be displayed next to a representation of a virtual object in a two-dimensional user interface. For example, in FIG. 12A, the input by
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトの表示を停止した後、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされた後に）表示する（１７０１２）。いくつかの実施形態では、この要求に応じて、較正が完了し、カメラの視野が十分鮮明に表示された後、仮想オブジェクトは、１つ以上のカメラの視野内で識別された所定のプレーン（例えば、仮想オブジェクトの三次元表現のためのサポートプレーンとして役立ち得る垂直壁又は水平床面のような物理的なプレーン）に対して所定の位置及び／又は向きへドロップする。例えば、図１２Ｊにおいて、デバイスは、図１２Ｅ〜図１２Ｉに表示された較正ユーザーインターフェースオブジェクト１２０１４を表示することを停止し、仮想オブジェクト１１００２は、カメラの視野６０３６を含むユーザーインターフェース内に表示される。較正ユーザーインターフェースオブジェクトの表示の停止後、表示された拡張現実ビューで仮想オブジェクトを表示することは、（例えば、較正基準が満たされていることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することと、較正基準が満たされる前に仮想オブジェクトを操作するための入力の提供を試みることを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, after stopping displaying the calibration user interface object, the device displays a representation of the virtual three-dimensional object (e.g., in a first user interface area that includes a representation of one or more camera views) (e.g. , After the calibration standard is satisfied) (17012). In some embodiments, in response to this request, after calibration is complete and the camera's field of view is displayed sufficiently vividly, the virtual object may be identified within a predetermined plane of view of one or more cameras ( For example, drop to a predetermined position and / or orientation relative to a physical plane (such as a vertical wall or a horizontal floor) that can serve as a support plane for a three-dimensional representation of a virtual object. For example, in FIG. 12J, the device stops displaying the calibration
いくつかの実施形態では、デバイスは、較正ユーザーインターフェースオブジェクトと同時に（例えば、較正ユーザーインターフェースオブジェクトの後方に）、第１のユーザーインターフェース領域内に、仮想三次元オブジェクトの表現を（例えば、較正基準が満たされる前に）表示し、仮想三次元オブジェクトの表現は、物理的環境における１つ以上のカメラの移動中（例えば、較正ユーザーインターフェースオブジェクトが、１つ以上のカメラの移動にしたがって、第１のユーザーインターフェース領域内で移動されている間）、第１のユーザーインターフェース領域内の固定位置にとどまる（例えば、仮想三次元オブジェクトは、物理的環境における場所に配置されない）（１７０１４）。例えば、図１２Ｅ−１ないし図１２Ｉ−１において、仮想オブジェクト１１００２の表現は、較正ユーザーインターフェースオブジェクト１２０１４と同時に表示される。（例えば、図１２Ｅ−１ないし図１２Ｆ−１及び対応する図１２Ｅ−２ないし図１２Ｆ−２に例示されるように）１つ以上のカメラを含むデバイス１００が移動すると、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース内の固定場所にとどまる。仮想オブジェクトを較正ユーザーインターフェースオブジェクトと同時に表示することは、（例えば、較正が実行されているオブジェクトを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトが配置されるプレーンに対応する較正入力を、ユーザーが提供することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device simultaneously (e.g., behind the calibration user interface object) with the calibration user interface object, in the first user interface area, represents a representation of a virtual three-dimensional object (e.g. The display of the virtual three-dimensional object is displayed during the movement of the one or more cameras in the physical environment (e.g., the calibration user interface object follows the movement of the one or more cameras). While moving in the user interface area, stay in a fixed position in the first user interface area (e.g. virtual three-dimensional objects are not placed at locations in the physical environment) (17014). For example, in FIGS. 12E-1 through 12I-1, a representation of
いくつかの実施形態では、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内に、物理的環境（例えば、１つ以上のカメラを含むデバイスの周囲の物理的環境）の拡張現実ビューを表示するための要求は、１つ以上のカメラの視野にキャプチャされた物理的環境におけるいずれの仮想三次元オブジェクト（例えば、三次元モデルを有する仮想オブジェクト）の表現の表示も要求することなく、（例えば、１つ以上のユーザーインターフェースオブジェクト、及び／又は、制御（例えば、プレーン、オブジェクト、ポインタ、アイコン、マーカ等の輪郭）を用いて、）１つ以上のカメラの視野の表現を表示するための要求を含む（１７０１６）。いくつかの実施形態では、この要求は、二次元ユーザーインターフェース内に、仮想オブジェクトの表現の隣に表示される、拡張現実アフォーダンスの選択である。いくつかの実施形態では、この要求は、拡張現実ビュー測定アプリケーション（例えば、物理的環境の測定を容易にする測定アプリ）の活性化である。いずれの仮想三次元オブジェクトの表現の表示も要求することなく、１つ以上のカメラの視野の表現を表示するための要求は、（例えば、仮想オブジェクトが表示されるか否かに関わらず、較正が必要とされることを示すために、同じ較正ユーザーインターフェースオブジェクトを使用することによって）フィードバックを提供する。改善されたフィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, an extension of the physical environment (e.g., the physical environment around a device including one or more cameras) within a first user interface area that includes a representation of a field of view of one or more cameras The request to display the real view may also require the display of a representation of any virtual three-dimensional object (eg, a virtual object having a three-dimensional model) in the physical environment captured in the field of view of one or more cameras Display a representation of the field of view of one or more cameras (for example using one or more user interface objects and / or controls (eg outlines of planes, objects, pointers, icons, markers etc)) (17016). In some embodiments, the request is a selection of augmented reality affordances that are displayed in the two-dimensional user interface next to the representation of the virtual object. In some embodiments, the request is activation of an augmented reality view measurement application (eg, a measurement application that facilitates measurement of the physical environment). A request to display a representation of the field of view of one or more cameras without requiring the display of any representation of a virtual three-dimensional object (e.g. calibration regardless of whether the virtual object is displayed or not Provide feedback) by using the same calibration user interface object to indicate that is required. Providing improved feedback to the user enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、デバイスは、１つ以上のカメラの視野の表現を表示し（例えば、較正基準が満たされない場合、１つ以上のカメラの視野における物理的環境のぶれたバージョンを表示し）、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境のための寸法及び空間関係データを生成するために（例えば、異なる視野角度からの）十分な量の画像データが存在するので、仮想オブジェクトに対応するプレーンが、１つ以上のカメラの視野内で検出されたので、及び／又は、カメラからの利用可能な画像データに基づいて、プレーン検出を開始又はプレーン検出とともに進めるための十分な情報が存在するので、）物理的環境の拡張現実ビューのために較正基準が満たされているとの判定にしたがって、デバイスは、較正ユーザーインターフェースオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）の表示を控える（１７０１８）。いくつかの実施形態では、仮想三次元オブジェクトが、ステージングユーザーインターフェース内に表示されている間に、プレーンに関する物理的環境のスキャンが始まる。これによって、デバイスは、（例えば、物理的空間における１つ以上のプレーンを検出するために十分なデータを提供するために、カメラの視野が十分移動した）いくつかの状況において、拡張現実ビューを表示する前に、物理的空間における１つ以上のプレーンを検出することが可能となり、これによって、較正ユーザーインターフェースは、表示される必要がなくなる。物理的環境の拡張現実ビューのために、較正基準が満たされているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの表示を控えることは、視覚的フィードバックをユーザーへ提供する（例えば、較正ユーザーインターフェースオブジェクトの不在は、較正基準が満たされており、較正のためにデバイスの移動は必要とされないことを示す）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正の目的のために、ユーザーがデバイスの不要な移動を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, in response to receiving a request to display an augmented reality view of the physical environment, the device displays a representation of the field of view of one or more cameras (e.g., calibration criteria meet If not, display blurred versions of the physical environment in the field of view of one or more cameras (eg, generate dimensional and spatial relationship data for the physical environment captured in the field of view of one or more cameras) There is a sufficient amount of image data (eg, from different viewing angles) to allow the plane corresponding to the virtual object to be detected within the field of view of one or more cameras, and / or the camera Extension of the physical environment, based on the image data available from the source, since there is sufficient information to start or proceed with the plane detection. The device refrains from displaying the calibration user interface object (eg, a scan prompt object such as a resilient cube or wireframe object) upon determining that the calibration criteria have been met for the view (17018) . In some embodiments, while the virtual three-dimensional object is displayed in the staging user interface, a scan of the physical environment for the plane begins. This causes the device to view the augmented reality view in some situations (e.g., the field of view of the camera has moved sufficiently to provide enough data to detect one or more planes in physical space). Before displaying, it is possible to detect one or more planes in physical space, so that the calibration user interface does not need to be displayed. For the augmented reality view of the physical environment, withholding the display of the calibration user interface object according to the determination that the calibration criteria have been met provides visual feedback to the user (eg, the calibration user interface object Indicates that the calibration criteria have been met and no movement of the device is required for calibration). Providing improved visual feedback to the user (e.g., by assisting the user to avoid unnecessary movement of the device for calibration purposes) enhances the operability of the device and allows the user to Make device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトの隣の）拡張現実ビューの較正を改善するために、ユーザーによって講じられ得る動作に関する情報を提供する較正ユーザーインターフェースオブジェクトと同時に、第１のユーザーインターフェース領域内に、テキストオブジェクト（例えば、現在検出されているエラー状態を記述しているテキスト記述、及び／又は、（例えば、検出されたエラー状態を修正するために）ユーザー動作を要求するテキストプロンプト）を（例えば、較正基準が満たされる前に）表示する（１７０２０）。いくつかの実施形態では、テキストオブジェクトは、「移動しすぎ」、「下に細かく」、「もっと近くに移動して下さい」等のような、デバイスの移動のためのプロンプトを（現在、検出されているエラー状態とともに）ユーザーへ提供する。いくつかの実施形態では、デバイスは、較正処理中のユーザーの動作と、ユーザーの動作に基づいて検出された新たなエラー状態とにしたがって、テキストオブジェクトを更新する。較正ユーザーインターフェースオブジェクトと同時にテキストを表示することは、（例えば、較正のために必要とされる移動のタイプを示す文字指示を提供する）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合、ユーザー誤りを低減する）。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device simultaneously with a calibration user interface object that provides information about actions that can be taken by the user to improve calibration of an augmented reality view (e.g., next to the calibration user interface object), In the first user interface area, a text object (eg, a text description describing an error condition currently being detected, and / or a user action (eg, to correct a detected error condition) Display the requesting text prompt (eg, before the calibration criteria are met) (17020). In some embodiments, a text object may be detected as a prompt for moving the device (currently, "move too", "fine down", "move closer", etc. Provide to the user) In some embodiments, the device updates the text object in accordance with the user's activity during the calibration process and a new error condition detected based on the user's activity. Displaying the text simultaneously with the calibration user interface object provides visual feedback to the user (eg, providing textual instructions indicating the type of movement required for calibration). Providing improved visual feedback to the user enhances the operability of the device and makes the user device interface more efficient (e.g. helping the user provide appropriate input, the device and operation / Reduce user error when interacting). This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、較正基準が満たされていること（例えば、較正ユーザーインターフェースオブジェクトが表示される前に満たされている基準、又は、較正ユーザーインターフェースオブジェクトが表示され、ある期間、アニメーション化された後に満たされた基準）を検出することに応じて、デバイスは、（例えば、較正ユーザーインターフェースオブジェクトが最初に表示されたのであれば、較正ユーザーインターフェースオブジェクトの表示を停止した後に、）１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンの視覚的な指示を表示する（例えば、検出されたプレーンの周囲の輪郭を表示する、又は、検出されたプレーンを強調する）（１７０２２）。例えば、図１２Ｊでは、１つ以上のカメラの表示された視野６０３６においてキャプチャされると、物理的環境５００２においてプレーンが検出されたことを示すために、プレーン（床面５０３８）が強調されている。検出されたプレーンを示す視覚的な指示を表示することは、（例えば、デバイスカメラによってキャプチャされた物理的環境においてプレーンが検出されたことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the calibration criteria have been met (eg, the criteria that are met before the calibration user interface object is displayed, or the calibration user interface object is displayed and animated for a period of time) In response to detecting a criteria that has been met after the device, one or more of the devices (eg, after stopping the display of the calibration user interface object if the calibration user interface object was first displayed) Display a visual indication of the detected plane in the physical environment captured in the field of view of the camera (eg, display a contour around the detected plane, or highlight the detected plane) ( 17022). For example, in FIG. 12J, a plane (floor surface 5038) is highlighted to indicate that a plane has been detected in the
いくつかの実施形態では、物理的環境の拡張現実ビューを表示するための要求を受信することに応じて、較正基準が満たされていないとの判定にしたがって、較正ユーザーインターフェースオブジェクトを表示する前に、デバイスは、（例えば、表示生成コンポーネントによって、及び、１つ以上のカメラの視野の表現（例えば、視野のぶれたバージョン）を含む第１のユーザーインターフェース領域内に、）プレーンの表現に対して移動するデバイスの表現（例えば、プレーンの表現に対するデバイスの表現の移動は、ユーザーによって影響されるべき、必要とされるデバイスの移動を示す）を含むアニメーション化されたプロンプトオブジェクト（例えば、弾力性のある立方体又はワイヤフレームオブジェクトのようなスキャンプロンプトオブジェクト）を表示する（１７０２４）。例えば、アニメーション化されたプロンプトオブジェクトは、図１２Ｂ〜図１２Ｄに関して説明されるように、プレーンの表現１２０１０に対して移動するデバイス１００の表現１２００４を含む。いくつかの実施形態では、デバイスは、デバイスが、デバイスの移動を検出した（例えば、較正を進めることができる手法で、ユーザーが、デバイスの移動を開始したことを示す）場合、アニメーション化されたプロンプトオブジェクトの表示を停止する。いくつかの実施形態では、デバイスが、デバイスの移動を検出した場合、かつ、デバイスの較正に関して更にユーザーをガイドする較正が完了される前に、デバイスは、アニメーション化されたプロンプトオブジェクトの表示を、較正ユーザーインターフェースオブジェクトと置き換える。例えば、図１２Ｃ〜図１２Ｅに関して説明されるように、（図１２Ｃ〜図１２Ｄに図示されるように）デバイスの移動が検出された場合、デバイス１００の表現１２００４を含むアニメーション化されたプロンプトは、表示が停止され、較正ユーザーインターフェースオブジェクト１２０１４が、図１２Ｅに表示される。プレーンの表現に対して移動するデバイスの表現を含む、アニメーション化されたプロンプトオブジェクトを表示することは、（例えば、較正のために必要とされるデバイスの移動のタイプを例示するための）視覚的フィードバックをユーザーへ提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、較正基準を満たすために必要とされる情報を提供する方式で、ユーザーがデバイスを移動させることを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to receiving a request to display an augmented reality view of the physical environment, prior to displaying a calibration user interface object according to a determination that the calibration criteria are not met The device is for presentation of a plane (eg, in a first user interface area including a representation generation component and a representation of one or more camera views (eg, a blurred version of the perspective)) An animated prompt object (eg, resilient) including a representation of the moving device (eg, the movement of the device's representation relative to the plane's representation is indicative of the required device movement to be influenced by the user) Scan prompt like a cube or wireframe object Object) is displayed (17024). For example, the animated prompt object includes a
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢において検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの第１の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第１の量、移動させることと、物理的環境における１つ以上のカメラの第２の量の移動にしたがって、較正ユーザーインターフェースオブジェクトを第２の量、移動させることとを含み、第１の量は、第２の量とは異なり（例えば、第２の量よりも大きく）、第１の量の移動は、第２の量の移動とは異なる（例えば、第２の量よりも大きい）（例えば、第１及び第２の量の移動は、物理的環境における同じ方向における移動に基づいて測定される）。較正ユーザーインターフェースオブジェクトを、１つ以上の（デバイス）カメラの移動の大きさに対応する量、移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する（１７０２６）。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting the at least one display parameter of the calibration user interface object according to changes detected in the posture of the one or more cameras in the physical environment includes one or more in the physical environment. Moving the calibration user interface object by the first amount according to the movement of the first amount of the camera and moving the calibration user interface object according to the movement of the second amount of the one or more cameras in the physical environment. The first amount is different from the second amount (eg, greater than the second amount), and the movement of the first amount is equal to the second amount. Different from movement (eg, greater than the second amount) (eg, movement of the first and second amounts in the same direction in the physical environment) Kicking is measured based on the movement). Moving the calibration user interface object by an amount corresponding to the magnitude of the movement of one or more (device) cameras can be performed (eg, movement of the calibration user interface object is required for calibration). Provide visual feedback (17026) indicating to the user that it is a guide for movement. Providing improved visual feedback to the user (eg, by helping the user provide appropriate input and reducing user error when operating / interacting with the device) Improve device operability and make user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの姿勢において検出された変化が、第１のタイプの移動（例えば、左側、右側、又は前後側のような横方向移動）に対応する（そして、第２のタイプの移動（例えば、上方、下方、及び上下移動のような垂直移動）に対応しない）との判定にしたがって、第１のタイプの移動に基いて、較正ユーザーインターフェースオブジェクトを移動させること（例えば、（例えば、較正ユーザーインターフェースオブジェクトによって、垂直軸の周りに較正ユーザーインターフェースオブジェクトを回転させることのように）第１の方式で較正ユーザーインターフェースオブジェクトを移動させること）と、１つ以上のカメラの姿勢における検出された変化が、第２のタイプの移動に対応する（そして、第１のタイプの移動に対応しない）との判定にしたがって、第２のタイプの移動に基づいて、較正ユーザーインターフェースオブジェクトを移動させることを控えること（例えば、較正ユーザーインターフェースオブジェクトを第１の方式で移動させることを控えること、すなわち、較正ユーザーインターフェースオブジェクトを静止させたままに維持すること）とを含む（１７０２８）。例えば、（図１２Ｆ−１ないし図１２Ｇ−１、及び図１２Ｆ−２ないし図１２Ｇ−２に関して説明されるように、）１つ以上のカメラを含むデバイス１００の横方向移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させる一方、（例えば、図１２Ｇ−１ないし図１２Ｈ−１及び図１２Ｇ−２ないし図１２Ｈ−２に関して説明されるように、）デバイス１００の垂直移動は、較正ユーザーインターフェースオブジェクト１２０１４を回転させない。デバイスカメラの姿勢における検出された変化が、第２のタイプの移動に対応しているとの判定にしたがって、較正ユーザーインターフェースオブジェクトの移動を控えることは、（例えば、１つ以上のカメラの第２のタイプの移動が、較正のために必要とされていないことをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが不要な入力を提供することを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting the at least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment comprises in the pose of the one or more cameras The detected change corresponds to a first type of movement (eg, lateral movement such as left, right, or back and forth) (and a second type of movement (eg, up, down, and up and down) Moving the calibration user interface object based on the first type of movement (eg, by means of the calibration user interface object, for example, by Like rotating the calibration user interface object around Moving the calibration user interface object in a first manner) and detected changes in one or more camera orientations correspond to the second type of movement (and correspond to the first type of movement) Refrain from moving the calibration user interface object based on the second type of movement (e.g., refrain from moving the calibration user interface object in the first manner), , Holding the calibration user interface object stationary) (17028). For example, lateral movement of a
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、第１のユーザーインターフェース領域の上方における較正ユーザーインターフェースオブジェクトの特徴的な表示場所（例えば、地理的中心の場所、又は、ディスプレイ上の較正ユーザーインターフェースオブジェクトの軸）を変更することなく、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトを移動（例えば、回転及び／又は傾斜）させることを含む（例えば、較正ユーザーインターフェースオブジェクトは、ディスプレイ上の固定場所へアンカーされる一方、物理的環境は、較正ユーザーインターフェースオブジェクトの真下の１つ以上のカメラの視野内で移動する）（１７０３０）。例えば、図１２Ｅ−１ないし図１２Ｉ−１では、較正ユーザーインターフェースオブジェクト１２０１４は、ディスプレイ１１２に対して固定された場所にとどまりながら回転する。較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変更することなく、較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトが、表示された拡張現実環境に対する場所に配置された仮想オブジェクトとは異なることを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを回避し、ユーザー入力誤りを低減することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting the at least one display parameter of the calibration user interface object according to the detected change in the posture of the one or more cameras in the physical environment is above the first user interface area. In the posture of one or more cameras in the physical environment without changing the characteristic display location of the calibration user interface object in Moving (eg, rotating and / or tilting) the calibration user interface object according to the detected change (eg, the calibration user interface object is anchored to a fixed location on the display). While the physical environment, moves in the field of view of one or more cameras beneath the calibration user interface objects) (17030). For example, in FIGS. 12E-1 through 12I-1, the calibration
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、物理的環境における１つ以上のカメラの移動方向に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることを含む（例えば、（例えば、カメラを含む）デバイスがｘ−ｙ面上を前後に移動している場合、較正ユーザーインターフェースオブジェクトは、ｚ軸の周りに回転するか、又は、（例えば、カメラを含む）デバイスがｘ軸（例えば、ｘ軸は、物理的環境に対する水平方向として定義され、例えば、タッチスクリーンディスプレイのプレーン内に位置する）に沿って左右交互に移動している場合、較正ユーザーインターフェースオブジェクトは、ｙ軸の周りに回転する）（１７０３２）。例えば、図１２Ｅ−１ないし図１２Ｇ−１では、較正ユーザーインターフェースオブジェクト１２０１４は、図１２Ｅ−２ないし図１２Ｇ−２に図示されるように、デバイスの横方向移動に垂直な垂直軸の周りに回転する。デバイスカメラの移動に垂直な軸の周りに較正ユーザーインターフェースオブジェクトを回転させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, adjusting the at least one display parameter of the calibration user interface object according to the detected change in the attitude of the one or more cameras in the physical environment includes one or more in the physical environment. Rotating a calibration user interface object about an axis perpendicular to the direction of camera movement (e.g., if the device (e.g., including the camera) is moving back and forth on an xy plane) The object rotates around the z-axis, or the device (eg, including the camera) is defined as the x-axis (eg, the x-axis is horizontal to the physical environment, eg, in the plane of the touch screen display) Calibration) when moving alternately left and right along Over Heather interface object is rotated about the y-axis) (17032). For example, in FIGS. 12E-1 through 12G-1, the calibration
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化の速度（例えば、物理的環境の移動速度）にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることを含む（１７０３４）。デバイスカメラの姿勢における変化にしたがって判定された速度で較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of the one or more cameras in the physical environment may be within the field of view of the one or more cameras. Moving the calibration user interface object at a rate determined according to the rate of change detected at (e.g., the rate of movement of the physical environment) (17034). Moving the calibration user interface object at a determined speed according to the change in the device camera pose (eg, moving the calibration user interface object is a guide for device movement required for calibration) Provide visual feedback that indicates to the user what it is. Providing improved visual feedback to the user (eg, by helping the user provide appropriate input and reducing user error when operating / interacting with the device) Improve device operability and make user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、物理的環境における１つ以上のカメラの姿勢における検出された変化にしたがって、較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調節することは、１つ以上のカメラの視野内で検出された変化（例えば、物理的環境の移動速度）の方向にしたがって判定された方向において、較正ユーザーインターフェースオブジェクトを移動させることを含む（例えば、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させるか、又は、デバイスは、右から左へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを反時計回りに回転させ、左から右へのデバイスの移動のために較正ユーザーインターフェースオブジェクトを時計回りに回転させる）（１７０３６）。デバイスカメラの姿勢における変化にしたがって判定された方向において較正ユーザーインターフェースオブジェクトを移動させることは、（例えば、較正ユーザーインターフェースオブジェクトの移動が、較正のために必要とされるデバイスの移動のためのガイドであることをユーザーへ示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが適切な入力を提供することを支援し、デバイスと動作／相互作用している場合にユーザー誤りを低減することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, adjusting at least one display parameter of the calibration user interface object according to a detected change in the pose of the one or more cameras in the physical environment may be within the field of view of the one or more cameras. Moving the calibration user interface object in a direction determined according to the direction of the change detected at (e.g., the movement speed of the physical environment) (e.g., the device moves the device from right to left Rotate the calibration user interface object clockwise to rotate the calibration user interface object counterclockwise for movement of the device from left to right, or the device moves the device from right to left Calibration user interface for The object is rotated counterclockwise, rotating the calibration user interface objects for movement device from left to right in a clockwise direction) (17036). Moving the calibration user interface object in the direction determined according to the change in the device camera pose (e.g. a guide for the movement of the device where the movement of the calibration user interface object is required for calibration) Provide visual feedback (indicating something to the user). Providing improved visual feedback to the user (eg, by helping the user provide appropriate input and reducing user error when operating / interacting with the device) Improve device operability and make user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
図１７Ａ〜図１７Ｄにおける動作が説明されている特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図１７Ａ〜図１７Ｄに関して上述された方法１７０００に対して類似した方式でも適用可能であることが注目されるべきである。例えば、方法１７０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is to be understood that the specific order in which the operations in FIGS. 17A-17D are described is merely an example, and the described order is not intended to indicate the only order in which operations may be performed. It is. One of ordinary skill in the art would recognize various approaches to reordering the operations described herein. In addition, details of other processes described herein with respect to other methods described herein (eg,
図１８Ａ〜図１８Ｉは、軸の周りの仮想オブジェクトの回転を拘束する方法１８０００を例示するフロー図である。方法１８０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上のカメラ（例えば、ディスプレイ及びタッチ感知面から反対側のデバイスの側面上の１つ以上の背面カメラ）と、１つ以上のカメラを含むデバイスの姿勢（例えば、周囲の物理的環境に対する向き（例えば、回転、ヨー、及び／又は、傾斜角度）及び位置）における変化を検出するための１つ以上の姿勢センサ（たとえば、加速度計、ジャイロスコープ、及び／又は、磁力計）と、を有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法１８０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序が、オプションで、変更される。
18A-18I are flow diagrams illustrating a
デバイスは、表示生成コンポーネントによって、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース又は拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示する（１８００２）。例えば、図１３Ｂに図示されるように、仮想オブジェクト１１００２が、ステージングユーザーインターフェース６０１０内に図示される。
The device displays the representation of the first perspective of the virtual three-dimensional object in a first user interface area (eg, a staging user interface or an augmented reality user interface) by the display generation component (18002). For example, as illustrated in FIG. 13B, a
ディスプレイ上の第１のユーザーインターフェース領域内に、視覚的な三次元オブジェクトの第１の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの第１の視点から見えない仮想三次元オブジェクトの一部を表示するために、ディスプレイ（例えば、タッチスクリーンディスプレイのプレーンのような表示生成コンポーネントに対応する表示面）に対して仮想三次元オブジェクトを回転させるための要求に対応する第１の入力（例えば、タッチ感知面における（例えば、１本又は２本の指の接触による）スワイプ入力、又は、旋回入力（例えば、２本指回転、又は、別の指接触の周りの１本指の接触旋回））を検出する（１８００４）。例えば、この要求は、図１３Ｂ〜図１３Ｃに関して説明されるような入力、又は、図１３Ｅ〜図１３Ｆに関して説明されるような入力である。 While displaying the representation of the first viewpoint of the visual three-dimensional object in the first user interface area on the display, the device may not be visible from the first viewpoint of the virtual three-dimensional object. A first corresponding to a request to rotate a virtual three-dimensional object relative to a display (eg, a display surface corresponding to a display generating component such as a plane of a touch screen display) to display a portion of the object Input (eg, swipe input (eg, by touching one or two fingers) on the touch-sensitive surface, or swivel input (eg, two-finger rotation, or one finger around another finger contact) Contact turning)) is detected (18004). For example, the request may be an input as described with respect to FIGS. 13B-13C, or an input as described with respect to FIGS. 13E-13F.
第１の入力を検出することに応じて（１８００６）、第１の入力が、第１の軸（例えば、ｘ軸のような水平方向におけるディスプレイのプレーン（例えば、ｘ−ｙ面）に平行である第１の軸）の周りに三次元オブジェクトを回転させるための要求に対応しているとの判定にしたがって、デバイスは、第１の入力の大きさ（例えば、タッチ感知面（例えば、ディスプレイのｘ−ｙ面に対する対応するｘ−ｙ面）の垂直軸（例えば、ｙ軸）に沿ったスワイプ入力の速度及び／又は距離）に基づいて判定された量、第１の軸に対して仮想三次元オブジェクトを回転させ、第１の軸に対する閾値回転量よりも大きい、仮想三次元オブジェクトの回転を限定する移動に対する制限によって拘束される（例えば、第１の軸の周りの回転は、第１の軸の周り＋／−３０度の範囲に限定され、この範囲を超える回転は、第１の入力の大きさに関わらず禁止される）。例えば、図１３Ｅ〜図１３Ｇに関して説明されるように、仮想オブジェクト１１００２の回転は、制限によって拘束される。第１の入力が、第１の軸とは異なる第２の軸（例えば、ｙ軸のような垂直方向におけるディスプレイのプレーン（例えば、ｘ−ｙ面）に平行である第２の軸）の周りに三次元オブジェクトを回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを、第１の入力の大きさに基づいて判定された量（例えば、タッチ感知面（例えば、ディスプレイのｘ−ｙ面に対する対応するｘ−ｙ面）の水平軸（例えば、ｘ軸）に沿ったスワイプ入力の速度及び／又は距離）、第２の軸に対して回転させ、それぞれの閾値を超える大きさを有する入力については、デバイスは、閾値回転量よりも多く、第２の軸に対して仮想三次元オブジェクトを回転させる。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、第１の軸に対する回転に対する拘束よりも大きな拘束を回転に課す（例えば、三次元オブジェクトは、３０度の代わりに６０度回転することを許容される）。いくつかの実施形態では、第２の軸に対する回転のために、デバイスは、回転に対して拘束を課さず、これによって、三次元オブジェクトは、第２の軸の周りに自由に回転できるようになる（例えば、１つ以上の接触の移動を含む速い又は長いスワイプ入力のような十分高い大きさを伴う入力について、三次元オブジェクトは、第２の軸に対して３６０度よりも大きく回転することができる）。例えば、図１３Ｅ〜図１３Ｇに関して説明された入力に応じた、ｘ軸の周りの仮想オブジェクト１１００２の回転量よりも大きな、仮想オブジェクト１１００２の回転量が、図１３Ｂ〜図１３Ｃに関して説明される入力に応じて、ｙ軸の周りで生じる。入力が、オブジェクトを、第１の軸の周り、又は、第２の軸の周りに回転させるための要求であるかに依存して、オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く回転させるかを決定することは、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いて、ユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In response to detecting the first input (18006), the first input is parallel to the plane of the display in the horizontal direction (e.g. the x-axis, e.g. the x-y plane), e.g. According to the determination that it corresponds to the request for rotating the three-dimensional object around a certain first axis), the device displays the size of the first input (for example the touch sensitive surface (for example the display) An amount determined based on the speed and / or distance of the swipe input along the vertical axis (e.g., y-axis) of the corresponding xy plane relative to the xy plane, virtual third order relative to the first axis Restricted by a restriction on the movement that limits the rotation of the virtual three-dimensional object, which rotates the original object and is larger than the threshold rotation amount with respect to the first axis (eg, the rotation about the first axis is the first Around an axis / -30 degrees are limited to a range of rotation beyond this range is prohibited regardless of the magnitude of the first input). For example, as described with respect to FIGS. 13E-13G, the rotation of
いくつかの実施形態では、第１の入力を検出することに応じて（１８００８）、第１の入力が、第１の方向（例えば、ｙ方向、タッチ感知面における垂直方向）におけるタッチ感知面を介した接触の第１の移動を含んでおり、第１の方向における接触の第１の移動が、第１の軸に対して仮想オブジェクトの表現を回転させるための第１の基準を満たしているとの判定であって、第１の基準は、第１の基準が満たされるために、第１の入力が、第１の方向における第１の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第１の方向において、第１の閾値移動量よりも多くを検出するまで、第１の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第１の軸（例えば、ｘ軸、ディスプレイに平行な水平軸、又は、仮想オブジェクトを介した水平軸）の周りに回転させるための要求に対応していると判定し、第１の入力が、第２の方向（例えば、ｘ方向、タッチ感知面における水平方向）におけるタッチ感知面にわたる接触の第２の移動を含んでおり、第２の方向における接触の第２の移動が、第２の軸に対して仮想オブジェクトの表現を回転させるための第２の基準を満たしているとの判定であって、第２の基準は、第２の基準が満たされるために、第１の入力が、第２の方向における第２の閾値移動量よりも多くを含むとの要件を含む（例えば、デバイスは、デバイスが、第２の方向において、第２の閾値移動量よりも多くを検出するまで、第２の軸の周りの三次元オブジェクトの回転を開始しない）、判定にしたがって、デバイスは、第１の入力が、三次元オブジェクトを第２の軸（例えば、ディスプレイに平行な垂直軸、又は、仮想オブジェクトを介した垂直軸）の周りに回転させるための要求に対応していると判定し、第１の閾値は、第２の閾値よりも大きい（例えば、ユーザーは、垂直軸の周りの回転をトリガする（例えば、オブジェクトを回転させる）ために水平方向にスワイプするのではなく、水平軸の周りの回転をトリガする（例えば、オブジェクトをユーザーに対して前方又は後方に傾ける）ために、垂直方向に多くの量スワイプする必要がある）。オブジェクトを、閾値量へ拘束された量、回転させるか、又は、オブジェクトを、閾値量よりも多く、回転させるかを判定することは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存して、オブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。 In some embodiments, in response to detecting the first input (18008), the first input causes the touch-sensitive surface in a first direction (eg, y-direction, vertical direction on the touch-sensitive surface) to be detected. A first movement of the contact via the first direction of the contact in the first direction satisfies the first criterion for rotating the representation of the virtual object relative to the first axis And the first criterion includes a requirement that the first input includes more than the first threshold movement amount in the first direction because the first criterion is satisfied. (Eg, the device does not start rotating the three-dimensional object about the first axis until the device detects more than the first threshold movement amount in the first direction), according to the determination The device has a three-dimensional object whose first input is The first input is determined to correspond to a request to rotate the object about a first axis (eg, an x-axis, a horizontal axis parallel to the display, or a horizontal axis via a virtual object) Includes a second movement of contact across the touch-sensitive surface in a second direction (e.g., x direction, horizontal direction on the touch-sensitive surface), wherein the second movement of contact in the second direction is the second Determining that the second criterion for rotating the representation of the virtual object relative to the axis of the second criterion is satisfied, wherein the second criterion is satisfied and the first input is , Including a requirement to include more than a second threshold movement amount in a second direction (eg, until the device detects more than a second threshold movement amount in the second direction) , A three-dimensional object around the second axis According to the determination, the device inputs the three-dimensional object to the second axis (eg, a vertical axis parallel to the display or a vertical axis via a virtual object). Determine that the request to rotate around is met and the first threshold is greater than the second threshold (eg, the user triggers rotation around the vertical axis (eg, rotates the object Need to swipe a large amount vertically to trigger rotation about the horizontal axis (eg, to tilt the object forward or backward with respect to the user) rather than swiping horizontally to is there). Determining whether to rotate the object by an amount constrained to a threshold amount, or to rotate the object more than the threshold amount, the input is about the first axis or the second axis. Depending on whether the request is for rotating an object, the ability to control different types of rotational motion is improved in response to an input corresponding to the request to rotate the object. Providing additional control options using the displayed additional controls without disrupting the user interface increases the operability of the device and makes the user device interface more efficient.
いくつかの実施形態（１８０１０）では、第１の軸に対する仮想三次元オブジェクトの回転は、第１の入力の第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第１の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第１の一致角度で生じ、第２の軸に対する仮想三次元オブジェクトの回転は、第２の入力ジェスチャの第１の入力パラメータ（例えば、スワイプ距離、又はスワイプ速度）の特徴値と、第２の軸の周りの仮想三次元オブジェクトへ適用された回転量との間の第２の一致角度で生じ、第１の一致角度は、第２の一致角度よりも、第１の入力パラメータに対する仮想三次元オブジェクトの、より少ない回転しか含まない（例えば、第１の軸の周りの回転は、第２の軸の周りの回転よりも、高い摩擦又は引っ掛かりを有する）。例えば、仮想オブジェクト１１００２の第１の回転量は、（図１３Ｂ〜図１３Ｃに関して説明されるように、）ｙ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じ、第１の回転量よりも少ない、仮想オブジェクト１１００２の第２の回転量は、（図１３Ｅ〜図１３Ｇに関して説明されるように、）ｘ軸の周りの回転のための、スワイプ距離ｄ１のスワイプ入力に応じて生じる。入力に応じて、より多い、又は、より少ない角度回転で、仮想オブジェクトを回転させることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに依存してオブジェクトを回転させるための要求に対応する入力に応じて、異なるタイプの回転動作を制御する機能を改善する。表示された追加の制御を用いてユーザーインターフェースを混乱させることなく追加の制御オプションを提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In some embodiments (18010), the rotation of the virtual three-dimensional object relative to the first axis includes a feature value of a first input parameter (eg, swipe distance or swipe speed) of the first input, The rotation of the virtual three-dimensional object relative to the second axis occurs at a first coincidence angle with a rotation amount applied to the virtual three-dimensional object about the axis of the first input of the second input gesture A first coincidence angle that occurs at a second coincidence angle between a feature value of the parameter (eg, swipe distance or swipe speed) and the amount of rotation applied to the virtual three-dimensional object about the second axis. Includes less rotation of the virtual three-dimensional object relative to the first input parameter than the second coincidence angle (eg, rotation around the first axis is more than rotation around the second axis). , Has a higher friction or snagging). For example, the first amount of rotation of the
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面上の１つ以上の接触の移動を含み、第１の入力の終了の検出は、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１２）。第１の入力の終了を検出した後（例えば、検出に応じて）、デバイスは、入力の終了を検出する前に、第１の入力の大きさに基づいて（例えば、接触のリフトオフの直前の、接触の移動の速度に基づいて）、三次元オブジェクトの回転を継続する（１８０１４）。これは、三次元オブジェクトが第１の軸に対して回転しているとの判定にしたがって、第１の軸に対するオブジェクトの回転を、第１の軸に対する三次元オブジェクトの回転の大きさに比例した第１の量、遅くする（例えば、第１の摩擦係数を用いて、擬似的な摩擦のような第１の擬似的な物理的パラメータに基づいて、第１の軸の周りの三次元オブジェクトの回転を遅くする）ことと、三次元オブジェクトが第２の軸に対して回転しているとの判定にしたがって、第２の軸に対するオブジェクトの回転を、第２の軸に対する三次元オブジェクトの回転の大きさに比例した第２の量、遅くする（例えば、第１の摩擦係数よりも小さな第２の摩擦係数を用いて、擬似的な摩擦のような第２の擬似的な物理的パラメータに基づいて、第２の軸の周りの三次元オブジェクトの回転を遅くする）こととを含み、第２の量は、第１の量とは異なる。例えば、図１３Ｃ〜図１３Ｄでは、仮想オブジェクト１１００２は、図１３Ｂ〜図１３Ｃに関して説明されるように、仮想オブジェクト１１００２の回転をもたらした接触１３００２のリフトオフ後、回転を継続する。いくつかの実施形態では、第２の量は、第１の量よりも大きい。いくつかの実施形態では、第２の量は、第１の量未満である。入力の終了の検出後、仮想オブジェクトの回転を、第１の量又は第２の量、遅くすることは、入力が、第１の軸又は第２の軸の周りにオブジェクトを回転させるための要求であるか否かに基づいて、第１の軸及び第２の軸の周りの回転のために、異なる方式で回転動作が仮想オブジェクトへ適用されたことを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、プレーンに対応する第２の向きにおけるオブジェクトの配置前に、ユーザーが適切な入力を提供することと、仮想オブジェクトを操作するために入力を提供する試みを回避することとを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects the end of the first input (eg, the input includes movement of one or more contacts on the touch-sensitive surface, and detection of the end of the first input is Including detecting lift-off of one or more contacts from the touch-sensitive surface) (18012). After detecting the end of the first input (eg, in response to detection), the device may detect the end of the input based on the magnitude of the first input (eg, immediately prior to contact lift-off). The rotation of the three-dimensional object is continued (18014) based on the speed of movement of the contact. This is proportional to the magnitude of the rotation of the three-dimensional object relative to the first axis according to the determination that the three-dimensional object is rotating relative to the first axis. A first amount, slow (e.g., using a first coefficient of friction, based on a first pseudo physical parameter, such as pseudo friction, of a three-dimensional object around a first axis The rotation of the object with respect to the second axis and the rotation of the three-dimensional object with respect to the second axis according to the determination that the three-dimensional object is rotating with respect to the second axis. A second amount proportional to the magnitude, slowed (e.g., based on a second pseudo physical parameter, such as pseudo friction, using a second friction coefficient smaller than the first friction coefficient). Around the second axis And a three-dimensional slow the rotation of the object) that the second amount is different from the first amount. For example, in FIGS. 13C-13D,
いくつかの実施形態では、デバイスは、第１の入力の終了を検出する（例えば、入力は、タッチ感知面における１つ以上の接触の移動を含み、第１の入力の終了を検出することは、タッチ感知面からの１つ以上の接触のリフトオフを検出することを含む）（１８０１６）。第１の入力の終了を検出した後（例えば、検出に応じて）（１８０１８）、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転したとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転の少なくとも一部を反転させ、三次元オブジェクトが、第１の軸に対して、それぞれの回転閾値を超えて回転していないとの判定にしたがって、デバイスは、第１の軸に対する三次元オブジェクトの回転を反転させることを控える（例えば、第１の軸に対する三次元オブジェクトの回転を停止させる、及び／又は、入力の終了を検出する前、入力の大きさによって判定された大きさ、入力の動きの方向に、第１の軸に対して三次元オブジェクトの回転を継続させる）。例えば、図１３Ｅ〜図１３Ｇを参照して説明されるように、仮想オブジェクト１１００２を、回転閾値を超えて回転させた後、図１３Ｇ〜図１３Ｈによって例示されるように、仮想オブジェクト１１００２の回転が反転される。いくつかの実施形態では、三次元オブジェクトの回転を反転させる量は、三次元オブジェクトがそれぞれの回転閾値をどれくらい超えたのかに基づいて決定される（例えば、三次元オブジェクトの回転は、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量がより小さく、もしそれぞれの回転閾値を超えて回転した三次元オブジェクトの回転の量が、第１の軸に対して回転を反転させる小さな量と比べて、より大きいのであれば、第１の軸に対して、より大きな量、反転される）。いくつかの実施形態では、回転の反転は、より大きな力で引っ張る弾性効果のような擬似的な物理パラメータによって駆動され、更に、三次元オブジェクトは、第１の軸に対するそれぞれの回転閾値を超えて回転される。いくつかの実施形態では、回転の反転は、それぞれの回転閾値を超えて回転された、第１の軸に対する回転の方向に基づいて判定された回転の方向にある（例えば、三次元オブジェクトが回転され、オブジェクトの頂部が、ディスプレイ内へ戻ったのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ外側へ進めて回転させ、オブジェクトの頂部が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの頂部を、ディスプレイ内へ戻して回転させ、三次元オブジェクトが回転され、オブジェクトの右側が、ディスプレイ内に戻ったのであれば、回転の反転は、ディスプレイ外側へ進むオブジェクトの右側を回転させ、及び／又は、オブジェクトの左側が、ディスプレイ外側へ進められて回転されるように、三次元オブジェクトが回転されたのであれば、回転の反転は、オブジェクトの左側を、ディスプレイ内へ戻して回転させる）。いくつかの実施形態では、例えば、第２の軸に対する回転が、それぞれの角度範囲へ拘束されている場合、第２の軸の周りの回転のために、同様のラバーバンディング（例えば、回転の条件付き反転）が実行される。いくつかの実施形態では、例えば、三次元オブジェクトがデバイスによって３６０度回転することを許可されるように、第２の軸に対する回転が拘束されていない場合、（例えば、デバイスは、第２の軸に対する回転について回転閾値を課さないので）第２の軸の周りの回転のためにラバーバンディングは実行されない。入力の終了を検出した後、第１の軸に関して三次元オブジェクトの回転の少なくとも一部を反転すること、又は、第１の軸に関して三次元オブジェクトの回転の一部を反転することを控えることは、オブジェクトが回転閾値を超えて回転したか否かに依存して、仮想オブジェクトの回転へ適用可能な回転閾値を示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、回転閾値を超えて仮想オブジェクトを回転させるための入力を提供する試みを回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects the end of the first input (eg, the input includes movement of one or more contacts on the touch-sensitive surface, and detecting the end of the first input is , Detecting the liftoff of one or more contacts from the touch sensitive surface) (18016). After detecting the end of the first input (eg, in response to detection) (18018), according to the determination that the three-dimensional object has rotated above the respective rotation threshold with respect to the first axis, The device reverses at least a portion of the rotation of the three-dimensional object relative to the first axis, and according to the determination that the three-dimensional object has not rotated beyond the respective rotation threshold with respect to the first axis. The device refrains from reversing the rotation of the three-dimensional object relative to the first axis (eg, before stopping the rotation of the three-dimensional object relative to the first axis and / or detecting the end of input, the input The rotation of the three-dimensional object is continued with respect to the first axis in the direction of the input movement, the size determined by the size of For example, as described with reference to FIGS. 13E to 13G, after rotating the
いくつかの実施形態（１８０２０）では、第１の入力が、三次元オブジェクトを、第１の軸及び第２の軸とは異なる第３の軸（例えば、ｚ軸のような、ディスプレイのプレーン（例えば、ｘ−ｙ面）に垂直な第３の軸）の周りに回転させるための要求に対応するとの判定にしたがって、デバイスは、仮想三次元オブジェクトを第３の軸に対して回転させることを控える（例えば、ｚ軸の周りの回転が禁止され、オブジェクトをｚ軸の周りに回転させるための要求は、デバイスによって無視される）。いくつかの実施形態では、デバイスは、アラート（例えば、入力の失敗を示す触知出力）を提供する。回転入力が、仮想オブジェクトを第３の軸の周りに回転させるための要求に対応しているとの判定にしたがって仮想オブジェクトの回転を控えることは、第３の軸の周りの回転が制限されていることを示す視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが仮想オブジェクトを第３の軸の周りに回転させるための入力を提供する試みを回避することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (18020), the first input may cause the three-dimensional object to be displayed on a third axis (eg, a z-axis, such as a display plane ( For example, the device may rotate the virtual three-dimensional object relative to the third axis according to a determination that it corresponds to a request to rotate about the third axis) perpendicular to the xy plane). Refrain (e.g., rotation around the z-axis is prohibited and requests to rotate the object around the z-axis are ignored by the device). In some embodiments, the device provides an alert (e.g., a tactile output that indicates an input failure). Restraining the rotation of the virtual object according to the determination that the rotation input corresponds to the requirement to rotate the virtual object about the third axis restricts the rotation about the third axis Provide visual feedback to indicate Providing improved visual feedback to the user (e.g., by assisting the user in avoiding attempts to provide input to rotate the virtual object about the third axis) To make the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、デバイスは、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第１の視点の表現を表示しながら、仮想三次元オブジェクトによって投じられた影の表現を表示する（１８０２２）。デバイスは、第１の軸及び／又は第２の軸に対する仮想三次元オブジェクトの回転にしたがって、影の表現の形状を変化させる。例えば、仮想オブジェクト１１００２の影１３００６の形状は、仮想オブジェクト１１００２が回転すると、図１３Ｂ〜図１３Ｆから変化する。いくつかの実施形態では、仮想オブジェクトの所定の底側をサポートするステージングユーザーインターフェース内に、目に見えない基本プレーンに対する仮想オブジェクトの現在の向きを示すために、影がシフトし、形状を変化させる。いくつかの実施形態では、仮想三次元オブジェクトの表面は、ステージングユーザーインターフェース内に表現される仮想空間における所定の方向に配置された擬似的な光源からの光を反射するように見える。仮想オブジェクトの回転にしたがって影の形状を変化させることは、（例えば、仮想オブジェクトが向けられた仮想的なプレーン（例えば、ステージングビューのステージ）を示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは（例えば、第１の軸又は第２の軸の周りに回転させるためのスワイプ入力のための適切な命令をユーザーが判定することを支援することによって）、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, a device is thrown by a virtual three-dimensional object while displaying a representation of a first viewpoint of the virtual three-dimensional object in a first user interface area (e.g., a staging user interface) Display a representation of the shadow (18022). The device changes the shape of the shadow representation according to the rotation of the virtual three-dimensional object relative to the first axis and / or the second axis. For example, the shape of the
いくつかの実施形態では、第１のユーザーインターフェース領域内で、仮想三次元オブジェクトを回転させている間（１８０２４）、仮想三次元オブジェクトの所定の底部を明示する第２の視点とともに、仮想三次元オブジェクトが表示されるとの判定にしたがって、デバイスは、仮想三次元オブジェクトの第２の視点の表現とともに、影の表現の表示を控える。例えば、デバイスは、仮想オブジェクトが（例えば、図１３Ｇ〜図１３Ｉに関して説明されるように、）下方から見られた場合、仮想オブジェクトの影を表示しない。仮想オブジェクトの底部が表示されているとの判定にしたがって、仮想オブジェクトの影の表示を控えることは、（例えば、仮想プレーン（例えば、ステージングビューのステージ）にもはや対応していない位置へオブジェクトが回転したことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while rotating the virtual three-dimensional object (18024) within the first user interface area, the virtual three-dimensional object with a second viewpoint that defines a predetermined bottom of the virtual three-dimensional object. Based on the determination that the object is displayed, the device refrains from displaying the shadow representation, as well as the second viewpoint representation of the virtual three-dimensional object. For example, the device does not display the shadow of the virtual object when the virtual object is viewed from below (eg, as described with respect to FIGS. 13G-13I). According to the determination that the bottom of the virtual object is displayed, refraining from displaying the shadow of the virtual object (eg, rotating the object to a position that no longer corresponds to the virtual plane (eg, stage of staging view) Provide visual feedback). Providing improved visual feedback to the user enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングビュー）内で、仮想三次元オブジェクトを回転させた後、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトをリセットするための要求に対応する第２の入力を検出する（例えば、第２の入力は、第１のユーザーインターフェース領域における二重タップである）（１８０２６）。第２の入力を検出することに応じて、デバイスは、第１のユーザーインターフェース領域における仮想三次元オブジェクトの所定の元の視点（例えば、第１の視点、又は、第１の視点とは異なるのデフォルトの開始視点（例えば、第１の視点は、ステージングユーザーインターフェース内に、ユーザー操作後に表示される視点である））の表現を（例えば、仮想オブジェクトの回転及びリサイズによって）表示する（例えば、二重タップに応じて、デバイスは、仮想オブジェクトの向きを、所定の元の向き（例えば、ユーザーにプレーンする正面側、所定の基本プレーンにとどまる底面側では直立）へリセットする）（１８０２８）。例えば、図１３Ｉ〜図１３Ｊは、仮想オブジェクト１１００２の視点を、（図１３Ｂ〜図１３Ｇに関して説明される回転入力の結果として）アラートされた視点から、（図１３Ａに図示された視点仮想オブジェクト１１００２と同じである）図１３Ｊにおける元の視点へ変化させる入力を例示する。いくつかの実施形態では、仮想三次元オブジェクトをリセットする命令に対応する第２の入力を検出することに応じて、デバイスはまた、仮想三次元オブジェクトのデフォルト表示サイズを反映させるために、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二重タップ入力は、ステージングユーザーインターフェースにおける仮想オブジェクトの向き及びサイズの両方をリセットする一方、二重タップ入力は、サイズのみをリセットするが、拡張現実ユーザーインターフェースにおける仮想オブジェクトの向きをリセットしない。いくつかの実施形態では、デバイスは、拡張現実ユーザーインターフェース内の仮想オブジェクトのサイズをリセットするために、二重タップが、仮想オブジェクトへ向けられることを必要とする一方、デバイスは、二重タップが仮想オブジェクトにおいて検出され、二重タップが仮想オブジェクトの周りで検出されることに応じて、仮想オブジェクトの向き及びサイズをリセットする。拡張現実ビューでは、１本指のスワイプが、（例えば、ステージングビューにおけるものとは異なり）仮想オブジェクトを回転させるのではなく、仮想オブジェクトをドラッグする。仮想オブジェクトをリセットするための要求を検出することに応じて、仮想オブジェクトの所定の元の視点を表示することは、（例えば、オブジェクトの特性を調節するために提供された入力が、所定の元の視点へいつオブジェクトを返すのかを推定することをユーザーへ要求するのではなく、オブジェクトをリセットするためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, after rotating the virtual three-dimensional object in the first user interface area (eg, staging view), the device resets the virtual three-dimensional object in the first user interface area. The second input corresponding to the request is detected (eg, the second input is a double tap in the first user interface area) (18026). In response to detecting the second input, the device is different from the predetermined original viewpoint of the virtual three-dimensional object in the first user interface area (e.g., the first viewpoint or the first viewpoint) Display (eg, by rotating and resizing the virtual object, for example) a representation of the default starting viewpoint (eg, the first viewpoint is the viewpoint displayed after user manipulation in the staging user interface) In response to the double tap, the device resets the orientation of the virtual object to a predetermined original orientation (e.g., the front side that faces the user, the upright on the bottom side that stays on the base plane) (18028). For example, FIGS. 13I-13J change the viewpoint of the
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に仮想三次元オブジェクトを表示している間、デバイスは、仮想三次元オブジェクトをリサイズするための要求に対応する第３の入力を検出する（例えば、第３の入力は、第１のユーザーインターフェース領域上に提示された仮想オブジェクトへ向けられたピンチ又はデピンチジェスチャであり、第３の入力は、リサイズ動作を開始するための基準（例えば、（方法１９０００を参照して以下により詳細に説明されるような）元又は増強された基準）を満たす大きさを有する）（１８０３０）。第３の入力を検出することに応じて、デバイスは、入力の大きさにしたがって、第１のユーザーインターフェース領域における仮想三次元オブジェクトの表現のサイズを調節する（１８０３２）。例えば、（図６Ｎ〜図６Ｏに関して説明されるように、）デピンチジェスチャを含む入力に応じて、仮想オブジェクト１１００２のサイズが減少される。いくつかの実施形態では、仮想三次元オブジェクトの表現のサイズが調節された場合、デバイスは、仮想オブジェクトの現在のズームレベルを示すためのインジケータを表示する。いくつかの実施形態では、デバイスは、第３の入力が終了すると、ズームレベルを示すインジケータの表示を停止する。オブジェクトをリサイズするための入力の大きさにしたがって、仮想オブジェクトのサイズを調節することは、（例えば、オブジェクトを、所望の量、リサイズするためのオプションを提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while displaying a virtual three-dimensional object in a first user interface area (eg, a staging user interface), the device responds to a request to resize the virtual three-dimensional object. Detect three inputs (e.g., the third input is a pinch or depinch gesture directed to a virtual object presented on the first user interface area, the third input initiates a resize operation) (E.g., having a size that meets the original or enhanced criteria (as described in more detail below with reference to method 19000)) (18030). In response to detecting the third input, the device adjusts the size of the representation of the virtual three-dimensional object in the first user interface region according to the magnitude of the input (18032). For example, the size of the
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）における仮想三次元オブジェクトの表現のサイズを調節している間、デバイスは、仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出する（１８０３４）。仮想三次元オブジェクトのサイズが、仮想三次元オブジェクトの所定のデフォルトの表示サイズに達したことを検出することに応じて、デバイスは、仮想三次元オブジェクトが、所定のデフォルトの表示サイズで表示されていることを示すために触知出力（例えば、ディスクリートな触知出力）を生成する（１８０３６）。図１１Ｏは、仮想オブジェクト１１００２のサイズが、（例えば、図１１Ｍ〜図１１Ｏに関して説明されるように、）仮想オブジェクト１１００２の以前に所定のサイズに達したことを検出することに応じて提供された触知出力１１０２４の例を提供する。いくつかの実施形態では、二重タップ入力に応じて、仮想オブジェクトのサイズが、デフォルトの表示サイズへリセットされた場合、デバイスは、同じ触知出力を生成する。仮想オブジェクトのサイズが、所定のデフォルトの表示サイズに達したとの判定にしたがって触知出力を生成することは、ユーザーに（例えば、仮想オブジェクトの擬似的なされたサイズを、所定のサイズへ戻すために、さらなる入力は必要とされないことを示す）フィードバックを提供する。改善された触覚フィードバックを提供することは、（例えば、表示された情報でユーザーインターフェースを混乱させることなく、仮想オブジェクトの所定の擬似的なされた物理サイズへ到達したことを、ユーザーが知覚することを可能にする、知覚情報を提供することによって、）デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, while adjusting the size of the representation of the virtual three-dimensional object in the first user interface area (eg, staging user interface), the device may determine that the size of the virtual three-dimensional object is the virtual three-dimensional It is detected that a predetermined default display size of the object has been reached (18034). In response to detecting that the size of the virtual 3D object has reached a predetermined default display size of the virtual 3D object, the device displays the virtual 3D object with a predetermined default display size. To generate a tactile output (e.g., a discrete tactile output) (18036). FIG. 11O was provided in response to detecting that the size of the
いくつかの実施形態では、ズームレベル（例えば、現在のズームレベルに対応する値を示すスライダ）を示す視覚的な指示が、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に表示される。仮想三次元オブジェクトの表現のサイズが調節されると、ズームレベルを示す視覚的な指示が、仮想三次元オブジェクトの表現の、調節されたサイズにしたがって調節される。 In some embodiments, a visual indication indicating a zoom level (eg, a slider indicating a value corresponding to the current zoom level) is displayed in a first user interface area (eg, a staging user interface) . As the size of the representation of the virtual three-dimensional object is adjusted, the visual indication indicating the zoom level is adjusted according to the adjusted size of the representation of the virtual three-dimensional object.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想三次元オブジェクトの第３の視点の表現を表示している間、デバイスは、１つ以上のカメラ（例えば、デバイスに埋め込まれたカメラ）の視野を含む第２のユーザーインターフェース領域（例えば、拡張現実ユーザーインターフェース）内に、仮想三次元オブジェクトを表示することを求める要求に対応する第４の入力を検出する（１８０４２）。第４の入力を検出することに応じて、デバイスは、表示生成コンポーネントによって、第２のユーザーインターフェース領域に含まれる１つ以上のカメラの視野の少なくとも一部の上方に、仮想オブジェクトの表現を表示し（例えば、１つ以上のカメラの視野は、第２のユーザーインターフェース領域において仮想オブジェクトを表示するための要求に応じて表示される）、１つ以上のカメラの視野は、１つ以上のカメラが配置された物理的環境の視野である（１８０４４）。仮想オブジェクトの表現を表示することは、仮想三次元オブジェクトを、第１の軸（例えば、ｘ軸のような水平方向において、ディスプレイのプレーン（例えば、ｘ−ｙ面）に平行な軸）の周りに、所定の角度へ（例えば、０度のようなデフォルトのヨー角度へ、又は、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンに揃えられた角度へ（例えば、平行に））回転させることを含む。いくつかの実施形態では、デバイスは、第１の軸に対して、所定の角度まで徐々に回転させ、第２の軸（例えば、ｙ軸のような垂直方向において、ディスプレイのプレーン（例えば、ｘ−ｙ面）に平行な軸）に対する仮想三次元オブジェクトの現在の角度を維持する三次元オブジェクトのアニメーションを表示する。１つ以上のカメラの視野において仮想オブジェクトを表示するための要求に応じて、仮想オブジェクトを、第１の軸の周りに（例えば、仮想オブジェクトを、プレーンに対して所定の向きへ位置変えするために、さらなる入力を必要とすることなく）所定の角度へ回転させることは、デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while displaying a representation of a third viewpoint of a virtual three-dimensional object in a first user interface area (e.g., a staging user interface), the device may include one or more cameras (e.g., Detecting a fourth input corresponding to a request for displaying the virtual three-dimensional object in a second user interface area (e.g. an augmented reality user interface) comprising a field of view of the camera embedded in the device ( 18042). In response to detecting the fourth input, the device causes the display generation component to display a representation of the virtual object above at least a portion of the field of view of the one or more cameras included in the second user interface area (Eg, the field of view of one or more cameras is displayed in response to a request to display a virtual object in the second user interface area), the field of view of the one or more cameras is one or more cameras Is the field of view of the physical environment in which is located (18044). Displaying a representation of a virtual object may be a virtual three-dimensional object around a first axis (e.g. an axis parallel to a plane of the display (e.g. x-y plane in a horizontal direction such as the x-axis)) To a predetermined angle (eg, to a default yaw angle such as 0 degrees, or to an angle aligned to a plane detected in the physical environment captured in the field of view of one or more cameras (eg, Parallel)) including rotating. In some embodiments, the device is gradually rotated to a predetermined angle with respect to the first axis and the plane of the display (e.g., x in a vertical direction such as the y axis). Display an animation of the 3D object that maintains the current angle of the virtual 3D object relative to the axis parallel to the y plane). In response to a request to display a virtual object in the field of view of one or more cameras, the virtual object may be rotated around a first axis (e.g. to reposition the virtual object in a predetermined orientation with respect to a plane) In addition, rotating to a predetermined angle (without requiring further input) increases the operability of the device. Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、第１のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）内に、仮想三次元オブジェクトの第４の視点の表現を表示している間、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースへ戻す要求に対応する第５の入力を検出する（１８０４６）。第５の入力を検出することに応じて、デバイス（１８０４８）は、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、仮想三次元オブジェクトを（例えば、仮想三次元オブジェクトの二次元表現と、二次元ユーザーインターフェースとを表示する前に）回転させ、仮想三次元オブジェクトの二次元表現に対応するそれぞれの視点を示すために、仮想三次元オブジェクトが回転された後、仮想三次元オブジェクトの二次元表現を表示する。いくつかの実施形態では、デバイスは、仮想三次元オブジェクトの二次元表現に対応する仮想三次元オブジェクトの視点を示すために、徐々に回転する三次元オブジェクトのアニメーションを表示する。いくつかの実施形態では、デバイスはまた、二次元ユーザーインターフェースにおいて表示された仮想三次元オブジェクトの二次元表現のサイズに一致させるために、回転中又は回転後、仮想三次元オブジェクトをリサイズする。いくつかの実施形態では、二次元ユーザーインターフェースにおける二次元表現（例えば、仮想オブジェクトのサムネイル画像）の位置へ向かって移動し、その位置に落ち着く、回転された仮想三次元オブジェクトを示すために、アニメーション化された遷移が表示される。仮想三次元オブジェクトの二次元表現の表示に戻すための入力に応じて、仮想三次元オブジェクトの二次元表現に対応する視点へ仮想三次元オブジェクトを回転させることは、（例えば、表示されたオブジェクトが二次元であることを示すために）フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、ユーザーが、適切な入力を提供することと、二次元オブジェクトを、二次元オブジェクトの回転が利用可能ではない軸に沿って回転させるための入力を提供する試みを回避することとを支援することによって）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while displaying a representation of the fourth viewpoint of the virtual 3D object in the first user interface area (eg, staging user interface), the device may store the second of the virtual 3D object. A fifth input is detected corresponding to the request to return to the two-dimensional user interface including the dimensional representation (18046). In response to detecting the fifth input, the device (18048) displays the virtual 3D object (eg, virtual cubic) to indicate a viewpoint of the virtual 3D object corresponding to the 2D representation of the virtual 3D object. After the virtual 3D object is rotated to show the respective perspectives corresponding to the 2D representation of the virtual 3D object (before displaying the 2D representation of the original object and the 2D user interface) Display a 2D representation of a virtual 3D object. In some embodiments, the device displays an animation of the gradually rotating 3D object to show a viewpoint of the virtual 3D object corresponding to the 2D representation of the virtual 3D object. In some embodiments, the device also resizes the virtual 3D object during or after rotation to match the size of the 2D representation of the virtual 3D object displayed in the 2D user interface. In some embodiments, an animation is used to show a rotated virtual three-dimensional object that moves toward and settles at a position of a two-dimensional representation (eg, a thumbnail image of a virtual object) in a two-dimensional user interface. The converted transition is displayed. Rotating the virtual 3D object to a viewpoint corresponding to the 2D representation of the virtual 3D object in response to input to return to the display of the 2D representation of the virtual 3D object (e.g., the displayed object is Provide feedback (to show that it is two-dimensional). Providing improved visual feedback to the user (eg, providing the appropriate input and rotating the 2D object along an axis where rotation of the 2D object is not available) By enhancing the operability of the device and by making the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、仮想三次元オブジェクトの第１の視点の表現を表示する前に、デバイスは、それぞれの視点からの仮想三次元オブジェクトのビューの表現（例えば、仮想三次元オブジェクトに対応する二次元画像のような静的表現）を含む仮想三次元オブジェクトの表現（例えば、サムネイル又はアイコン）を含むユーザーインターフェースを表示する（１８０５０）。仮想三次元オブジェクトの表現を表示している間、デバイスは、仮想三次元オブジェクト（例えば、仮想三次元オブジェクトの表現に関するタップ入力又は他の選択入力）を表示するための要求を検出する（１８０５２）。仮想三次元オブジェクトを表示するための要求を検出することに応じて、デバイスは、仮想三次元オブジェクトの表現のそれぞれの視点を一致させるために、仮想三次元オブジェクトの表現の表示を、回転された仮想三次元オブジェクトと置き換える（１８０５４）。図１１Ａ〜図１１Ｅは、仮想オブジェクト１１００２の表現を表示するユーザーインターフェース５０６０の例を提供する。仮想オブジェクト１１００２を表示するための要求に応じて、図１１Ａに関して説明されるように、ユーザーインターフェース５０６０のディスプレイは、図１１Ｅに図示されるように、ステージングユーザーインターフェース６０１０における仮想オブジェクト１１００２の表示によって置き換えられる。図１１Ｅにおける仮想オブジェクト１１００２の視点は、図１１Ａにおける仮想オブジェクト１１００２の表現の視点と同じである。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトを用いて置き換えられる前に、（例えば、仮想三次元オブジェクトのサイズに一致するサイズへ）スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトは、先ず、仮想三次元オブジェクトの表現のサイズで表示され、後続して、スケールアップされる。いくつかの実施形態では、仮想三次元オブジェクトの表現から仮想三次元オブジェクトへの遷移中、仮想三次元オブジェクトの表現と、仮想三次元オブジェクトとの間の円滑な遷移を生成するように、デバイスは、仮想三次元オブジェクトの表現を徐々に拡大し、仮想三次元オブジェクトの表現を、仮想三次元オブジェクトを用いてクロスフェードし、その後、仮想三次元オブジェクトを徐々に拡大する。いくつかの実施形態では、仮想三次元オブジェクトの初期場所は、仮想三次元オブジェクトの表現の場所に対応するように選択される。いくつかの実施形態では、仮想三次元オブジェクトの表現は、仮想三次元オブジェクトが表示される場所に対応するように選択された場所へシフトされる。仮想三次元オブジェクトの（二次元）表現の表示を、（二次元）表示の視点に一致するように回転された仮想三次元オブジェクトに置き換えることは、（例えば、三次元オブジェクトが、仮想三次元オブジェクトの二次元表現と同じオブジェクトであることを示すために）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, prior to displaying the representation of the first viewpoint of the virtual three-dimensional object, the device may correspond to a representation of a view of the virtual three-dimensional object from each viewpoint (eg, corresponding to the virtual three-dimensional object) A user interface including a representation (eg, thumbnail or icon) of a virtual three-dimensional object including a static representation such as a two-dimensional image is displayed (18050). While displaying a representation of the virtual three-dimensional object, the device detects a request to display the virtual three-dimensional object (e.g., a tap input or other selection input on the representation of the virtual three-dimensional object) (18052) . In response to detecting the request to display the virtual three-dimensional object, the device has rotated the display of the representation of the virtual three-dimensional object, in order to match the respective viewpoints of the representations of the virtual three-dimensional object Replace with a virtual three-dimensional object (18054). 11A-11E provide an example of a
いくつかの実施形態では、第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０５６）。仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示している間、デバイスは、仮想三次元オブジェクトの二次元表現に対応するタッチ感知面上の場所において、プレビュー基準を満たす（例えば、プレビュー基準は、押圧入力の強度が第１の強度閾値（例えば、弱い押圧強度閾値）を超えることを必要とする、及び／又は、プレビュー基準は、押圧入力の持続時間が第１の持続時間閾値を超えることを必要とする）タッチ入力（例えば、接触の強度の増加）の第１の部分を検出する（１８０５８）。タッチ入力の第１の部分がプレビュー基準を満たすことを検出することに応じて、デバイスは、仮想三次元オブジェクトの二次元表現よりも大きな仮想三次元オブジェクトのプレビューを表示する（例えば、プレビューは、仮想三次元オブジェクトの異なる視点を示すためにアニメーション化される）（１８０６０）。いくつかの実施形態では、デバイスは、（例えば、入力の持続時間又は圧力に基づいて、又は、あらかじめ決定されたアニメーションの速度に基づいて）徐々に拡大する三次元オブジェクトのアニメーションを表示する。（例えば、現在表示されているユーザーインターフェースの表示を、異なるユーザーインターフェースと置き換えることなく）仮想三次元オブジェクトのプレビューを表示することは、（例えば、ユーザーが、仮想三次元オブジェクトを表示し、ユーザーインターフェース同士の間でのナビゲーションのための入力を提供する必要無しに仮想三次元オブジェクトの二次元表現を見るように戻せるようにすることによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, prior to displaying the first user interface, the device displays a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object (18056). While displaying a two-dimensional user interface including a two-dimensional representation of the virtual three-dimensional object, the device meets the preview criteria at locations on the touch sensitive surface corresponding to the two-dimensional representation of the virtual three-dimensional object (e.g. The preview criterion requires that the intensity of the pressure input exceeds a first intensity threshold (eg, a weak pressure intensity threshold) and / or the preview criterion indicates that the duration of the pressure input is a first duration threshold Detect a first portion of the touch input (e.g., an increase in the strength of the touch) (18058). In response to detecting that the first portion of the touch input meets the preview criteria, the device displays a preview of the virtual three-dimensional object that is larger than the two-dimensional representation of the virtual three-dimensional object (eg, the preview Animated to show different perspectives of the virtual three-dimensional object) (18060). In some embodiments, the device displays a gradually expanding animation of the three-dimensional object (eg, based on the duration or pressure of the input or based on a predetermined animation speed). Displaying a preview of a virtual three-dimensional object (eg, without replacing the display of the currently displayed user interface with a different user interface) (eg, the user displays the virtual three-dimensional object, the user interface By enhancing the operability of the device by allowing the two-dimensional representation of the virtual three-dimensional object to be viewed back without having to provide input for navigation between each other. Reducing the number of inputs required to perform the operation enhances the operability of the device. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、仮想三次元オブジェクトのプレビューを表示している間、デバイスは、（例えば、継続的に維持されている同じ接触によって）タッチ入力の第２の部分を検出する（１８０６２）。タッチ入力の第２の部分を検出することに応じて（１８０６４）、タッチ入力の第２の部分がメニュー表示基準を満たす（例えば、メニュー表示基準は、接触が、所定の方向へ、（例えば、上方へ）閾値量よりも多く移動することを必要とする）との判定にしたがって、デバイスは、仮想オブジェクトに関連付けられた複数の動作に対応する複数の選択可能なオプション（例えば、共有メニュー）（例えば、仮想オブジェクトを、別のデバイス又はユーザーと共有する様々な手段のような共有オプション）を表示し、タッチ入力の第２の部分がステージング基準（例えば、ステージング基準は、接触の強度が、第１の閾値強度よりも大きな第２の閾値強度（例えば、深い押圧強度閾値）を超えることを必要とする）を満たすとの判定にしたがって、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースに置き換える。仮想オブジェクトに関連付けられたメニューを表示すること、又は、仮想三次元オブジェクトの二次元表示を含む二次元ユーザーインターフェースの表示を、仮想三次元オブジェクトを含む第１のユーザーインターフェースと置き換えることは、ステージング基準が満たされているか否かに依存して、入力に応じて、多数の異なるタイプの動作の実行を可能にする。第１のタイプの入力を用いて、多数の異なるタイプの動作の実行を可能にすることは、効率を高め、これによって、ユーザーは、これらの操作を実行することができる。これによって、デバイスの操作性を高める。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, while displaying a preview of the virtual three-dimensional object, the device detects a second portion of touch input (eg, by the same contact being maintained continuously) (18062). . In response to detecting the second portion of the touch input (18064), the second portion of the touch input meets the menu display criteria (eg, the menu display criteria indicates that the touch is in a predetermined direction (eg, The device may select a plurality of selectable options (e.g., a share menu) (e.g., a share menu) that correspond to a plurality of actions associated with the virtual object. For example, a virtual object may be displayed as a sharing option, such as various means of sharing with another device or user, and the second portion of the touch input may be a staging criterion (eg, It was determined that the second threshold strength (for example, it is necessary to exceed a deep pressing strength threshold) larger than a threshold strength of 1 is satisfied. Te, the device displays the two-dimensional user interface including a two-dimensional representation of a virtual three-dimensional object, replacing the first user interface including a virtual three-dimensional object. Displaying a menu associated with a virtual object or replacing a display of a two-dimensional user interface that includes a two-dimensional display of a virtual three-dimensional object with a first user interface that includes a virtual three-dimensional object is a staging criterion Depending on whether or not is satisfied, it enables the execution of a number of different types of operations, depending on the input. Allowing the execution of many different types of operations using the first type of input increases the efficiency, which allows the user to perform these operations. This enhances the operability of the device. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、第１のユーザーインターフェースが、複数の制御（例えば、ワールドビューへの切り替えのため、戻る等のためのボタン）を含む（１８０６６）。第１のユーザーインターフェースを表示する前に、デバイスは、仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示する（１８０６８）。第１のユーザーインターフェースにおいて、仮想三次元オブジェクト表示するための要求を検出することに応じて、デバイスは（１８０７０）、仮想三次元オブジェクトに関連付けられた１つ以上の制御のセットを表示することなく、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示し、第１のユーザーインターフェース内に仮想三次元オブジェクトを表示した後、デバイスは、１つ以上の制御のセットを表示する。例えば、図１１Ａ〜図１１Ｅに関して説明されるように、仮想オブジェクト１１００２の二次元表現を含むユーザーインターフェース５０６０のディスプレイは、ステージングユーザーインターフェース６０１０の前に表示される。（図１１Ａに関して説明されるように、）ステージングユーザーインターフェース６０１０内に、仮想オブジェクト１１００２を表示するための要求に応じて、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０なしで（図１１Ｂ〜図１１Ｃに図示されるように）仮想オブジェクト１１００２が表示される。図１１Ｄ〜図１１Ｅでは、ステージングユーザーインターフェース６０１０の制御６０１６、６０１８、６０２０が、ユーザーインターフェース内のビューへフェードする。いくつかの実施形態では、１つ以上の制御のセットが、デバイスの１つ以上のカメラの視野において検出されたプレーンに対して固定された位置に仮想三次元オブジェクトが配置されている、拡張現実環境において仮想三次元オブジェクトを表示するための制御を含む。いくつかの実施形態では、第１のユーザーインターフェースにおいて仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができていない（例えば、仮想オブジェクトの三次元モデルが、第１のユーザーインターフェースが表示される準備ができている時に、完全にロードされない）（例えば、仮想オブジェクトのロード時間が、閾値時間よりも長い（例えば、顕著であり、ユーザーに知覚可能である））との判定にしたがって、デバイスは、第１のユーザーインターフェース内に、複数の制御を表示することなく、第１のユーザーインターフェースの一部（例えば、第１のユーザーインターフェースの背景ウィンドウ）を表示し、（例えば、第１のユーザーインターフェースの一部が、制御なしで表示された後）仮想三次元オブジェクトが、第１のユーザーインターフェース内に表示される準備ができているとの判定にしたがって、デバイスは、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示（例えば、フェードイン）しデバイスは、仮想三次元オブジェクトが第１のユーザーインターフェース内に表示された後、制御を表示（例えば、フェードイン）する。第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示するための要求を検出することに応じて、仮想三次元オブジェクトが表示される準備ができている（例えば、第１のユーザーインターフェースが表示される準備ができている場合、仮想オブジェクトの三次元モデルがロードされた）、（例えば、仮想オブジェクトのロード時間が、閾値時間よりも短い（例えば、無視することができ、ユーザーに知覚可能ではない））との判定にしたがって、デバイスは、第１のユーザーインターフェース上における複数の制御とともに、第１のユーザーインターフェースを表示し、デバイスは、複数の制御を用いて、第１のユーザーインターフェース内に、仮想三次元オブジェクトを表示する（例えば、フェードインしない）。いくつかの実施形態では、（例えば、「戻る」要求に応じて）二次元ユーザーインターフェースへ戻るために、ステージングユーザーインターフェースを出た場合、制御は、仮想三次元オブジェクトが仮想三次元オブジェクトの二次元表現へ変換される前に先ずフェードアウトする。ユーザーインターフェース内に、仮想三次元オブジェクトを表示した後、制御を表示することは、（例えば、仮想オブジェクトを操作するための制御が、仮想オブジェクトをロードするために必要とされる時間長さの間、利用可能ではないことを示す）視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザーへ提供することは、（例えば、仮想オブジェクトのためのロード時間中、操作動作が利用可能ではない間、ユーザーがオブジェクトを操作するための入力の提供を回避することを支援することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the first user interface includes a plurality of controls (eg, a button for back, etc., to switch to world view) (18066). Prior to displaying the first user interface, the device displays a two-dimensional user interface that includes a two-dimensional representation of the virtual three-dimensional object (18068). In the first user interface, in response to detecting a request to display a virtual three-dimensional object (18070), the device does not display a set of one or more controls associated with the virtual three-dimensional object After displaying the virtual three-dimensional object in the first user interface and displaying the virtual three-dimensional object in the first user interface, the device displays one or more sets of controls. For example, as described with respect to FIGS. 11A-11E, a display of
図１８Ａ〜図１８Ｉにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（方法８００、９００、１０００、１６０００、１７０００、１９０００、及び２００００）に関して本明細書で説明される他の処理の詳細はまた、図１８Ａ〜図１８Ｉに関して上述された方法１８０００と類似の方式で適用可能であることが注目されるべきである。例えば、方法１８０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、８００、９００、１０００、１７０００、１８０００、１９０００、及び２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It is understood that the specific order in which the operations in FIGS. 18A-18I are described is merely an example, and the described order is not intended to indicate that this is the only order in which operations may be performed. Should be. One of ordinary skill in the art would recognize various approaches to reordering the operations described herein. In addition, details of other processes described herein with respect to other methods described herein (
図１９Ａ〜図１９Ｈは、第１の閾値移動大きさが、第１のオブジェクト操作挙動のために満たされているとの判定にしたがって、第２のオブジェクト操作挙動のために必要な第２の閾値移動大きさを増加させる方法１９０００を例示するフロー図である。方法１９０００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）とタッチ感知面（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００、）において実行される。方法１９０００におけるいくつかの動作は、オプションで、組み合わされるか、及び／又は、いくつかの動作の順序は、オプションで、変更される。
19A to 19H show the second threshold necessary for the second object operation behavior according to the determination that the first threshold movement magnitude is satisfied for the first object operation behavior. FIG. 16 is a flow diagram illustrating a
デバイスは、第１のジェスチャ認識基準（例えば、回転基準）を満たす入力に応じて実行される第１のオブジェクト操作挙動（例えば、それぞれの軸の周りのユーザーインターフェースオブジェクトの回転）と、第２のジェスチャ認識基準（例えば、変換基準とスケーリング基準とのうちの１つ）を満たす入力に応じて実行される第２のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの変換、又は、ユーザーインターフェースオブジェクトのスケーリングのうちの１つ）とを含む、複数のオブジェクト操作挙動に関連付けられたユーザーインターフェースオブジェクト（例えば、仮想オブジェクトの表現を含むユーザーインターフェース領域）を含む第１のユーザーインターフェース領域を、表示生成コンポーネントを介して表示する（１９００２）。例えば、表示された仮想オブジェクト１１００２は、（例えば、図１４Ｂ〜図１４Ｅに関して説明されるような）それぞれの軸の周りの回転、（例えば、図１４Ｋ〜図１４Ｍに関して説明されるような）変換、及び（図１４Ｇ〜図１４Ｉに関して説明されるような）スケーリングを含む操作挙動に関連付けられる。
The device performs a first object manipulation behavior (eg, rotation of a user interface object around respective axes) that is performed in response to an input that satisfies a first gesture recognition criterion (eg, a rotation criterion); A second object manipulation behavior (eg, transformation of a user interface object or scaling of a user interface object) performed in response to an input that satisfies a gesture recognition criterion (eg, one of a transformation criterion and a scaling criterion) A first user interface area including user interface objects (eg, a user interface area including a representation of a virtual object) associated with a plurality of object operation behaviors, including one of Be displayed via the (19002). For example, displayed
第１のユーザーインターフェース領域を表示している間、デバイスは、タッチ感知面にわたる１つ以上の接触の移動を検出することを含むユーザーインターフェースオブジェクトへ向けられた入力の第１の部分を検出し（例えば、デバイスは、ユーザーインターフェースオブジェクトの表示位置に対応するタッチ感知面上の場所における１つ以上の接触を検出し）、１つ以上の接触が、タッチ感知面上で検出されている間、デバイスは、第１のジェスチャ認識基準と第２のジェスチャ認識基準との両方に関する１つ以上の接触の移動を評価する（１９００４）。 While displaying the first user interface area, the device detects a first portion of input directed to the user interface object that includes detecting movement of one or more contacts across the touch-sensitive surface ( For example, the device detects one or more contacts at a location on the touch-sensitive surface corresponding to the display position of the user interface object), while the one or more contacts are detected on the touch-sensitive surface. Evaluates the movement of one or more contacts for both the first gesture recognition criterion and the second gesture recognition criterion (19004).
入力の第１の部分を検出することに応じて、デバイスは、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する。これは、第２のジェスチャ認識基準を満たす前に、入力の第１の部分が第１のジェスチャ認識基準を満たしているとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させる（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化せることなく、）第２のジェスチャ認識基準のための閾値を増加させる（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第２のジェスチャ認識基準を更新することとを含む（１９００６）。例えば、図１４Ｅにおいて、仮想オブジェクト１１００２は、（スケーリング基準が満たされる前に）回転基準が満たされているとの判定にしたがって回転され、スケーリング基準のための閾値ＳＴが、ＳＴ'へ増加される。いくつかの実施形態では、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、変換及びスケーリングのための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。この入力が、第１のジェスチャ認識基準を満たす前に、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させ（例えば、ユーザーインターフェースオブジェクトを変換するか、又は、ユーザーインターフェースオブジェクトをリサイズし）、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変化させることなく）第１のジェスチャ認識基準のための閾値を増加させる（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第１のジェスチャ認識基準を更新する。例えば、図１４Ｉにおいて、仮想オブジェクト１１００２のサイズは、（回転基準が満たされる前に）スケーリング基準が満たされているとの判定にしたがって増加し、回転基準のための閾値ＲＴが、ＲＴ'へ増加される。いくつかの実施形態では、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転するためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転操作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、各タイプの操作挙動のためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、各タイプの操作挙動のための外観のそれぞれの態様）との間でプリセットされた調和（例えば、各タイプの操作挙動のためのそれぞれの調和）に従う。入力された移動が、第２のオブジェクト操作のための第２の閾値を超えて増加した場合、第１のオブジェクト操作のために必要とされる入力移動のための第１の閾値を増加させることは、（例えば、ユーザーが、第１のオブジェクト操作を実行するための入力の提供を試みている間、第２のオブジェクト操作を誤って実行することを回避することを支援することによって）デバイスの操作性を高める。異なるタイプのオブジェクト操作を制御するユーザーの能力を改善することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。
In response to detecting the first portion of the input, the device updates the appearance of the user interface object based on the first portion of the input. This is based on the first portion of the input (eg, the input according to the determination that the first portion of the input meets the first gesture recognition criterion before meeting the second gesture recognition criterion) Changing the appearance of the user interface object (eg, rotate the user interface object) according to the first object manipulation behavior based on the direction and / or size of the first portion of the Increase the threshold for the second gesture recognition criterion (eg, the movement parameter (eg, movement distance) in the second gesture recognition criterion, without changing the appearance of the user interface object according to the object operation behavior of 2). By increasing the threshold required for), speed, etc.) , And updating the second gesture recognition criteria (19006). For example, in FIG. 14E, the
いくつかの実施形態では、入力の第１の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後、デバイスは、（例えば、入力の第１の部分において連続的に維持されている同じ接触、又は、入力の第１の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第２の部分を検出する（１９００８）。いくつかの実施形態では、入力の第２の部分は、ユーザーインターフェースオブジェクトへ向けられた連続的に検出された入力に基づいて検出される。入力の第２の部分を検出することに応じて、デバイスは、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０１０）。これは、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第１のジェスチャ認識基準又は元の第２のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第２のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第２のジェスチャ認識基準を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たさないとの判定にしたがって、（例えば、入力の第２の部分が、第２のジェスチャ認識基準又は元の第１のジェスチャ認識基準を満たすか否かを考慮することなく、）入力の第２の部分に基づいて（例えば、入力の第２の部分の方向及び／又は大きさに基づいて）、第１のオブジェクト操作挙動にしたがって、（例えば、入力の第２の部分が、更新される前の元の第１のジェスチャ認識を満たしていても）ユーザーインターフェースオブジェクトの外観を変更することなく、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。 In some embodiments, after updating the appearance of the user interface object based on the first part of the input, the device may (eg, the same contact that is continuously maintained in the first part of the input, Alternatively, a second portion of the input is detected (19008) by a different contact detected after termination of the contact (eg, lift off) at the first portion of the input. In some embodiments, the second portion of the input is detected based on the continuously detected input directed to the user interface object. In response to detecting the second portion of the input, the device updates the appearance of the user interface object based on the second portion of the input (19010). This is in accordance with a determination that the first portion of the input meets the first gesture recognition criteria and the second portion of the input does not meet the updated second gesture recognition criteria (eg, input Based on the second part of the input (e.g., without considering whether the second part of the input satisfies the first gesture recognition criterion or the original second gesture recognition criterion) According to the second object manipulation behavior (e.g., the second part of the input meets the original second gesture recognition criteria before being updated) based on the direction and / or size of the part. Changing the appearance of the user interface object according to the first object operation behavior without changing the appearance of the user interface object, and the first part of the input According to the determination that the second gesture recognition criterion is satisfied and the second portion of the input does not satisfy the updated first gesture recognition criterion (eg, the second portion of the input is the second Based on the second part of the input (e.g., without regard to whether or not the first gesture recognition standard or the original first gesture recognition standard is met) Change the appearance of the user interface object according to the first object manipulation behavior (eg, even if the second part of the input satisfies the original first gesture recognition before being updated) Changing the appearance of the user interface object according to the second object operation behavior.
いくつかの実施形態（１９０１２）では、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観が変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第２のジェスチャ認識基準における入力の移動パラメータに関する元の閾値を用いて、）第２のジェスチャ認識基準が更新される前に、第２のジェスチャ認識基準を満たす入力を含んでいる（例えば、入力の第２の部分は、更新された第２のジェスチャ認識基準を満たす入力を含んでいない）。 In some embodiments (19012), after the first part of the input meets the first gesture recognition criteria, the user interface according to the first object manipulation behavior based on the second part of the input. While the appearance of the object is changed, the second part of the input (e.g. using the original threshold for the movement parameter of the input in the second gesture recognition criterion before the threshold is increased) Before the gesture recognition criteria of are updated, the input satisfying the second gesture recognition criterion (e.g., the second part of the input includes the input meeting the updated second gesture recognition criterion) Not in).
いくつかの実施形態（１９０１４）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、閾値が増加される前に、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いて、）第１のジェスチャ認識基準が更新される前に、第１のジェスチャ認識基準を満たす入力を含む（例えば、入力の第２の部分は、更新された第１のジェスチャ認識基準を満たす入力を含まない）。 In some embodiments (19014), the appearance of the user interface object is based on the second part of the input after the first part of the input meets the second gesture recognition criteria. While the second part of the input is changed according to the operating behavior (e.g., using the original threshold for the input movement parameter in the first gesture recognition criterion before the threshold is increased) Before the first gesture recognition criteria are updated, include inputs that satisfy the first gesture recognition criteria (eg, a second portion of the input does not include inputs that meet the updated first gesture recognition criteria). ).
いくつかの実施形態（１９０１６）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第１のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第１のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第１のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準が満たされると、入力は、第１のオブジェクト操作挙動を引き起こすために、もはや第１のジェスチャ認識基準を満たし続ける必要はない。 In some embodiments (19016), the appearance of the user interface object is based on the second portion of the input after the first portion of the input meets the first gesture recognition criteria. An input that satisfies the first gesture recognition criteria (eg, using the original threshold for the input movement parameter in the first gesture recognition criteria) while being changed according to the operating behavior. Not included. For example, once the first gesture recognition criteria are met, the input no longer needs to continue to meet the first gesture recognition criteria to cause the first object manipulation behavior.
いくつかの実施形態（１９０１８）では、ユーザーインターフェースオブジェクトの外観は、入力の第１の部分が、第２のジェスチャ認識基準を満たした後、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがって変更される一方、入力の第２の部分は、（例えば、第２のジェスチャ認識基準における入力の移動パラメータのための元の閾値を用いた）第２のジェスチャ認識基準を満たす入力を含まない。例えば、第２のジェスチャ認識基準が満たされると、入力は、第２のオブジェクト操作挙動を引き起こすために、もはや第２のジェスチャ認識基準を満たし続ける必要はない。入力の第２の部分が、増加された閾値を超えて増加する移動を含む場合に、第１のオブジェクト操作挙動を実行することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された基準を満たすことによって第１のオブジェクト操作を実行した後、第２のオブジェクト操作を意図的に実行する能力をユーザーに提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を改善し、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19018), the appearance of the user interface object is based on the second part of the input after the first part of the input meets the second gesture recognition criteria. An input that satisfies the second gesture recognition criterion (eg, using the original threshold for the input movement parameter in the second gesture recognition criterion) while being changed according to the operating behavior. Not included. For example, if the second gesture recognition criterion is met, the input no longer needs to continue to satisfy the second gesture recognition criterion to cause the second object manipulation behavior. Performing the first object manipulation behavior when the second part of the input includes movement that increases beyond the increased threshold (eg, to provide a new input to the user) Enhance device operability by providing the user with the ability to intentionally perform a second object operation after performing a first object operation by meeting increased criteria without requiring it . Reducing the number of inputs required to perform an operation improves the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新することは入力の第１の部分が、第２のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、入力の第１の部分が、第１のジェスチャ認識基準を満たし、入力の第２の部分が、更新された第２のジェスチャ認識基準を満たすとの判定にしたがって、入力の第２の部分に基づいて、第１のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更し、入力の第２の部分に基づいて、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更することと、を含む（１９０２０）。例えば、第１のジェスチャ認識基準がまず満たされ、その後、入力が更新された第２のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。例えば、第２のジェスチャ認識基準がまず満たされ、その後、入力が更新された第１のジェスチャ認識基準を満たした後、入力は、第１及び第２の両方のオブジェクト操作挙動を引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, updating the appearance of the user interface object based on the second part of the input satisfies that the first part of the input meets the second gesture recognition criteria, and the second part of the input Changing the appearance of the user interface object according to the first object manipulation behavior based on the second portion of the input according to the determination that the updated first gesture recognition criterion is satisfied, Changing the appearance of the user interface object according to the second object manipulation behavior based on the first part, the first part of the input satisfies the first gesture recognition criteria, and the second part of the input is According to the determination that the updated second gesture recognition criterion is met, the first step of the first step is performed based on the second part of the input. According inject operation behavior to change the appearance of the user interface object, based on the second portion of the input includes changing the appearance of the user interface objects in accordance with the second object manipulation behavior, the (19020). For example, after the first gesture recognition criterion is met first and then the input meets the updated second gesture recognition criterion, the input can cause both first and second object manipulation behavior. . For example, after the second gesture recognition criterion is satisfied first and then the input satisfies the updated first gesture recognition criterion, the input can cause both first and second object manipulation behavior. . Updating the object according to the first object operation behavior and the second object operation behavior according to a part of the input detected after the second gesture recognition criterion and the updated first gesture recognition criterion are satisfied. (E.g., using the first object operation and the second object operation after meeting the increased threshold without requiring the user to provide new input, Enhance the operability of the device by providing the user with the ability to operate freely. Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、入力の第２の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後）、デバイスは、（例えば、入力の第１及び第２の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分及び第２の部分の接触の終了（例えば、リフトオフ）後に検出された異なる接触によって）入力の第３の部分を検出する（１９０２２）。入力の第３の部分を検出することに応じて、デバイスは、入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０２４）。これは、入力の第３の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第３の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することとを含む。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１のオブジェクト操作タイプを実行する意図を確証した後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, after updating the appearance of the user interface object based on the second portion of the input (eg, both the first gesture recognition criterion and the updated second gesture recognition criterion are satisfied) After being done, or after both the second gesture recognition criterion and the updated first gesture recognition criterion have been met, the device may (e.g., continuously in the first and second parts of the input) The third portion of the input (19022) by the same contact being maintained at or the different contact detected after termination of contact of the first and second portions of the input (eg lift off) (19022 ). In response to detecting the third portion of the input, the device updates the appearance of the user interface object based on the third portion of the input (19024). This is based on the third part of the input, according to the first object manipulation behavior, changing the appearance of the user interface object, and on the second object manipulation behavior based on the third part of the input Thus, changing the appearance of the user interface object. For example, after both the first gesture recognition criterion and the updated second gesture recognition criterion are satisfied, or both the second gesture recognition criterion and the updated first gesture recognition criterion are satisfied. Once done, the input can subsequently trigger both the first and second object manipulation behaviors without considering the original or updated first and second gesture recognition criteria thresholds. Update the object according to the first object manipulation behavior and the second object manipulation behavior in response to a portion of the input detected after the second gesture recognition criterion and the updated first gesture recognition criterion are met (E.g., after confirming the intention to perform the first object operation type by meeting the increased threshold without requiring the user to provide a new input) By providing the user with the ability to freely manipulate the object using the object manipulation and the second object manipulation of Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態（１９０２６）では、入力の第３の部分は、第１のジェスチャ認識基準を満たす入力、又は、第２のジェスチャ認識基準を満たす入力を含まない。例えば、第１のジェスチャ認識基準と更新された第２のジェスチャ認識基準との両方が満たされた後、又は、第２のジェスチャ認識基準と更新された第１のジェスチャ認識基準との両方が満たされた後、入力は、元の又は更新された第１及び第２のジェスチャ認識基準の閾値を考慮せずに、後続して、第１及び第２のオブジェクト操作挙動をともに引き起こすことができる。第２のジェスチャ認識基準及び更新された第１のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、高められた基準を満たした後、第１のオブジェクト操作及び第２のオブジェクト操作を使用して、オブジェクトを自由に操作する能力を、ユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19026), the third portion of the input does not include an input that meets the first gesture recognition criteria or an input that meets the second gesture recognition criteria. For example, after both the first gesture recognition criterion and the updated second gesture recognition criterion are satisfied, or both the second gesture recognition criterion and the updated first gesture recognition criterion are satisfied. Once done, the input can subsequently trigger both the first and second object manipulation behaviors without considering the original or updated first and second gesture recognition criteria thresholds. Update the object according to the first object manipulation behavior and the second object manipulation behavior in response to a portion of the input detected after the second gesture recognition criterion and the updated first gesture recognition criterion are met (E.g., using a first object operation and a second object operation after meeting the enhanced criteria without requiring the user to provide new input) By providing the user with the ability to operate the device freely). Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、複数のオブジェクト操作挙動が、第３のジェスチャ認識基準（例えば、スケーリング基準）を満たす入力に応じて実行される第３のオブジェクト操作挙動（例えば、ユーザーインターフェースオブジェクトの、それぞれの軸の周りの回転）を含む（１９０２８）。入力の第１の部分に基づいてユーザーインターフェースオブジェクトの外観を更新することは、第２のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ認識基準を満たす前に、入力の第１の部分が、第１のジェスチャ認識基準を満たすとの判定にしたがって、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更する（例えば、ユーザーインターフェースオブジェクトを回転させる）ことと、（例えば、第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変化させることなく）第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新することとを含む（１９０３０）。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。デバイスは、第３のジェスチャ認識基準のための閾値を増加させる（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させる）ことによって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。第１のジェスチャ認識基準を満たす前に、又は、第３のジェスチャ基準を満たす前に、入力が、第２のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトを変換、又は、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく）第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第３のジェスチャ認識基準のための閾値を増加させること（例えば、第３のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第３のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスされる。第１のジェスチャ認識基準を満たす前に、又は、第２のジェスチャ基準を満たす前に、入力が、第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、入力の第１の部分に基づいて（例えば、入力の第１の部分の方向及び／又は大きさに基づいて）第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更（例えば、ユーザーインターフェースオブジェクトをリサイズ）し、（例えば、第１のオブジェクト操作挙動及び第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新することなく、）デバイスは、第１のジェスチャ認識基準のための閾値を増加させること（例えば、第１のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって、第１のジェスチャ認識基準を更新する。例えば、オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされる前に、（オブジェクトを回転させるためのジェスチャを認識するための基準が以前に満たされていないと仮定して、）回転のためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける回転動作を開始することは比較的容易である。オブジェクトを変換又はスケールするためのジェスチャを認識するための基準が満たされると、オブジェクトにおける回転動作を開始することはより困難になり、（例えば、オブジェクトを回転させるための基準は、移動パラメータのための増加された閾値を用いて更新され、）すでに認識され、このオブジェクトを操作するために使用されているジェスチャに対応する操作挙動へ向けて、オブジェクト操作挙動がバイアスされる。いくつかの実施形態では、ユーザーインターフェースオブジェクトの外観は、入力のそれぞれの移動パラメータの値にしたがって（例えば、異なるサイズ、位置、視点、反射、影等を示して）動的及び連続的に変更される。いくつかの実施形態では、デバイスは、移動パラメータ（例えば、操作挙動の各タイプのためのそれぞれの移動パラメータ）と、ユーザーインターフェースオブジェクトの外観に対してなされた変更（例えば、操作挙動の各タイプのための外観のそれぞれの態様）との間であらかじめ設定された調和（例えば、操作挙動の各タイプのためのそれぞれの調和）に従う。デバイスは、第２のジェスチャ認識基準のための閾値を増加させること（例えば、第２のジェスチャ認識基準における移動パラメータ（例えば、移動距離、速度等）のために必要とされる閾値を増加させること）によって第２のジェスチャ認識基準を更新する。例えば、オブジェクトを回転させるためのジェスチャを認識するための基準が満たされる前に、（変換又はスケーリングのための基準が以前に満たされていないと仮定して、）変換又はスケーリングのためのジェスチャを認識するための基準を満たすことによって、オブジェクトにおける変換又はスケーリング動作を開始することは比較的容易である。オブジェクトを回転させるためのジェスチャを認識するための基準が満たされると、オブジェクトにおける変換又はスケーリング動作を開始することはより困難になり、（例えば、移動パラメータのための増加された閾値を用いて、変換及びスケーリングのための基準が更新され、）すでに認識され、このオブジェクトを操作するために使用されるジェスチャに対応する操作挙動へ向けて、オブジェクト操作がバイアスさせる。対応する第３のジェスチャ認識基準が満たされた場合にのみ、検出された入力の一部に応じて、第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、第１のオブジェクト操作又は第２のオブジェクト操作を実行するための入力の提供を試みている間に、ユーザーが誤って第３のオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the third object manipulation behavior (eg, each of the user interface objects) is executed in response to an input in which the plurality of object manipulation behaviors satisfy a third gesture recognition criterion (eg, a scaling criterion). Rotation around the axis of (19028). Updating the appearance of the user interface object based on the first part of the input may be performed before the second gesture recognition criterion is met or the third gesture recognition criterion is met. First object manipulation based on the first portion of the input (eg, based on the direction and / or magnitude of the first portion of the input) according to the determination that the first gesture recognition criterion is met Changing the appearance of the user interface object according to the behavior (eg, rotating the user interface object) and the second (eg, without changing the appearance of the user interface object according to the second object operation behavior). Increasing the threshold for gesture recognition criteria (eg, second Movement parameter in the gesture recognition criteria (e.g., moving distance, speed, etc.) and updating the second gesture recognition criteria by) increasing the threshold required for (19030). For example, before a criterion for recognizing a gesture for rotating an object is satisfied, a gesture for conversion or scaling is assumed (assuming that the criterion for conversion or scaling has not been previously satisfied). It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. When the criteria for recognizing a gesture for rotating an object are met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for movement parameters, The criteria for transformation and scaling are updated, and object manipulations are biased towards manipulation behaviors that are already recognized and correspond to gestures used to manipulate this object. The device increases the threshold for the third gesture recognition criterion (e.g. increases the threshold required for movement parameters (e.g. movement distance, speed etc) in the third gesture recognition criterion) To update the third gesture recognition criterion. For example, before a criterion for recognizing a gesture for rotating an object is satisfied, a gesture for conversion or scaling is assumed (assuming that the criterion for conversion or scaling has not been previously satisfied). It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. When the criteria for recognizing a gesture for rotating an object are met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for movement parameters, The criteria for transformation and scaling are updated and the object operation is biased towards the operation behavior corresponding to the gesture that has already been recognized and used to operate this object. In accordance with the determination that the input meets the second gesture recognition criteria before meeting the first gesture recognition criteria or before meeting the third gesture criteria, the device enters the first portion of the input. Change the appearance of the user interface object according to the second object operation behavior based on (e.g. based on the direction and / or size of the first part of the input) (e.g. transform the user interface object or the user Resizing the interface object (e.g., without updating the appearance of the user interface object according to the first object manipulation behavior) increasing the threshold for the first gesture recognition criterion (e.g. the first Movement parameters in gesture recognition criteria (eg Travel distance, by increasing) the threshold required for speed, etc.), and updates the first gesture recognition criteria. For example, before criteria for recognizing gestures for transforming or scaling an object are met (assuming that criteria for recognizing gestures for rotating an object have not been met previously) By satisfying the criteria for recognizing a gesture for rotation, it is relatively easy to initiate a rotation motion on the object. When the criteria for recognizing a gesture to transform or scale an object are met, it becomes more difficult to initiate a rotational motion on the object (for example, the criteria for rotating the object are for motion parameters) The object manipulation behavior is biased towards the manipulation behavior corresponding to the gesture that is already recognized and used to manipulate this object. In some embodiments, the appearance of the user interface object is dynamically and continuously changed (eg, indicating different sizes, positions, viewpoints, reflections, shadows, etc.) according to the values of the respective movement parameters of the input The In some embodiments, the device may include movement parameters (eg, respective movement parameters for each type of manipulation behavior) and changes made to the appearance of the user interface object (eg, each type of manipulation behavior). According to the preset harmonization (for example, the respective harmonization for each type of manipulation behavior) with each aspect of the appearance of The device increases the threshold required for the third gesture recognition criterion (e.g. increase the movement parameter (e.g. movement distance, speed etc) in the third gesture recognition criterion) ) To update the third gesture recognition standard. For example, before a criterion for recognizing a gesture for rotating an object is satisfied, a gesture for conversion or scaling is assumed (assuming that the criterion for conversion or scaling has not been previously satisfied). It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. When the criteria for recognizing a gesture for rotating an object are met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for movement parameters, The criteria for transformation and scaling are updated, and object manipulations are biased towards manipulation behaviors that are already recognized and correspond to gestures used to manipulate this object. In accordance with the determination that the input meets the third gesture recognition criteria before meeting the first gesture recognition criteria or before meeting the second gesture criteria, the device enters the first portion of the input. Change the appearance of the user interface object (eg, resize the user interface object) according to the third object operation behavior based on (eg, based on the direction and / or size of the first part of the input) For example, without updating the appearance of the user interface object according to the first object manipulation behavior and the second object manipulation behavior, the device increases the threshold for the first gesture recognition criterion (eg, Movement parameters in the first gesture recognition criterion (eg movement Away, it is increasing the threshold required for speed)) by updating the first gesture recognition criteria. For example, before criteria for recognizing gestures for transforming or scaling an object are met (assuming that criteria for recognizing gestures for rotating an object have not been met previously) By satisfying the criteria for recognizing a gesture for rotation, it is relatively easy to initiate a rotation motion on the object. When the criteria for recognizing a gesture to transform or scale an object are met, it becomes more difficult to initiate a rotational motion on the object (for example, the criteria for rotating the object are for motion parameters) The object manipulation behavior is biased towards the manipulation behavior corresponding to the gesture that is already recognized and used to manipulate this object. In some embodiments, the appearance of the user interface object is dynamically and continuously changed (eg, indicating different sizes, positions, viewpoints, reflections, shadows, etc.) according to the values of the respective movement parameters of the input The In some embodiments, the device may include movement parameters (eg, respective movement parameters for each type of manipulation behavior) and changes made to the appearance of the user interface object (eg, each type of manipulation behavior). According to the preset harmonization (for example, the respective harmonization for each type of manipulation behavior) with each aspect of the appearance of The device increases the threshold required for the second gesture recognition criterion (e.g. increasing the movement parameter (e.g. movement distance, speed etc) in the second gesture recognition criterion) ) To update the second gesture recognition standard. For example, before a criterion for recognizing a gesture for rotating an object is satisfied, a gesture for conversion or scaling is assumed (assuming that the criterion for conversion or scaling has not been previously satisfied). It is relatively easy to initiate a transformation or scaling operation on an object by meeting the criteria for recognition. When the criteria for recognizing a gesture for rotating an object are met, it becomes more difficult to initiate a transformation or scaling operation on the object (e.g. with an increased threshold for movement parameters, The criteria for transformation and scaling are updated and the object operation is biased towards the operation behavior corresponding to the gesture that has already been recognized and used to operate this object. Updating the object according to the third object manipulation behavior in response to a portion of the detected input only if the corresponding third gesture recognition criterion is satisfied (eg, the first object manipulation Or) by enhancing the operability of the device by assisting the user to avoid accidentally performing the third object operation while attempting to provide input to perform the second object operation . Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態では、複数のオブジェクト操作挙動は、第３のジェスチャ認識基準を満たす入力に応じて実行される第３のオブジェクト操作挙動を含み（１９０３２）、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たす前に、入力の第１の部分は、第３のジェスチャ認識基準を満たしておらず、入力の第１の部分が、第１のジェスチャ認識基準又は第２のジェスチャ認識基準を満たした後、デバイスは、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新し、入力の第２の部分は、更新された第１のジェスチャ認識基準又は更新された第２のジェスチャ認識基準を満たす前に、更新された第３のジェスチャ認識基準を満たしていない（例えば、デバイスは、入力の第１の部分が、第１又は第２のジェスチャ認識基準のうちの１つを満たした後、第３のジェスチャ認識基準のための閾値を増加させることによって、第３のジェスチャ認識基準を更新した）。入力の第３の部分を検出することに応じて（１９０３４）、（例えば、入力の第３の部分が、（例えば、更新された、又は、元の）第１又は第２のジェスチャ認識基準を満たしているか否かを考慮することなく、）更新された第３のジェスチャ認識基準を満たすとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて（例えば、入力の第３の部分の方向及び／又は大きさに基づいて）、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を更新する。入力の第３の部分が、更新された第３のジェスチャ認識基準を満たさないとの判定にしたがって、デバイスは、（例えば、（例えば、たとえ入力の第３の部分が元の第１及び第２のジェスチャ認識基準を満たさなくても）第１及び第２のオブジェクト操作挙動にしたがってユーザーインターフェースオブジェクトの外観を変更しながら）入力の第３の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することを控える。第２のジェスチャ認識基準、更新された第１のジェスチャ認識基準、及び、更新された第３のジェスチャ認識基準が満たされた後に検出された入力の一部に応じて、第１のオブジェクト操作挙動、第２のオブジェクト操作挙動、及び第３のオブジェクト操作挙動にしたがってオブジェクトを更新することは、（例えば、ユーザーに対して新たな入力を提供するように要求することなく、増加された閾値を満たすことによって、第１、第２、及び第３の３つすべてのオブジェクト操作タイプを実行する意図を確立した後、ユーザーへ、第１、第２、及び第３のオブジェクト操作タイプを使用して、オブジェクトを自由に操作する能力をユーザーへ提供することによって、）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the plurality of object manipulation behaviors includes a third object manipulation behavior that is performed in response to an input that satisfies a third gesture recognition criterion (19032), the first gesture recognition criterion or the second The first part of the input does not meet the third gesture recognition standard, and the first part of the input does not satisfy the first gesture recognition standard or the second gesture recognition standard. After satisfying, the device updates the third gesture recognition criterion by increasing the threshold for the third gesture recognition criterion, and the second part of the input is the updated first gesture recognition. The updated third gesture recognition criterion is not satisfied before meeting the criterion or the updated second gesture recognition criterion (e.g., the device receives the first input) Portion, after filling one of the first or second gesture recognition criteria, by increasing the threshold for a third gesture recognition criteria, updating the third gesture recognition criteria). In response to detecting a third portion of the input (19034), (eg, the third portion of the input (eg, updated or original) first or second gesture recognition criteria According to the determination that the updated third gesture recognition criteria are met, without considering the meeting (e.g., even if the third part of the input is the original first) Based on the third part of the input (eg, while the appearance of the user interface object is changed according to the first and second object operation behaviors) even if the second and third gesture recognition criteria are not met Update the appearance of the user interface object according to the third object manipulation behavior) (based on the orientation and / or size of the part). According to the determination that the third part of the input does not meet the updated third gesture recognition criteria, the device may (for example, even if the third part of the input is original first and second Based on the third part of the input, based on the third part of the input, while changing the appearance of the user interface object according to the first and second object manipulation behavior) Avoid changing the appearance of user interface objects. The first object manipulation behavior in response to the second gesture recognition criterion, the updated first gesture recognition criterion, and a portion of the input detected after the updated third gesture recognition criterion is satisfied. Updating the object according to the second object manipulation behavior and the third object manipulation behavior (eg, satisfying the increased threshold without requiring the user to provide new input) By using the first, second, and third object operation types to the user after establishing the intention to perform all three of the first, second, and third object operation types. By providing the user with the ability to manipulate objects freely)) Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態（１９０３６）では、入力の第３の部分は、更新された第３のジェスチャ認識基準を満たした。入力の第３の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新した後（例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準の両方が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準の両方が満たされた後）、デバイスは、（例えば、入力の第１、第２、及び第３の部分において連続的に維持されている同じ接触によって、又は、入力の第１の部分、第２及び第３の部分における接触の終了（例えば、リフトオフ）後に検出された異なる接触によって、）入力の第４の部分を検出する（１９０３８）。入力の第４の部分を検出することに応じて、デバイスは、入力の第４の部分に基づいて、ユーザーインターフェースオブジェクトの外観を更新する（１９０４０）。これは、入力の第４の部分に基づいて、第１のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第２のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、入力の第４の部分に基づいて、第３のオブジェクト操作挙動にしたがって、ユーザーインターフェースオブジェクトの外観を変更することと、を含む。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。 In some embodiments (19036), the third part of the input met the updated third gesture recognition criteria. After updating the appearance of the user interface object based on the third part of the input (eg, after both the first gesture recognition criteria and the updated second and third gesture recognition criteria are met) Or after both the second gesture recognition criteria and the updated first and third gesture recognition criteria are met (eg, the first, second, and third of the inputs). Of the input) by the same contact that is continuously maintained in the part of the The fourth part is detected (19038). In response to detecting the fourth portion of the input, the device updates the appearance of the user interface object based on the fourth portion of the input (19040). This is based on changing the appearance of the user interface object according to the first object operation behavior based on the fourth part of the input, and changing to the second object operation behavior based on the fourth part of the input. Thus, changing the appearance of the user interface object, and changing the appearance of the user interface object according to the third object manipulation behavior based on the fourth part of the input. For example, after the first gesture recognition standard and the updated second and third gesture recognition standards are satisfied, or after the second gesture recognition standard and the updated first and third gestures. After the recognition criteria are met, the input is followed by all three types of operational behavior without considering the thresholds in the original or updated first, second, and third gesture recognition criteria. Can cause
いくつかの実施形態では、入力の第４の部分は第１のジェスチャ認識基準を満たす入力、第２のジェスチャ認識基準を満たす入力、又は、第３のジェスチャ認識基準を満たす入力を含まない（１９０４２）。例えば、第１のジェスチャ認識基準、及び、更新された第２及び第３のジェスチャ認識基準が満たされた後、又は、第２のジェスチャ認識基準、及び、更新された第１及び第３のジェスチャ認識基準が満たされた後、入力は、元の又は更新された第１、第２、及び第３のジェスチャ認識基準における閾値を考慮することなく、後続して、３つすべてのタイプの操作挙動を引き起こし得る。ジェスチャのために同時に検出される接触数を必要とすることは、（例えば、必要とされる同時検出される接触数未満の入力を提供している間、ユーザーが誤ってオブジェクト操作を実行することを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the fourth portion of the input does not include an input that satisfies the first gesture recognition criterion, an input that satisfies the second gesture recognition criterion, or an input that satisfies the third gesture recognition criterion (19042). ). For example, after the first gesture recognition standard and the updated second and third gesture recognition standards are satisfied, or after the second gesture recognition standard and the updated first and third gestures. After the recognition criteria are met, the input is followed by all three types of operational behavior without considering the thresholds in the original or updated first, second, and third gesture recognition criteria. Can cause Requiring the number of contacts detected at the same time for a gesture (for example, a user performing an object operation accidentally while providing input less than the number of simultaneously detected contacts required) Enhance device operability (by helping to avoid). Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態（１９０４４）では、第１のジェスチャ認識基準及び第２のジェスチャ認識基準（及び第３のジェスチャ認識基準）はともに、満たされるために、同時に検出される第１の接触数（例えば、２つの接触）を必要とする。いくつかの実施形態では、変換のために、１本指ジェスチャもまた使用され得、１本指変換閾値は、２本指変換閾値よりも低い。いくつかの実施形態では、２本指変換ジェスチャのために設定された元の及び更新された移動閾値は、接触の重心によるそれぞれ４０ポイント及び７０ポイントの移動である。いくつかの実施形態では、２本指回転ジェスチャのために設定された元の及び更新された移動閾値は、それぞれ接触による１２度及び１８度の回転移動である。いくつかの実施形態では、２本指スケーリングジェスチャのために設定された元の及び更新された移動閾値は、それぞれ５０ポイント（接触間距離）及び９０ポイントである。いくつかの実施形態では、１本指ドラッグジェスチャのために設定された閾値は３０ポイントである。 In some embodiments (19044), the first and second gesture recognition criteria (and the third gesture recognition criteria) are both satisfied in order to be satisfied, so that the first number of contacts detected at the same time ( For example, two contacts) are required. In some embodiments, a one-finger gesture may also be used for conversion, and the one-finger conversion threshold is lower than the two-finger conversion threshold. In some embodiments, the original and updated movement thresholds set for the two finger transformation gesture are movement of 40 points and 70 points, respectively, by the center of gravity of the contact. In some embodiments, the original and updated movement thresholds set for the two-finger rotation gesture are 12 and 18 degrees of rotational movement with contact, respectively. In some embodiments, the original and updated movement thresholds set for the two-finger scaling gesture are 50 points (inter-contact distance) and 90 points, respectively. In some embodiments, the threshold set for the one-finger drag gesture is 30 points.
いくつかの実施形態（１９０４６）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ〜図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
In some embodiments (19046), the first object manipulation behavior changes the zoom level or display size of the user interface object (eg, (eg, the pinch gesture is (eg, original or updated)). The second object manipulation behavior changes the rotation angle of the user interface object (resizing the object with a pinch gesture) (such as movement of contact towards each other after being recognized based on the first gesture recognition criteria). For example, a twist / turn gesture (eg, a movement of contact around a common point after the twist / turn gesture is recognized by a second gesture recognition criterion (eg, original or updated)). User interface around external or internal axis To change the viewing perspective of the face object). For example, the first object operation behavior changes the display size of the
いくつかの実施形態（１９０４８）では、第１のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第１のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。例えば、第１のオブジェクト操作挙動は、図１４Ｇ〜図１４Ｉに関して説明されるように、仮想オブジェクト１１００２の表示サイズを変更し、第２のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動は、ユーザーインターフェースオブジェクトのズームレベル又は表示サイズを変更し（例えば、（例えば、ピンチジェスチャが、（例えば、元の又は更新された）第２のジェスチャ認識基準に基づいて認識された後に、互いに向かう接触の移動のような）ピンチジェスチャによってオブジェクトをリサイズし）、第１のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させる（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってユーザーインターフェースオブジェクトをドラッグする）。
In some embodiments (19048), the first object manipulation behavior changes the zoom level or display size of the user interface object (eg, (eg, pinch gestures (eg, original or updated)) User interface objects in the first user interface area), resizing objects by pinch gestures (such as movement of contacts towards each other) after being recognized based on the first gesture recognition criteria) Change the position of (eg, for example, the movement of a touch in each direction (eg, after the drag gesture is recognized by a second gesture recognition criterion (eg, original or updated)) Finger or two-finger drag gesture Drag the user interface objects by catcher). For example, the first object manipulation behavior changes the display size of the
いくつかの実施形態（１９０５０）では、第１のオブジェクト操作挙動は、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変更し（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後の、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第２のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。例えば、第１のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、ユーザーインターフェースにおける仮想オブジェクト１１００２の位置を変更し、第２のオブジェクト操作挙動は、図１４Ｂ〜図１４Ｅに関して説明されるように、仮想オブジェクト１１００２の回転角度を変化させる。いくつかの実施形態では、第２のオブジェクト操作挙動が、第１のユーザーインターフェース領域におけるユーザーインターフェースオブジェクトの位置を変化させ（例えば、（例えば、ドラッグジェスチャが（例えば、元の又は更新された）第２のジェスチャ認識基準によって認識された後、例えばそれぞれの方向における接触の移動のような）１本指又は２本指のドラッグジェスチャによってオブジェクトをドラッグし）、第１のオブジェクト操作挙動が、ユーザーインターフェースオブジェクトの回転角度を変化させる（例えば、（例えば、ツイスト／旋回ジェスチャが（例えば、元の又は更新された）第１のジェスチャ認識基準によって認識された後、例えば共通の地点の周りの接触の移動のような）ツイスト／旋回ジェスチャによって外部又は内部軸の周りのユーザーインターフェースオブジェクトのビューイング視点を変化させる）。
In some embodiments (19050), the first object manipulation behavior changes the position of the user interface object in the first user interface area (eg, the drag gesture (eg, the original or updated). (D) dragging an object with a one-finger or two-finger drag gesture (for example, movement of contact in the respective direction) after being recognized by the first gesture recognition criterion) and second object operation behavior Change the rotation angle of the user interface object (eg, after a twist / swirl gesture is recognized by a second gesture recognition criterion (eg, the original or updated), eg, around a common point Twist / swivel (such as moving contacts) Changing the viewing perspective of the user interface objects around the external or internal shaft by Esucha). For example, the first object manipulation behavior changes the position of the
いくつかの実施形態（１９０５２）では、入力の第１の部分及び入力の第２の部分が、複数の連続して維持された接触によって提供される。デバイスは、複数の連続的に維持された接触のリフトオフを検出した後、追加の第１及び第２のオブジェクト操作挙動を開始するために、（例えば、元の閾値を備えた）第１のジェスチャ認識基準及び第２のジェスチャ認識基準を再確立する（１９０５４）。例えば、接触のリフトオフの後、デバイスは、新たに検出されたタッチ入力のための回転、変換、及びスケーリングのためのジェスチャ認識閾値を再確立する。入力が、接触のリフトオフによって終了された後、入力移動のための閾値を再確立することは、（例えば、新たな入力が提供される毎に、増加された移動閾値を再設定することによって、オブジェクト操作を実行するために必要とされる入力の程度を低減することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力の程度を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19052), the first portion of input and the second portion of input are provided by a plurality of consecutively maintained contacts. The device detects a plurality of continuously maintained contact lift-offs and then initiates a first gesture (eg with original threshold) to initiate additional first and second object manipulation behaviors The recognition criteria and the second gesture recognition criteria are reestablished (19054). For example, after contact lift-off, the device re-establishes a gesture recognition threshold for rotation, transformation, and scaling for newly detected touch input. Re-establishing the threshold for the input movement after the input has been terminated by the lift-off of the contact (for example by resetting the increased movement threshold each time a new input is provided Increase device operability (by reducing the degree of input required to perform object operations). Reducing the degree of input required to perform an operation increases the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
いくつかの実施形態（１９０５６）では、第１のジェスチャ認識基準は、第１の軸の周りの回転に対応し、第２のジェスチャ認識基準は、第１の軸に直交する第２の軸の周りの回転に対応する。いくつかの実施形態では、異なるタイプのジェスチャのための閾値を更新する代わりに、更新することはまた、（例えば、ツイスト／旋回ジェスチャのような）認識されたジェスチャタイプに対応する操作挙動のタイプ内の（例えば、第１の軸の周りの回転と、異なる軸の周りの回転のような）操作挙動の異なるサブタイプのために設定された閾値に当てはまる。例えば、第１の軸の周りの回転が認識され実行されると、異なる軸の周りの回転の閾値セットが更新され（例えば、増加され）、異なる軸の周りの回転をトリガするために、後続する入力によって超えられる必要がある。入力移動が、第２の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を超えて増加した場合、第１の軸の周りにオブジェクトを回転させるために必要な入力移動のための閾値を増加させることは、（例えば、第１の軸の周りにオブジェクトを回転させることを試みている間に、ユーザーが誤って第２の軸の周りにオブジェクトを回転させることを回避することを支援することによって）デバイスの操作性を高める。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments (19056), the first gesture recognition criterion corresponds to rotation about a first axis, and the second gesture recognition criterion is a second axis of the second axis orthogonal to the first axis. Corresponds to the rotation around. In some embodiments, instead of updating the thresholds for different types of gestures, the updating may also be a type of manipulation behavior corresponding to a recognized gesture type (such as, for example, a twist / turn gesture) The thresholds set for different sub-types of the operating behavior (e.g., rotation around a first axis and rotation around a different axis) apply. For example, when rotation about the first axis is recognized and performed, the threshold set of rotations about the different axis is updated (eg, increased) and the subsequent to trigger rotation about the different axis Need to be exceeded by input. If the input movement increases beyond the threshold for input movement required to rotate the object about the second axis, the input movement required to rotate the object about the first axis Increasing the threshold for (eg, while trying to rotate the object around the first axis, avoid the user accidentally rotating the object around the second axis Enhance the operability of the device) by supporting Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
図１９Ａ〜図１９Ｈにおける動作が説明された特定の順序は、単なる例であり、説明された順序は、動作が実行され得る唯一の順序であることを示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）に関して本明細書で説明された他の処理の詳細はまた、図１９Ａ〜図１９Ｈに関して上述された方法１９０００に類似する方式でも適用可能であることが注目されるべきである。例えば、方法１９０００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、２００００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡略のために、これら詳細は、本明細書において繰り返されない。
It is understood that the particular order in which the operations in FIGS. 19A-19H are described is merely an example, and that the described order is not intended to indicate that it is the only order in which the operations can be performed. It should. One of ordinary skill in the art would recognize various approaches to reordering the operations described herein. In addition, details of other processes described herein with respect to the other methods described herein (eg,
図２０Ａ〜図２０Ｆは、デバイスの移動が、仮想オブジェクトを、１つ以上のデバイスカメラの表示される視野の外側へ移動させるとの判定にしたがって、音声警報を生成する方法２００００を例示するフロー図である。方法２００００は、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドアップディスプレイ等）と、１つ以上の入力デバイス（例えば、タッチ感知面、又は、表示生成コンポーネントとタッチ感知面との両方として役立つタッチスクリーンディスプレイ）と、１つ以上の音声出力生成器と、１つ以上のカメラとを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）において実行される。方法２００００におけるいくつかの動作は、オプションで、組み合わされ、及び／又は、いくつかの動作の順序は、オプションで、変更される。
20A-20F are flow diagrams illustrating a
デバイスは（例えば、カメラを含むデバイスの周りの物理的環境の拡張現実ビューに仮想オブジェクトを配置するための要求に応じて（例えば、仮想オブジェクトのステージングビューを用いて表示された「ワールド」ボタン上のタップに応じて））、表示生成コンポーネントによって、１つ以上のカメラの視野の表現を含む仮想オブジェクトの表現を、第１のユーザーインターフェース領域内に表示し（例えば、第１のユーザーインターフェース領域は、カメラを含むデバイスを囲む物理的環境の、拡張現実ビューを表示するユーザーインターフェースである）、この表示することは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境において検出されたプレーンとの間の第１の空間的な関係を維持することを含む（例えば、仮想オブジェクトは、仮想オブジェクトの表現とプレーンとの間の固定された角度が維持されるように、ディスプレイ上に、向き及び位置とともに表示される（例えば、仮想オブジェクトは、プレーン上の固定された場所にとどまる、又は、視野面に沿って回転するように見える）（２０００２）。例えば、図１５Ｖに図示されるように、仮想オブジェクト１１００２は、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域において表示される。 The device (eg, on a “world” button displayed using a staging view of the virtual object (eg, on the request to place the virtual object in an augmented reality view of the physical environment around the device containing the camera) The display generation component displays a representation of the virtual object, including a representation of the field of view of one or more cameras, in the first user interface area (e.g., the first user interface area is This is a user interface that displays an augmented reality view of the physical environment surrounding the device that contains the camera), which is a representation of the virtual object and the physical environment captured in the field of view of one or more cameras Maintain the first spatial relationship between the plane detected in (E.g., a virtual object is displayed with orientation and position on a display so that a fixed angle between the representation of the virtual object and the plane is maintained (e.g., virtual object is Stays in a fixed location on the plane, or appears to rotate along the field of view) (20002) .For example, as illustrated in FIG. Displayed in the user interface area including 6036.
デバイスは、１つ以上のカメラの視野を調節するデバイスの移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２０００４）。例えば、図１５Ｖ〜図１５Ｗに関して説明されるように、デバイス１００の移動は、１つ以上のカメラの視野を調節する。
The device detects movement of the device that adjusts the field of view of one or more cameras (eg, lateral movement and / or rotation of a device that includes one or more cameras) (20004). For example, as described with respect to FIGS. 15V-15W, movement of
１つ以上のカメラの視野を調節するデバイスの移動を検出することに応じて（２０００６）、１つ以上のカメラの視野が調節されると、デバイスは、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域において、仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係が、デバイスの移動中、物理的環境に対して固定され続けるので、）デバイスの移動が、閾値量（例えば、１００％、５０％、又は２０％）より多くの仮想オブジェクトを、１つ以上のカメラの視野の表示部分の外側へ移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第１の音声警報（例えば、閾値量より多くの仮想オブジェクトが、カメラビューにはもはや表示されないことを示す音声アナウンスメント）を生成する。例えば、図１５Ｗに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側へ移動させるデバイス１００の移動に応じて、音声警報１５１１８が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューの外側へ移動させるとの判定にしたがって音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In response to detecting movement of the device that adjusts the field of view of the one or more cameras (20006), when the field of view of the one or more cameras is adjusted, the device detects the virtual object and the one or more cameras. Adjusting the display of the representation of the virtual object in the first user interface area according to a first spatial relationship (eg orientation and / or position) with a plane detected in the field of view (eg The spatial relationship between the representation of the virtual object and the plane detected in the physical environment captured in the field of view of one or more cameras is fixed relative to the physical environment during device movement. As the device moves, a virtual object with more than a threshold amount (e.g., 100%, 50%, or 20%) is displayed in the view of one or more camera views. Depending on the decision to move outside the part, the device may cause the one or more audio output generators to no longer display a first audio alert (eg, more virtual objects than a threshold amount in the camera view). Generate a voice announcement). For example, as described with respect to FIG. 15W, an
いくつかの実施形態では、第１の音声警報を出力することは、１つ以上のカメラの視野の表示された部分において見えるままである仮想オブジェクトの量（例えば、見えるままである仮想オブジェクトの量は、現在のビューイング視点からの仮想オブジェクトの合計サイズに対して測定される（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「オブジェクトｘは、２０％見えています」と言う）を示す音声出力を生成することを含む（２０００８）。例えば、図１５Ｘ〜図１５Ｙに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示部分の外側に部分的に移動させるデバイス１００の移動に応じて、「椅子は９０％見え、スクリーンの２０％を占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。表示された拡張現実ビューにおいて見える仮想オブジェクトの量を示す音声出力を生成することは、（例えば、デバイスの移動が変化した程度と、仮想オブジェクトが見える度合とを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイを離れたか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first audio alert may include an amount of virtual objects that remain visible in a displayed portion of the field of view of one or more cameras (eg, an amount of virtual objects that remain visible). Is measured relative to the total size of the virtual object from the current viewing perspective (eg, 20%, 25%, 50%, etc.)) (eg, the audio output “object x is 20% visible Generating an audio output indicating ("20008"). For example, as described with respect to FIGS. 15X-15Y, in response to the movement of the
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトによって閉じ込められた視野の表示部分の量（例えば、仮想オブジェクトによって占有されている物理的環境の拡張現実ビューの量（例えば、２０％、２５％、５０％等））（例えば、音声出力は、「ワールドビューの１５％を占有するオブジェクトｘ」と言うアナウンスメントを含む）を示す音声出力を生成することを含む（２００１０）。いくつかの実施形態では、音声出力はまた、仮想オブジェクトの表示状態における変化を引き起こした、ユーザーによって実行されるアクションの説明を含む。例えば、音声出力は、「デバイスが左に移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています。」と言うアナウンスメントを含む。例えば、図１５Ｙでは、「椅子は９０パーセント見え、スクリーンの２０パーセントを占有しています」を示すアナウンスメント１５１２８を含む音声警報１５１２６が生成される。仮想オブジェクトによって閉じ込められた拡張現実ビューの量を示す音声出力を生成することは、（例えば、デバイスの移動が、拡張現実ビューが閉じ込まれている度合いを変化させた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、ディスプレイに対する仮想オブジェクトのサイズをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first audio alert may be an amount of a displayed portion of the view confined by the virtual object (eg, an amount of an augmented reality view of the physical environment occupied by the virtual object (eg, For example, 20%, 25%, 50%, etc.)) (eg, audio output includes generating an audio output showing an announcement called "object x occupying 15% of world view") 20010). In some embodiments, the audio output also includes a description of the action performed by the user that caused the change in the display state of the virtual object. For example, the audio output includes an announcement: "Device moved to the left. Object x looks 20% and occupies 15% of the world view." For example, in FIG. 15Y, an
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現に対応するタッチ感知面上の場所における接触による入力を検出する（例えば、物理的環境の拡張現実ビューを表示するタッチスクリーンの一部におけるタップ入力又は二重タップ入力を検出する）（２００１２）。この入力を検出することに応じて、また、仮想オブジェクトによって占有されていない１つ以上のカメラの視野の第１の部分に対応するタッチ感知面上の第１の場所において入力が検出されたとの判定にしたがって、デバイスは、第２の音声警報（例えば、タップされた領域における仮想オブジェクトの位置決めの失敗を示すクリック又は機械音）を生成する（２００１４）。例えば、図１５Ｚに関して説明されるように、仮想オブジェクト１１００２によって占有されていない１つ以上のカメラの視野６０３６の一部に対応するタッチスクリーン１１２上の場所において検出された入力に応じて、デバイスは、音声警報１５１３０を生成する。いくつかの実施形態では、入力を検出することに応じて、仮想オブジェクトによって占有されている１つ以上のカメラの視野の第２の部分に対応する第２の場所において入力が検出されたとの判定にしたがって、第２の音声警報を生成することを控える。いくつかの実施形態では、仮想オブジェクトの位置決めのユーザーの失敗を示す第２の音声警報を生成する代わりに、デバイスは、ユーザーが仮想オブジェクトを位置決めしたことを示す異なる音声警報を生成する。いくつかの実施形態では、第２の音声警報を生成する代わりに、デバイスは、仮想オブジェクトにおいて実行される動作（例えば、「オブジェクトｘが選択されました。」、「オブジェクトｘは、デフォルトサイズへリサイズされました」、「オブジェクトｘは、デフォルトの向きへ回転されました」等）、又は仮想オブジェクトの状態（例えば、「オブジェクトｘ、２０％見え、ワールドビューの１５％を占有しています。）を説明するオーディオアナウンスメントを出力する。仮想オブジェクトによって占有されない表示された拡張現実ビューの一部に対応する場所において入力が検出されることに応じて音声出力を生成することは、（例えば、（例えば、仮想オブジェクトに関する情報を取得するため、及び／又は、操作を実行するため）異なる場所において提供されねばならない入力を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、入力が成功裡に仮想オブジェクトへ接続したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device detects touch input at a location on the touch-sensitive surface that corresponds to a representation of the field of view of one or more cameras (eg, a touch screen that displays an augmented reality view of the physical environment). (Tap input or double tap input in a part of) is detected (20012). In response to detecting the input, the input is also detected at a first location on the touch sensitive surface corresponding to a first portion of the field of view of the one or more cameras not occupied by the virtual object In accordance with the determination, the device generates a second audio alert (eg, a click or mechanical sound indicating a virtual object positioning failure in the tapped region) (20144). For example, as described with respect to FIG. 15Z, in response to an input detected at a location on the
いくつかの実施形態では、第１の音声警報を出力することは、仮想オブジェクトに関して実行された動作を示す音声出力を生成し（例えば、音声出力を生成する前に、デバイスは、現在選択されている動作を判定し、現在選択されている操作を実行するとのユーザーの意思を確認する入力（例えば、二重タップ）に応じて、操作を実行する）、動作の実行後に、結果として得られる仮想オブジェクトの状態を生成することを含む（２００１６）。例えば、音声出力は、「デバイスは左へ移動しました。オブジェクトｘは２０％見え、ワールドビューの１５％を占有しています」、「オブジェクトｘは、３０度、時計回りに回転され、オブジェクトは、ｙ軸の周りに５０度回転されました」、又は、「オブジェクトｘは２０％拡大され、ワールドビューの５０％を占有しています」と言うアナウンスメントを含む。例えば、図１５ＡＨ〜図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に関する回転動作の実行に応じて、「椅子が反時計周りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。仮想オブジェクトにおいて実行された動作を示す音声出力を生成することは、提供された入力が仮想オブジェクトへどのように影響を与えるのかを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのようにして仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, outputting the first audio alert generates an audio output indicating the action performed on the virtual object (eg, before generating the audio output, the device is currently selected). The operation is performed according to an input (for example, a double tap) that confirms the user's intention to execute the currently selected operation, and the resulting virtual Generating the state of the object (20016). For example, the audio output is “Device has moved to the left. Object x is visible 20% and occupies 15% of the world view”, “Object x is rotated 30 degrees clockwise, , Rotated 50 degrees about the y-axis, "or" object x is magnified 20% and occupies 50% of the world view. " For example, as described with respect to FIGS. 15AH-15AI, in response to performing a rotational motion on
いくつかの実施形態（２００１８）では、動作の実行後、結果として得られる仮想オブジェクトの状態は１つ以上のカメラの視野にキャプチャされた物理的環境に対応する基準フレームに対する第１の音声警報において出力されたオーディオに説明されている（例えば、オブジェクトを操作した後（例えば、接触ベースのジェスチャ又はデバイスの移動に応じて）、デバイスは、（例えば、物理的環境の拡張現実ビューへ最初に配置された場合、仮想オブジェクトの最初の位置／向きに対して、３０度回転された、６０度回転された、又は左へ移動したような）オブジェクトの新たな状態を説明する音声を生成する）。例えば、図１５ＡＨ〜図１５ＡＩに関して説明されるように、仮想オブジェクト１１００２に対する回転動作のパフォーマンスに応じて、「椅子は反時計回りに５度回転されました。椅子は今、スクリーンに対してゼロ度回転されました。」を示すアナウンスメント１５１９２を含む音声警報１５１９０が生成される。いくつかの実施形態では、この動作は、（例えば、１つ以上のカメラの視野においてキャプチャされた物理的環境の一部の表現に対する仮想オブジェクトの移動を引き起こす）物理的環境に対するデバイスの移動と、物理的環境に対するデバイスの移動に応じた仮想オブジェクトの新たな状態を説明する音声とを含む。オブジェクトに対して動作が実行された後、仮想オブジェクトの状態を示す音声出力を生成することは、動作がどのように仮想オブジェクトを変えたのかをユーザーに感知させることを可能にするフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、動作がどのように仮想オブジェクトを変えたのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments (20018), after performing an action, the resulting virtual object state is in a first audio alert for a reference frame corresponding to a physical environment captured in the field of view of one or more cameras. As described in the output audio (eg, after manipulating the object (eg, in response to touch-based gestures or movement of the device), the device is initially placed (eg, in an augmented reality view of the physical environment) If so, generate a sound describing the new state of the object (such as rotated 30 degrees, rotated 60 degrees, or moved to the left) relative to the initial position / orientation of the virtual object). For example, as described with respect to FIGS. 15AH-15AI, depending on the performance of the rotational motion on the
いくつかの実施形態では、デバイスは、第１の音声警報の生成後、１つ以上のカメラの視野を更に調節するデバイスの追加の移動（例えば、１つ以上のカメラを含むデバイスの横移動及び／又は回転）を検出する（２００２０）。例えば、図１５Ｗ〜図１５Ｘに関して説明されるように、デバイス１００の移動は更に、（１５Ｖ〜１５Ｗからのデバイス１００の移動に応じて生じる１つ以上のカメラの視野の調節にしたがって）１つ以上のカメラの視野を更に調節する。１つ以上のカメラ（２００２２）の視野を更に調節するデバイスの追加の移動を検出することに応じて、デバイスは、１つ以上のカメラの視野が更に調節されると、仮想オブジェクトと、１つ以上のカメラの視野内で検出されたプレーンとの間の第１の空間的な関係（例えば、向き及び／又は位置）にしたがって、第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節し、（例えば、仮想オブジェクトの表現と、１つ以上のカメラの視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の空間的な関係は、物理的環境に対するデバイスの移動中、固定されたままであるので、）デバイスの追加の移動が、仮想オブジェクトの第２の閾値より多い量（例えば、５０％、８０％、又は１００％）を、１つ以上のカメラの視野の表示された部分内に移動させるとの判定にしたがって、デバイスは、１つ以上の音声出力生成器によって、第３の音声警報（例えば、仮想オブジェクトの閾値より多い量が、カメラ視野へ戻されることを示すアナウンスメントを含む音声出力）を生成する。例えば、図１５Ｘに関して説明されるように、仮想オブジェクト１１００２を、１つ以上のカメラの視野６０３６の表示された部分へ移動させるデバイス１００の移動に応じて、（例えば、「椅子が今、ワールドに投影されており、１００％見え、スクリーンの１０パーセントを占有しています」と言うアナウンスメントを含む）音声警報１５１２２が生成される。デバイスの移動が、仮想オブジェクトを、表示された拡張現実ビューへ移動させるとの判定にしたがって、音声出力を生成することは、デバイスの移動が、拡張現実ビューに関して、仮想オブジェクトの表示に対して影響を与えた程度を示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、仮想オブジェクトがディスプレイの中へ移動したか否かをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device may generate additional movements of the device that further adjust the field of view of the one or more cameras (e.g., lateral movement of the device that includes the one or more cameras and And / or rotation) is detected (20020). For example, as described with respect to FIGS. 15W-15X, the movement of
いくつかの実施形態では、第１のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプのうちの第１のオブジェクト操作タイプとの表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換える要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出する）（２００２４）。例えば、図１５ＡＧに関して説明されるように、時計回りの回転制御１５１７０が現在選択されている一方、（仮想オブジェクト１５１６０を反時計回りに回転させるために）反時計回り回転制御１５１８０へ切り換えるためのスワイプ入力が選択される。仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成し、第２のオブジェクト操作タイプは、第１のオブジェクト操作タイプとは異なる（２００２６）。例えば、図１５ＡＨにおいて、図１５ＡＧに関して説明された要求の検出に応じて、アナウンスメント１５１８４（「選択されました：反時計回りに回転させて下さい」）を含む音声警報１５１８２が生成される。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能なオブジェクト操作タイプのリストを反復する。いくつかの実施形態では、直前のスワイプ入力から逆方向におけるスワイプ入力を検出することに応じて、デバイスは、仮想オブジェクトへ提供可能な、以前にアナウンスされたオブジェクト操作タイプ（例えば、最後にアナウンスされたオブジェクト操作タイプの前のもの）を命名するアナウンスメントを含む音声出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトへ適用可能な各オブジェクト操作タイプのための対応する制御を表示しない（例えば、ジェスチャによって開始される動作（例えば、回転、リサイズ、変換等）のために表示されたボタン又は制御は存在しない）。オブジェクト操作タイプを切り換える要求に応じて音声出力を生成することは、切換動作が実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、切換入力が成功裡に実行されたことを確認する情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the representation of the virtual object in the first user interface area and the first object operation type of the plurality of object operation types applicable to the virtual object is currently selected for the virtual object The device detects a request to switch to another object operation type applicable to the virtual object while displaying that it is being displayed (eg, a first user displaying a representation of the field of view of one or more cameras Detect swipe input due to touch (e.g., including movement of touch in a horizontal direction) at a location on the touch sensitive surface corresponding to a portion of the interface area (20024). For example, as described with respect to FIG. 15AG, a swipe to switch to counterclockwise rotation control 15180 (to rotate
いくつかの実施形態では、仮想オブジェクトへ適用可能な複数のオブジェクト操作タイプの中から、第２のオブジェクト操作タイプを命名する音声出力（例えば、音声出力は、「オブジェクトをｘ軸の周りに回転させて下さい」、「オブジェクトをリサイズして下さい」、又は「プレーン上でオブジェクトを移動させて下さい」等と言うアナウンスメントを含む）を生成した後（２００２８）、デバイスは、現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出する（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触による二重タップ入力を検出する）。例えば、図１５ＡＨに関して説明されるように、仮想オブジェクト１１００２を反時計回りに回転させるための二重タップ入力が検出される。現在選択されているオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、仮想オブジェクトをｙ軸の周りに５度回転させる、又は、オブジェクトのサイズを５％増加させる、又は、オブジェクトをプレーン上で２０画素移動させる）、（例えば、第２のオブジェクト操作タイプにしたがって第１のユーザーインターフェース領域における仮想オブジェクトの表現の表示を調節する）（２００３０）。例えば、図１５ＡＩにおいて、１５ＡＨに関して説明された要求の検出に応じて、仮想オブジェクト１１００２が、反時計回りに回転される。いくつかの実施形態では、デバイスは、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動と、オブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すアナウンスメントを含む音声出力を出力する。例えば、図１５ＡＩにおいて、アナウンスメント１５１９２（「椅子が５度反時計回りに回転しました。椅子は今、スクリーンに対してゼロ度回転されました。」）を含む音声出力１５１９０が生成される。動作が選択されている間に検出された入力に応じてオブジェクト操作動作を実行することは、操作を実行するための追加の制御オプションを提供する（例えば、ユーザーが、２接触入力を必要とするのではなく、タップ入力を提供することによって操作を実行することを可能にする）。表示された追加制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャへ提供するための制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, an audio output naming a second object operation type from among a plurality of object operation types applicable to a virtual object (eg, an audio output is “rotate object about x-axis” After generating (20028), including the announcement "Please resize the object", or "Move the object on the plane" etc.) (20028), the device is the currently selected object Detecting a request to perform an object operation behavior corresponding to an operation type (eg, a location on a touch-sensitive surface corresponding to a portion of a first user interface area displaying a representation of the field of view of one or more cameras) Detect double tap input due to contact at For example, as described with respect to FIG. 15AH, a double tap input to rotate the
いくつかの実施形態では、仮想オブジェクトへ適用可能な別のオブジェクト操作タイプへ切り換えるための要求を検出することに応じて（２００３２）、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであるとの判定にしたがって、デバイスは、第２のオブジェクト操作タイプが連続的に調節可能な操作タイプであることを示すために、第２のオブジェクト操作タイプを命名する音声出力と連携して音声警報を生成し（例えば、第２のオブジェクト操作タイプを命名するオーディオアナウンスメント（例えば、オブジェクトをｙ軸の周りに時計回りに回転させて下さい）の後、「調節可能」と言う音声出力を出力し）、デバイスは、（例えば、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所における接触によって二重タップ入力を検出した後、）１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所におけるスワイプ入力を検出することを含む、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出し、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行するための要求を検出することに応じて、デバイスは、スワイプ入力の大きさに対応する量、第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行する（例えば、スワイプ入力の大きさが、第１の量であるか、第１の量よりも大きい第２の量であるかに依存して、仮想オブジェクトをｙ軸の周りに５度又は１０度回転させるか、又は、オブジェクトのサイズを、５％又は１０％増加させるか、又は、オブジェクトをプレーン上で２０画素又は４０画素移動させる）。例えば、図１５Ｊ〜図１５Ｋに関して説明されるように、時計回りの回転制御１５０３８が現在選択されている間、ズーム制御１５０６４へ切り換えるスワイプ入力が検出される。アナウンスメント１５０６８（「スケール：調節可能」）を含む音声警報１５０６６が生成される。図１５Ｋ〜図１５Ｌに関して説明されるように、仮想オブジェクト１１００２へズームインするためのスワイプ入力が検出され、この入力に応じて、仮想オブジェクト１１００２に対してズーム動作が実行される（図１５Ｋ〜図１５Ｌの例示的な例では、ステージングビューインターフェース６０１０が表示されている間、連続的に調節可能な操作のための入力が検出されるが、１つ以上のカメラの視野の表現を表示する第１のユーザーインターフェース領域の一部に対応するタッチ感知面上の場所において類似の入力が検出され得ることが認識されるであろう）。いくつかの実施形態では、デバイスは、第２のオブジェクト操作挙動を実行することに加えて、仮想オブジェクトに関して実行されたオブジェクト操作挙動の量と、その量までのオブジェクト操作挙動の実行後、結果として得られる仮想オブジェクトの状態とを示すオーディオアナウンスメントを出力する。スワイプ入力に応じてオブジェクト操作動作を実行することは、動作を実行するための追加の制御オプションを提供する（例えば、２接触入力を必要とするのではなく、スワイプ入力を提供することによって、ユーザーが操作を実行することを可能にする）。表示された追加の制御でユーザーインターフェースを乱すことなく、入力を提供するための追加の制御オプションを提供することは、（例えば、マルチコンタクトジェスチャを提供する制限された能力を有するユーザーへ、オブジェクトを操作するためのオプションを提供することによって、）ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, in response to detecting a request to switch to another object operation type applicable to the virtual object (20032), the second object operation type is a continuously adjustable operation type. In accordance with the determination, the device cooperates with an audio output naming the second object operation type to indicate that the second object operation type is a continuously adjustable operation type. (For example, an audio announcement naming the second object operation type (eg, rotate the object clockwise around the y-axis), then output an audio output saying “adjustable” A device (eg, a first user interface area displaying a representation of the field of view of one or more cameras) Touch sensing corresponding to a portion of the first user interface area displaying a representation of the field of view of one or more cameras (after detecting a double tap input by contact at a location on the touch sensitive surface corresponding to the portion). Detecting a request to execute an object operation behavior corresponding to the second object operation type, including detecting a swipe input at a location on the surface, and executing the object operation behavior corresponding to the second object operation type In response to detecting the request to do so, the device executes an object operation behavior corresponding to the second object operation type, an amount corresponding to the magnitude of the swipe input (eg, the magnitude of the swipe input is Depending on whether it is a first quantity or a second quantity larger than the first quantity, the virtual object To rotate it 5 degrees or 10 degrees, or, the size of the object, or to increase 5% or 10%, or moves 20 pixels or 40 pixels objects on plane). For example, as described with respect to FIGS. 15J-15K, a swipe input to switch to zoom
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に、デバイスは、第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）において仮想オブジェクトの表現を表示し、第２のユーザーインターフェース領域は、１つ以上のカメラの視野の表現を含んでいない（例えば、第２のユーザーインターフェース領域は、カメラの視野においてキャプチャされた物理的環境において検出されたプレーンに対する固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェースである）（２００３４）。第２のユーザーインターフェース領域における仮想オブジェクトと、仮想オブジェクトへ適用可能な複数の動作のうちの第１の動作との表現が、仮想オブジェクトのために現在選択されていることを表示している間、デバイスは、（例えば、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なオブジェクト操作タイプ（例えば、リサイズ、回転、傾斜等）へ、又は、第２のユーザーインターフェース領域における仮想オブジェクトへ適用可能なユーザーインターフェース動作（例えば、２Ｄユーザーインターフェースへ戻る、物理的環境における拡張現実ビューへオブジェクトをドロップする）へ切り換える要求を含む）仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出する（例えば、第１のユーザーインターフェース領域に対応するタッチ感知面上の場所における接触（例えば、水平方向における接触の移動を含む）によるスワイプ入力を検出することを含む要求を検出すること）（２００３６）。例えば、図１５Ｆ〜図１５Ｇに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、チルトダウン制御１５０２２が現在選択されている間、時計回り制御１５０３８へ切り換えるためのスワイプ入力が検出される。第２のユーザーインターフェース領域において仮想オブジェクトへ適用可能な別の動作へ切り換える要求を検出することに応じて、デバイスは、仮想オブジェクトへ適用可能な複数の動作のうち第２の動作を命名する音声出力を生成し（例えば、音声出力は、「ｘ軸の周りにオブジェクトを回転させて下さい」、「オブジェクトをリサイズして下さい」、「ディスプレイへ向けてオブジェクトを傾けて下さい」、又は「拡張現実ビューでオブジェクトを表示して下さい」等）と言うアナウンスメントを含む）、第２の動作は、第１の動作とは異なる（２００３８）。いくつかの実施形態では、デバイスは、同じ方向における連続したスワイプ入力に応じて、所定の適用可能な動作のリストを反復する。例えば、図１５Ｇでは、図１５Ｆに関して説明された要求の検出に応じて、アナウンスメント１５０４２（「選択されました：時計回り回転ボタン」）を含む音声警報１５０４０が生成される。操作タイプを切り換える要求に応じて、選択された操作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。操作タイプを切り換える要求に応じて、選択された動作タイプを命名する音声出力を生成することは、切換入力が成功裡に受信されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、選択された制御が変更された場合をユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, prior to displaying the representation of the virtual object in the first user interface area, the device displays the representation of the virtual object in the second user interface area (eg, a staging user interface), and The two user interface areas do not include a representation of the field of view of one or more cameras (eg, the second user interface area is fixed relative to the detected plane in the physical environment captured in the field of view of the camera (20034) A staging user interface that allows virtual objects to be manipulated (eg, rotated, resized, and moved) without maintaining relationships). While displaying that the representation of the virtual object in the second user interface area and the first of the plurality of operations applicable to the virtual object is currently selected for the virtual object, The device may be a user (e.g., an object manipulation type applicable to virtual objects in the second user interface area (e.g. resize, rotate, tilt etc) or a user applicable to virtual objects in the second user interface area) Detect a request to switch to another operation applicable to a virtual object (eg, including a request to switch to a 2D user interface, drop to an augmented reality view in a physical environment) Users of Contact at a location on the touch-sensitive surface corresponding to the interface area (e.g., including the movement of the contact in the horizontal direction) detecting a request comprises detecting a swipe input by) (20036). For example, as described with respect to FIGS. 15F-15G, a
いくつかの実施形態では、第１のユーザーインターフェース領域において仮想オブジェクトの表現を表示する前に（２００４０）、１つ以上のカメラの視野の表現を含まない第２のユーザーインターフェース領域（例えば、ステージングユーザーインターフェース）（例えば、第２のユーザーインターフェース領域は、物理的環境におけるプレーンに対して固定された関係を維持することなく、仮想オブジェクトが操作（例えば、回転、リサイズ、及び移動）され得るステージングユーザーインターフェース領域である）において仮想オブジェクトの表現を表示している間、デバイスは、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域における仮想オブジェクトの表現を表示するための要求を検出する（例えば、現在選択されている動作が「拡張現実ビューにおいてオブジェクトを表示して下さい」である場合、及び、デバイスが、（例えば、二重タップ入力の直前に受信された）スワイプ入力に応じて、現在選択されている動作を命名するオーディオアナウンスメントを丁度出力した後、二重タップ入力を検出する）。例えば、図１５Ｐ〜図１５Ｖに関して説明されるように、ステージングユーザーインターフェース６０１０が表示され、トグル制御６０１８が選択されている間、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域へ、仮想オブジェクト１１００２の表現を表示するために二重タップ入力が検出される。１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域内で、仮想オブジェクトの表現を表示するための要求を検出することに応じて、デバイスは、仮想オブジェクトの表現と、１つ以上のカメラの視野においてキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的な関係にしたがって、第１のユーザーインターフェース領域内に、仮想オブジェクトの表現を表示し（例えば、仮想オブジェクトが、拡張現実ビューにおいて表現された物理的環境へドロップされた場合、ステージングビューにおける仮想オブジェクトの回転角度及びサイズが、拡張現実ビューにおいて維持され、視野においてキャプチャされた物理的環境において検出されたプレーンの向きにしたがって、拡張現実ビューにおける傾斜角度がリセットされる）、デバイスは、仮想オブジェクトが、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューに配置されたことを示す第４の音声警報を生成する。例えば、図１５Ｖに関して説明されるように、１つ以上のカメラの視野６０３６の表現を含むユーザーインターフェース領域内に、仮想オブジェクト１１００２の表現を表示するための入力に応じて、仮想オブジェクト１１００２の表現が、１つ以上のカメラの視野６０３６を含むユーザーインターフェース領域内に表示され、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０パーセントを占有しています」）を含む音声警報１５１１４が生成される。拡張現実ビューにオブジェクトを配置するための要求に応じて音声出力を生成することは、仮想オブジェクトを配置する動作が成功裡に実行されたことを示すフィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにオブジェクトが表示されたことをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, before displaying a representation of the virtual object in the first user interface area (20040), a second user interface area that does not include a representation of the view of one or more cameras (eg, staging user) Interface) (eg, the second user interface area is a staging user interface through which virtual objects can be manipulated (eg, rotated, resized, and moved) without maintaining a fixed relationship to the plane in the physical environment. While displaying a representation of a virtual object in region), the device detects a request for displaying a representation of a virtual object in a first user interface region including a representation of a field of view of one or more cameras (For example, If the currently selected action is “Show Object in Augmented Reality View” and the device is currently selected in response to a swipe input (eg, received just before a double tap input) Detect double tap input after just outputting an audio announcement naming the action being done). For example, as described with respect to FIGS. 15P-15V, a
いくつかの実施形態では、第３の音声警報は、１つ以上のカメラの視野の一部に対する仮想オブジェクトの外観についての情報を示す（例えば、第３の音声警報は、「オブジェクトｘはワールドに配置され、オブジェクトｘは３０％見え、スクリーンの９０％を占有しています。」と言うアナウンスメントを含む音声出力を含む。）（２００４２）。例えば、図１５Ｖに関して説明されるように、アナウンスメント１５１１６（「椅子は今、ワールドに投影され、１００パーセント見え、スクリーンの１０％を占有しています」）を含む音声警報１５１１４が生成される。表示された拡張現実ビューに対して見える仮想オブジェクトの外観を示す音声出力を生成することは、（例えば、拡張現実ビューにおけるオブジェクトの配置が仮想オブジェクトの外観へ影響を与えた程度を示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された追加情報でディスプレイを乱すことなく、かつ、ユーザーに対してディスプレイを見ることを要求することなく、拡張現実ビューにおいて、オブジェクトが、どのように表示されているのかをユーザーが感知することを可能にする情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the third audio alert indicates information about the appearance of the virtual object relative to a portion of the field of view of the one or more cameras (e.g., the third audio alert says, "object x is a world Object x contains 30% of the screen and occupies 90% of the screen, including the audio output containing the announcement :) (20042). For example, as described with respect to FIG. 15V, an
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野においてキャプチャされた物理的環境に関して拡張現実ビューにおける仮想オブジェクトの配置と連携して触知出力を生成する（２００４４）。例えば、オブジェクトが、カメラの視野内で検出されたプレーンに配置された場合、デバイスは、プレーン上へのオブジェクトのランディングを示す触知出力を生成する。いくつかの実施形態では、デバイスは、オブジェクトが、オブジェクトのリサイズ中に、所定のデフォルトサイズに達した場合に、触知出力を生成する。いくつかの実施形態では、デバイスは、仮想オブジェクトに関して実行される各動作のために（例えば、事前設定された角度量までの各回転のために、異なるプレーン上へ仮想オブジェクトをドラッグするために、オブジェクトを元の向き及び／又はサイズへリセットする等のために）触知出力を生成する。いくつかの実施形態では、これら触知出力は、実行された動作を説明する対応する音声警報と、仮想オブジェクトの結果状態とに先行する。例えば、図１５Ｖに関して説明されるように、触知出力１５１１８は、１つ以上のカメラの視野６０３６における仮想オブジェクト１１００２の配置と連携して生成される。１つ以上のカメラによってキャプチャされた物理的環境に対する仮想オブジェクトの配置と連携して触知出力を生成することは、（例えば、仮想オブジェクトを配置する動作が成功裡に実行されたことを示す）フィードバックをユーザーへ提供する。改善されたフィードバックをユーザーへ提供することは、（例えば、表示された情報でユーザーインターフェースを乱すことなく、仮想オブジェクトの配置がなされたことをユーザーが感知することを可能にするセンサ情報を提供することによって、）デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
In some embodiments, the device cooperates with placement of virtual objects in the augmented reality view with respect to the physical environment captured in the field of view of one or more cameras to generate tactile output (20044). For example, if an object is placed in a detected plane within the camera's field of view, the device generates a tactile output indicating the landing of the object on the plane. In some embodiments, the device generates a tactile output when the object reaches a predetermined default size during the resizing of the object. In some embodiments, the device can be used for each action performed on the virtual object (e.g., to drag the virtual object onto a different plane for each rotation up to a preset angular amount). Generate tactile output (e.g., to reset the object to its original orientation and / or size). In some embodiments, these tactile outputs precede the corresponding audio alert describing the performed action and the resulting state of the virtual object. For example, as described with respect to FIG. 15V, the
いくつかの実施形態では、デバイスは、１つ以上のカメラの視野の表現と同時に（例えば、第１のユーザーインターフェース領域内の異なる場所において表示された複数の制御のうち）第１の制御を、第１のユーザーインターフェース領域内の第１の場所において表示する（２００４６）。制御フェージング基準が満たされている（例えば、タッチ入力がタッチ感知面において検出されることなく、第１のユーザーインターフェース領域が、少なくとも閾値時間表示された場合に、制御フェージング基準が満たされている）との判定にしたがって、デバイスは、第１のユーザーインターフェース領域内に、１つ以上のカメラの視野の表現の表示を維持しながら、第１のユーザーインターフェース領域内に、（例えば、第１のユーザーインターフェース領域内に、他のすべての制御とともに）第１の制御を表示することを停止する（例えば、ユーザーが物理的環境に対してデバイスを移動させた場合、制御は再表示されない）（２００４８）。第１のユーザーインターフェース領域内に第１の制御を表示することなく、第１のユーザーインターフェース領域を表示している間、デバイスは、第１のユーザーインターフェース領域内の第１の場所に対応するタッチ感知面上のそれぞれの場所においてタッチ入力を検出する（２００５０）。タッチ入力の検出に応じて、デバイスは、第１の制御（例えば、「ステージングビューへ戻る」又は「オブジェクトをｙ軸の周りに回転させる」）に対応する動作を指定する音声出力を含む第５の音声警報を生成する（２００５２）。いくつかの実施形態では、デバイスはまた、タッチ入力を検出することに応じて、第１の場所において、第１の制御を再表示する。いくつかの実施形態では、ディスプレイ上の制御の通常の場所においてタッチ入力がなされると、制御を再表示し、制御を、現在選択されている制御にすることは、ユーザーがディスプレイ上の制御の場所を認識すると、制御にアクセスするために、一連のスワイプ入力を使用して利用可能な制御をスキャンするよりも、より迅速な手法を提供する。制御フェージング基準が満たされていることを判定することに応じて、制御を表示することを自動的に停止することは、制御の表示を停止するために必要とされる入力数を低減する。操作を実行するために必要とされる入力数を低減することは、デバイスの操作性を高め、ユーザーデバイスインターフェースをより効率的にする。これは、更に、ユーザーがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。 In some embodiments, the device simultaneously controls the first control (eg, among the plurality of controls displayed at different locations within the first user interface area) simultaneously with the representation of the field of view of the one or more cameras, Display at a first location within the first user interface area (20046). A control fading criterion is satisfied (e.g., the control fading criterion is satisfied if the first user interface area is displayed at least for a threshold time without a touch input being detected on the touch sensitive surface) And the device maintains a display of the representation of the field of view of the one or more cameras in the first user interface area (eg, the first user interface area). Stop displaying the first control in the interface area (along with all other controls) (eg, if the user moves the device to the physical environment, the control is not redisplayed) (20048) . While displaying the first user interface area without displaying the first control in the first user interface area, the device is configured to touch the first location in the first user interface area. Touch input is detected at each location on the sensing surface (20050). In response to the detection of touch input, the device includes an audio output specifying an action corresponding to the first control (eg, “return to staging view” or “rotate object around y axis”) To generate a voice alert (20052). In some embodiments, the device also redisplays the first control at the first location in response to detecting the touch input. In some embodiments, when a touch input is made in the normal place of the control on the display, redisplaying the control and making the control the currently selected control is the user's control of the control on the display. Recognizing a location provides a faster approach to accessing controls than scanning a control available using a series of swipe inputs. In response to determining that the control fading criteria are met, automatically stopping displaying the control reduces the number of inputs required to stop displaying the control. Reducing the number of inputs required to perform the operation enhances the operability of the device and makes the user device interface more efficient. This further reduces power usage and improves device battery life by allowing users to use the device more quickly and efficiently.
図２０Ａ〜図２０Ｆにおける動作が説明されている特定の順序は単なる例であり、説明された順序は、動作が実行され得る唯一の順序を示すことは意図されていないことが理解されるべきである。当業者であれば、本明細書で説明された動作を再順序付けするための様々な手法を認識するであろう。それに加えて、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び２００００）に関して本明細書で説明された他の処理の詳細はまた、図２０Ａ〜図２０Ｆに関して上述された方法２００００へ類似した方式でも適用可能であることが理解されるべきである。例えば、方法２００００を参照して上述された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションは、オプションで、本明細書で説明された他の方法（例えば、方法８００、９００、１０００、１６０００、１７０００、１８０００、及び１９０００）を参照して本明細書で説明された接触、入力、仮想オブジェクト、ユーザーインターフェース領域、視野、触知出力、移動、及び／又は、アニメーションからなる特徴のうちの１つ以上を有する。簡潔のために、これら詳細は、本明細書では繰り返されない。
It should be understood that the particular order in which the operations in FIGS. 20A-20F are described is merely an example, and the described order is not intended to indicate the only order in which the operations may be performed. is there. One of ordinary skill in the art would recognize various approaches to reordering the operations described herein. In addition, other process details described herein with respect to the other methods described herein (e.g.,
図８Ａ〜図８Ｅ、図９Ａ〜図９Ｄ、図１０Ａ〜図１０Ｄ、図１６Ａ〜図１６Ｇ、図１７Ａ〜図１７Ｄ、図１８Ａ〜図１８Ｉ、図１９Ａ〜図１９Ｈ、及び図２０Ａ〜図２０Ｆを参照して上述された動作は、オプションで、図１Ａ〜図１Ｂに図示されたコンポーネントによって実施される。例えば、表示動作８０２、８０６、９０２、９０６、９１０、１００４、１００８、１６００４、１７００４、１８００２、１９００２、及び２０００２、検出動作８０４、９０４、９０８、１７００６、１８００４、１９００４、及び２０００４、変更動作９１０、受信動作１００２、１００６、１６００２、及び１７００２、停止動作１７００８、回転動作１８００６、更新動作１９００６、調節動作２０００６、及び生成動作２０００６は、オプションで、イベントソータ１７０、イベントレコグナイザ１８０、イベントハンドラ１９０によって実施される。イベントソータ１７０におけるイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１へ伝達する。アプリケーション１３６−１のそれぞれのイベントレコグナイザ１８０は、イベント情報を、それぞれのイベント定義１８６と比較し、タッチ感知面上の第１の場所における第１の接触（又は、デバイスの回転）が、ユーザーインターフェース上のオブジェクトの選択、又は、１つの向きから別の向きへのデバイスの回転のような所定のイベント又はサブイベントに対応するか否かを判定する。所定のそれぞれのイベント又はサブイベントが検出された場合、イベントレコグナイザ１８０は、イベント又はサブイベントの検出に関連付けられたイベントハンドラ１９０を活性化する。イベントハンドラ１９０は、オプションで、アプリケーション内部状態１９２を更新するために、データ更新部１７６又はオブジェクト更新部１７７を使用するか、又は呼び出す。いくつかの実施形態では、イベントハンドラ１９０は、アプリケーションによって表示されているものを更新するために、それぞれのＧＵＩ更新部１７８へアクセスする。同様に、他の処理が、図１Ａ〜図１Ｂに描写されたコンポーネントに基づいてどのようにして実施され得るかが当業者に明らかになるだろう。
See FIGS. 8A-8E, 9A-9D, 10A-10D, 16A-16G, 17A-17D, 18A-18I, 19A-19H, and 20A-20F. Thus, the operations described above are optionally performed by the components illustrated in FIGS. 1A-1B. For example,
前述した説明は、説明の目的のために、特定の実施形態に関して説明されている。しかしながら、上記の例示的な議論は、網羅的であるとも、又は、開示された正確な形態に本発明を限定するとも意図されていない。上記の教示を考慮して、多くの修正及び変形が可能である。実施形態は、本発明の原理及びその実際のアプリケーションを最も良く説明するために、そしてこれによって、当業者が、本発明及び説明された様々な実施形態を、考慮される特定の用途へ適合されているような様々な修正を用いて、最も良く使用することを可能にするために、選択され説明された。 The foregoing description has been set forth with regard to specific embodiments for purposes of explanation. However, the illustrative discussions above are not intended to be exhaustive or to limit the invention to the precise forms disclosed. Many modifications and variations are possible in view of the above teachings. The embodiments are presented in order to best explain the principles of the invention and its practical application, and thereby allow those skilled in the art to adapt the invention and the various described embodiments to the particular application considered. Have been selected and described to allow their best use with various modifications.
Claims (209)
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することと、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出することと、
前記接触による前記第１の入力を検出したことに応答して、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示することと、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示することと、を含む方法。 In a device having a display, a touch-sensitive surface, and one or more cameras,
Displaying a representation of a virtual object in a first user interface area of the display;
A touch at a location on the touch sensitive surface corresponding to the representation of the virtual object on the display while displaying a first representation of the virtual object in the first user interface area on the display Detecting a first input by
In response to detecting the first input by the contact,
According to the determination that the first input by the contact satisfies a first criterion,
Displaying a second user interface area on the display, including replacing a display of at least a portion of the first user interface area with a representation of a field of view of the one or more cameras;
Sequentially displaying the representation of the virtual object while switching from displaying the first user interface area to displaying the second user interface area.
前記第１の基準が、前記接触の特性強度が第１の強度閾値を上回るほどに上がったときに満たされる基準を含む、請求項１に記載の方法。 The device includes one or more sensors for detecting the intensity of contact with the touch-sensitive surface;
The method of claim 1, wherein the first criterion comprises a criterion that is satisfied when the characteristic strength of the contact rises above a first intensity threshold.
前記方法が、前記接触による第１の入力を検出したことに応答して、前記接触による前記第１の入力が前記第１の基準を満足するとの判定にしたがって、前記１つ以上の触知出力生成器によって、前記第１の入力によって前記第１の基準が満たされたことを示す触知出力を出力することを含む、請求項１から４のいずれか一項に記載の方法。 The device includes one or more tactile output generators;
The one or more tactile outputs in response to determining that the first input by the contact satisfies the first criterion in response to the method detecting the first input by the contact. 5. A method according to any one of claims 1 to 4, comprising outputting a tactile output by a generator indicating that the first criterion is met by the first input.
前記１つ以上のカメラの視野内のそれぞれのプレーンを検出した後で、前記１つ以上のカメラの前記視野に対する前記それぞれのプレーンの相対位置に基づいて、前記仮想オブジェクトの前記表現のサイズ及び／又は位置を決定することと、を含む、請求項１から５のいずれか一項に記載の方法。 In response to detecting at least an initial portion of the first input, the field of view of the one or more cameras is analyzed to detect one or more planes within the field of view of the one or more cameras. To do
After detecting each plane in the field of view of the one or more cameras, based on the relative position of the respective plane with respect to the field of view of the one or more cameras, the size of the representation of the virtual object and / or Or determining a position. 6. The method according to any one of claims 1 to 5, comprising:
前記方法が、前記１つ以上のカメラの前記視野内の前記それぞれのプレーンを検出したことに応答して、前記１つ以上の触知出力生成器によって、前記１つ以上のカメラの前記視野内の前記それぞれのプレーンの検出を示す触知出力を出力することを含む、請求項１０に記載の方法。 The device includes one or more tactile output generators;
In response to the method detecting the respective plane in the field of view of the one or more cameras, the one or more tactile output generators in the field of view of the one or more cameras. 11. The method of claim 10, comprising outputting a tactile output indicating detection of the respective plane of.
前記方法が、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現が前記第２のユーザーインターフェース領域内の前記それぞれのプレーンに対する所定の位置に遷移するアニメーションを表示することと、
前記それぞれのプレーンに対する前記所定の角度で前記仮想オブジェクトの前記表現を表示することに関連して、前記１つ以上の触知出力生成器によって、前記仮想オブジェクトが前記第２のユーザーインターフェース領域内に前記それぞれのプレーンに対して前記所定の角度で表示されていることを示す触知出力を出力することと、を含む、請求項１０又は１１に記載の方法。 The device includes one or more tactile output generators;
The above method is
While switching from displaying the first user interface area to displaying the second user interface area, the representation of the virtual object is the respective user interface area in the second user interface area. Displaying an animation transitioning to a predetermined position relative to the plane;
In connection with displaying the representation of the virtual object at the predetermined angle relative to the respective plane, the one or more tactile output generators cause the virtual object to be within the second user interface area. The method according to claim 10, further comprising: outputting a tactile output indicating that the display is performed at the predetermined angle with respect to each of the planes.
前記デバイスの移動を検出したことに応答して、前記１つ以上のカメラの前記視野が調整されるときの前記１つ以上のカメラの前記視野内の前記仮想オブジェクトと前記それぞれのプレーンとの間の固定された空間的関係にしたがって、前記第２のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現を調整することと、を含む、請求項１０から１３のいずれか一項に記載の方法。 Detecting the movement of the device adjusting the field of view of the one or more cameras while representing the representation of the virtual object in the second user interface region;
In response to detecting movement of the device, between the virtual object in the field of view of the one or more cameras and the respective plane when the field of view of the one or more cameras is adjusted. Adjusting the representation of the virtual object in the second user interface region according to a fixed spatial relationship of the method.
前記第２の接触による前記第２の入力を検出したことに応答して、前記第２のユーザーインターフェース領域内で前記第１の経路に対応する第２の経路に沿って前記仮想オブジェクトの前記表現を移動させることと、を含む、請求項１から１５のいずれか一項に記載の方法。 Detecting a second input by a second contact while displaying the second user interface on the display, wherein the second input is along a first path across the display. Including movement of said second contact;
The representation of the virtual object along a second path corresponding to the first path in the second user interface region in response to detecting the second input by the second contact 16. A method according to any one of claims 1 to 15, comprising moving.
前記第２の接触による前記第２の入力の終了を検出することと、
前記第２の接触による前記第２の入力の前記終了を検出したことに応答して、
前記仮想オブジェクトの前記表現を、前記第２のユーザーインターフェース領域内のドロップオフ場所に配置し、
前記第２のユーザーインターフェース領域内の前記ドロップオフ場所に、前記第１のサイズとは異なるの第２のサイズで、前記仮想オブジェクトの前記表現を表示することと、を含む、請求項１６に記載の方法。 Maintaining a first size of the representation of the virtual object as the representation of the virtual object moves along the second path;
Detecting the end of the second input by the second contact;
In response to detecting the end of the second input by the second contact,
Placing the representation of the virtual object in a drop-off location in the second user interface area;
And displaying the representation of the virtual object at a second size, different from the first size, at the drop off location in the second user interface area. the method of.
前記１つ以上のカメラの前記視野の前記表現を含む前記第２のユーザーインターフェース領域を表示することを停止することと、
前記仮想オブジェクトの前記表現とともに前記第１のユーザーインターフェース領域を再表示することとを含む、請求項１６から１８のいずれか一項に記載の方法。 According to the determination that the movement of the second contact along the first path across the display satisfies a second criterion,
Stopping displaying the second user interface area containing the representation of the field of view of the one or more cameras;
19. A method according to any one of claims 16 to 18, comprising redisplaying the first user interface area with the representation of the virtual object.
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示し、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出し、
前記接触による前記第１の入力を検出したことに応答して、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する、命令を含む、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs But,
Displaying a representation of a virtual object in a first user interface area of the display;
A touch at a location on the touch sensitive surface corresponding to the representation of the virtual object on the display while displaying a first representation of the virtual object in the first user interface area on the display Detects the first input by
In response to detecting the first input by the contact,
According to the determination that the first input by the contact satisfies a first criterion,
Displaying a second user interface area on the display, including replacing a display of at least a portion of the first user interface area with a representation of a field of view of the one or more cameras;
A computer system comprising instructions for continuously displaying the representation of the virtual object while switching from displaying the first user interface area to displaying the second user interface area. .
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示させ、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出させ、
前記接触による前記第１の入力を検出したことに応答して、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示させ、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, said one or more programs comprising instructions, said instructions comprising a display, a touch sensitive surface, and a computer system comprising one or more cameras. When executed, the computer system
Displaying a representation of a virtual object in a first user interface area on the display;
A touch at a location on the touch sensitive surface corresponding to the representation of the virtual object on the display while displaying a first representation of the virtual object in the first user interface area on the display To detect the first input by
In response to detecting the first input by the contact,
According to the determination that the first input by the contact satisfies a first criterion,
Displaying a second user interface area on the display, including replacing a display of at least a portion of the first user interface area with a representation of a field of view of the one or more cameras;
A computer readable storage medium for continuously displaying the representation of the virtual object while switching from displaying the first user interface area to displaying the second user interface area.
タッチ感知面と、
１つ以上のカメラと、
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に使用可能になる、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出する手段と、
前記接触による前記第１の入力を検出したことに応答して使用可能になる手段であり、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって使用可能になる、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する手段、を含む手段と、を備える、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
Means for displaying a representation of a virtual object in a first user interface area of the display;
On the touch-sensitive surface corresponding to the representation of the virtual object on the display that is enabled while displaying the first representation of the virtual object in the first user interface area on the display Means for detecting a first input by contact at a location of:
Means for becoming enabled in response to detecting the first input due to the contact;
Enabled according to a determination that the first input by the contact satisfies a first criterion;
Displaying a second user interface area on the display, including replacing a display of at least a portion of the first user interface area with a representation of a field of view of the one or more cameras;
Means for continuously displaying the representation of the virtual object while switching from displaying the first user interface area to displaying the second user interface area; A computer system comprising:
前記ディスプレイの第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの第１の表現を表示している間に使用可能になる、前記ディスプレイ上における前記仮想オブジェクトの前記表現に対応した前記タッチ感知面上の場所における接触による第１の入力を検出する手段と、
前記接触による前記第１の入力を検出したことに応答して使用可能になる手段であり、
前記接触による前記第１の入力が第１の基準を満足するとの判定にしたがって使用可能になる、
前記第１のユーザーインターフェース領域の少なくとも一部分の表示を前記１つ以上のカメラの視野の表現で置き換えることを含む、前記ディスプレイに第２のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示することから前記第２のユーザーインターフェース領域を表示することにスイッチングしている間に、前記仮想オブジェクトの前記表現を連続的に表示する手段、を含む手段と、を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display, a touch-sensitive surface, and one or more cameras,
Means for displaying a representation of a virtual object in a first user interface area of the display;
On the touch-sensitive surface corresponding to the representation of the virtual object on the display that is enabled while displaying the first representation of the virtual object in the first user interface area on the display Means for detecting a first input by contact at a location of:
Means for becoming enabled in response to detecting the first input due to the contact;
Enabled according to a determination that the first input by the contact satisfies a first criterion;
Displaying a second user interface area on the display, including replacing a display of at least a portion of the first user interface area with a representation of a field of view of the one or more cameras;
Means for continuously displaying the representation of the virtual object while switching from displaying the first user interface area to displaying the second user interface area; An information processing apparatus comprising:
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から２３に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
One or more processors;
And a memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, and the one or more programs 24. A computer system comprising instructions for performing any of the methods of claims 1-23.
タッチ感知面と、
１つ以上のカメラと、
請求項１から２３に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
A computer system comprising: means for performing any of the methods of claims 1 to 23.
請求項１から２３に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display, a touch sensitive surface, and one or more cameras, comprising:
An information processing apparatus comprising means for executing any one of the methods according to claim 1.
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示することと、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出することと、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの第２の表現を表示することと、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に、第２の入力を検出することと、
前記第２の入力を検出したことに応答して、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させることと、
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示することと、を含む、方法。 In a device having a display, a touch-sensitive surface, and one or more cameras,
Displaying a first representation of a virtual object in a first user interface area on the display;
While displaying the first representation of the virtual object on the first user interface area on the display, on the touch-sensitive surface corresponding to the first representation of the virtual object on the display Detecting a first input due to a first contact at a location of
In response to detecting the first input by the first contact, the first user interface according to a determination that the first input by the first contact satisfies a first criterion. Displaying a second representation of the virtual object in a second user interface area different from the area;
Detecting a second input while displaying the second representation of the virtual object in the second user interface area;
In response to detecting the second input,
In the second user interface area based on the second input according to a determination that the second input corresponds to a request to operate the virtual object in the second user interface area. Changing display characteristics of the second representation of the virtual object;
Displaying a third representation of the virtual object along with a representation of the field of view of the one or more cameras according to a determination that the second input corresponds to a request to display the virtual object in an augmented reality environment And a method comprising:
前記第１の基準が、前記第１の接触の特性強度が第１の強度閾値を上回るほどに高くなったときに満たされる基準を含む、請求項３３に記載の方法。 The device includes one or more sensors for detecting the intensity of contact with the touch-sensitive surface;
34. The method of claim 33, wherein the first criterion comprises a criterion that is met when the characteristic strength of the first contact is so high that it exceeds a first intensity threshold.
前記方法が、前記第１の接触による前記第１の入力を検出したことに応答して、前記１つ以上のデバイス向きセンサによって、前記デバイスの現在のデバイスの向きを判定することを含み、
前記第３の基準は、前記第３の基準が満たされるためには、前記現在のデバイスの向きが、第１の向きの範囲内であることを要求する、請求項３８に記載の方法。 The device includes one or more device orientation sensors;
The method includes determining a current device orientation of the device by the one or more device orientation sensors in response to detecting the first input by the first contact;
40. The method of claim 38, wherein the third criterion requires that the current device orientation be within a first orientation range in order for the third criterion to be met.
前記１つ以上のカメラをアクティブ化することと、
前記１つ以上のカメラの前記視野を分析して、前記１つ以上のカメラの前記視野内の１つ以上のプレーンを検出することと、を含む、請求項３３から４０のいずれか一項に記載の方法。 In response to detecting at least an initial portion of the first input by the first contact;
Activating the one or more cameras;
Analyzing the field of view of the one or more cameras to detect one or more planes in the field of view of the one or more cameras. Method described.
前記方法が、前記１つ以上のカメラの前記視野内のそれぞれのプレーンを検出したことに応答して、前記１つ以上の触知出力生成器によって、前記１つ以上のカメラの前記視野内のそれぞれのプレーンの前記検出を示す触知出力を出力することを含む、請求項４１に記載の方法。 The device includes one or more tactile output generators;
In response to the method detecting each plane in the field of view of the one or more cameras, the one or more tactile output generators in the field of view of the one or more cameras. 42. The method of claim 41, comprising outputting a tactile output indicative of the detection of each plane.
前記第４の入力を検出したことに応答して、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示することを停止することと、
前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を再表示することと、を含む、請求項３３から４４のいずれか一項に記載の方法。 Detecting a fourth input satisfying respective criteria for redisplaying the first user interface region while displaying the second representation of the virtual object in the second user interface region. When,
In response to detecting the fourth input,
Stopping displaying the second representation of the virtual object in the second user interface area;
45. The method according to any one of claims 33 to 44, comprising redisplaying the first representation of the virtual object in the first user interface area.
前記第５の入力を検出したことに応答して、
前記仮想オブジェクトの前記第３の表現、及び前記１つ以上のカメラの前記視野の前記表現を表示することを停止することと、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を再表示することと、を含む、請求項３３から４５のいずれか一項に記載の方法。 A fifth input meeting respective criteria for redisplaying the second user interface region while displaying the third representation of the virtual object with the representation of the field of view of the one or more cameras To detect
In response to detecting the fifth input,
Stopping displaying the third representation of the virtual object and the representation of the field of view of the one or more cameras;
46. A method according to any one of claims 33 to 45, comprising redisplaying the second representation of the virtual object in the second user interface area.
前記第６の入力を検出したことに応答して、
前記仮想オブジェクトの前記第３の表現、及び前記１つ以上のカメラの前記視野の前記表現を表示することを停止することと、
前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を再表示することと、を含む、請求項３３から４６のいずれか一項に記載の方法。 A sixth input that meets respective criteria for redisplaying the first user interface region while displaying the third representation of the virtual object with the representation of the field of view of the one or more cameras Detecting
In response to detecting the sixth input,
Stopping displaying the third representation of the virtual object and the representation of the field of view of the one or more cameras;
47. A method according to any one of claims 33 to 46, comprising redisplaying the first representation of the virtual object in the first user interface area.
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示し、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出し、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記第１の入力が第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの表現を表示し、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に、第２の入力を検出し、
前記第２の入力を検出したことに応答して、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させ、
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示する、命令を含む、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs But,
Displaying a first representation of a virtual object in a first user interface area on the display;
While displaying the first representation of the virtual object on the first user interface area on the display, on the touch-sensitive surface corresponding to the first representation of the virtual object on the display Detecting a first input from a first touch at the location of
The first user interface according to a determination that the first input by the first touch satisfies a first criterion in response to detecting the first input by the first touch. Displaying the representation of the virtual object in a second user interface area different from the area;
Detecting a second input while displaying the second representation of the virtual object in the second user interface area;
In response to detecting the second input,
In the second user interface area based on the second input according to a determination that the second input corresponds to a request to operate the virtual object in the second user interface area. Changing a display characteristic of the second representation of the virtual object,
Display a third representation of the virtual object along with a representation of a field of view of the one or more cameras according to a determination that the second input corresponds to a request to display the virtual object in an augmented reality environment A computer system including instructions.
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示させ、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出させ、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記入力が第１の基準を満足するとの判定にしたがって、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示させ、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に、第２の入力を検出させ、
前記第２の入力を検出したことに応答して、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させ、
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示させる、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, said one or more programs comprising instructions, said instructions comprising a display, a touch sensitive surface, and a computer system comprising one or more cameras. When executed, the computer system
Displaying a first representation of a virtual object in a first user interface area on the display;
While displaying the first representation of the virtual object in the first user interface area on the display, on the touch sensitive surface corresponding to the first representation of the virtual object on the display Detecting a first input by a first contact at a location of
In response to detecting the first input by the first touch, according to the determination that the input by the first touch satisfies a first criterion, the first user interface area is Displaying the representation of the virtual object in a different second user interface area;
Causing a second input to be detected while displaying the second representation of the virtual object in the second user interface area,
In response to detecting the second input,
In the second user interface area based on the second input according to a determination that the second input corresponds to a request to operate the virtual object in the second user interface area. Changing a display characteristic of the second representation of the virtual object,
Display a third representation of the virtual object along with a representation of a field of view of the one or more cameras according to a determination that the second input corresponds to a request to display the virtual object in an augmented reality environment A computer-readable storage medium.
タッチ感知面と、
１つ以上のカメラと、
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に使用可能になる、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出する手段と、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記入力が第１の基準を満足するとの判定にしたがって使用可能になる、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示する手段と、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に使用可能になる、第２の入力を検出する手段と、
前記第２の入力を検出したことに応答して使用可能になる手段であり、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって使用可能になる、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させる手段、及び
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって使用可能になる、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示する手段、を含む手段と、を備える、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
Means for displaying a first representation of a virtual object in a first user interface area on the display;
Said corresponding to said first representation of said virtual object on said display being enabled while displaying said first representation of said virtual object in said first user interface area on said display Means for detecting a first input from a first touch at a location on the touch sensitive surface;
Said first user being enabled according to a determination that said input by said first touch meets a first criterion in response to detecting said first input by said first touch Means for displaying the representation of the virtual object in a second user interface area different from the interface area;
Means for detecting a second input that is enabled while displaying the second representation of the virtual object in the second user interface area;
Means for becoming available in response to detecting the second input,
The second user based on the second input becomes available according to a determination that the second input corresponds to a request to operate the virtual object in the second user interface area. Means for changing a display characteristic of the second representation of the virtual object in an interface area, and according to a determination that the second input corresponds to a request to display the virtual object in an augmented reality environment Means for displaying a third representation of the virtual object along with a representation of the field of view of the one or more cameras, which is enabled.
前記ディスプレイ上の第１のユーザーインターフェース領域に仮想オブジェクトの第１の表現を表示する手段と、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想オブジェクトの前記第１の表現を表示している間に使用可能になる、前記ディスプレイ上の前記仮想オブジェクトの前記第１の表現に対応する前記タッチ感知面上の場所における第１の接触による第１の入力を検出する手段と、
前記第１の接触による前記第１の入力を検出したことに応答して、前記第１の接触による前記入力が第１の基準を満足するとの判定にしたがって使用可能になる、前記第１のユーザーインターフェース領域とは異なる第２のユーザーインターフェース領域に前記仮想オブジェクトの前記表現を表示する手段と、
前記第２のユーザーインターフェース領域に前記仮想オブジェクトの前記第２の表現を表示している間に使用可能になる、第２の入力を検出する手段と、
前記第２の入力を検出したことに応答して使用可能になる手段であり、
前記第２の入力が前記第２のユーザーインターフェース領域内で前記仮想オブジェクトを操作する要求に対応しているとの判定にしたがって使用可能になる、前記第２の入力に基づいて前記第２のユーザーインターフェース領域内で前記仮想オブジェクトの前記第２の表現の表示特性を変化させる手段、及び
前記第２の入力が拡張現実環境内に前記仮想オブジェクトを表示する要求に対応しているとの判定にしたがって使用可能になる、前記１つ以上のカメラの視野の表現とともに前記仮想オブジェクトの第３の表現を表示する手段、を含む手段と、を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display, a touch-sensitive surface, and one or more cameras,
Means for displaying a first representation of a virtual object in a first user interface area on the display;
Said corresponding to said first representation of said virtual object on said display being enabled while displaying said first representation of said virtual object in said first user interface area on said display Means for detecting a first input from a first touch at a location on the touch sensitive surface;
Said first user being enabled according to a determination that said input by said first touch meets a first criterion in response to detecting said first input by said first touch Means for displaying the representation of the virtual object in a second user interface area different from the interface area;
Means for detecting a second input that is enabled while displaying the second representation of the virtual object in the second user interface area;
Means for becoming available in response to detecting the second input,
Based on the second input, the second user is enabled according to a determination that the second input corresponds to a request to manipulate the virtual object in the second user interface area. According to a means for changing a display characteristic of the second representation of the virtual object in an interface area, and a determination that the second input corresponds to a request to display the virtual object in an augmented reality environment. Means for displaying a third representation of the virtual object along with a representation of the field of view of the one or more cameras that is enabled for use.
タッチ感知面と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項３３から４９に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs are 50. A computer system comprising instructions for performing any of the methods of.
タッチ感知面と、
１つ以上のカメラと、
請求項３３から４９に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display,
A touch sensitive surface;
With one or more cameras,
50. A computer system comprising: means for performing any of the methods of claims 33-49.
請求項３３から４９に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display, a touch sensitive surface, and one or more cameras, comprising:
An information processor comprising means for performing any of the methods according to claims 33-49.
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信することと、
前記第１のユーザーインターフェースを表示する前記要求に応答して、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示することであり、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの前記表現を表示すること、及び
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示すること、を含むことと、
前記第１のアイテムの前記表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信することと、
前記第２のユーザーインターフェースを表示する前記要求に応答して、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示することであり、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの前記表現を表示すること、及び
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示すること、を含むことと、を含む、方法。 In a device having a display and a touch sensitive surface,
Receiving a request to display a first user interface including the first item;
Displaying the first user interface with a representation of the first item in response to the request to display the first user interface;
A visual indication indicating that the first item corresponds to each first virtual 3D object according to the determination that the first item corresponds to each virtual 3D object And displaying the representation of the first item and determining that the first item does not correspond to a respective virtual three-dimensional object without the visual instruction. Displaying said representation of
Receiving a request to display a second user interface comprising a second item after displaying the representation of the first item;
Displaying the second user interface with a representation of the second item in response to the request to display the second user interface;
The visual indicating that the second item corresponds to a second respective virtual 3D object according to a determination that the second item corresponds to a respective virtual 3D object Displaying the representation of the second item along with an instruction, and determining that the second item does not correspond to a respective virtual three-dimensional object, without the visual instruction Displaying the representation of an item.
前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第１のアイテムの前記表現を表示することが、
第１のデバイスの向きから第２のデバイスの向きへの変化をもたらす前記デバイスの移動を検出したことに応答して、前記第１のデバイスの向きから前記第２のデバイスの向きへの前記変化に対応する前記第１のアイテムの移動を表示することを含む、請求項５９に記載の方法。 The device includes one or more device orientation sensors;
Displaying the representation of the first item with the visual indication indicating that the first item corresponds to a first respective virtual three-dimensional object;
The change from the orientation of the first device to the orientation of the second device in response to detecting movement of the device resulting in a change from the orientation of the first device to the orientation of the second device 60. The method of claim 59, comprising displaying a movement of the first item corresponding to.
前記第１のアイテムの前記表現が前記第１のユーザーインターフェースに表示されている間に前記第１のユーザーインターフェースをスクロールする第１の接触による第１の入力を検出したことに応答して、
前記第１のユーザーインターフェースのスクロールにしたがって、前記ディスプレイ上の前記第１のアイテムの前記表現を並進移動させることと、
前記第１のユーザーインターフェースがスクロールされる方向にしたがって、前記第１のユーザーインターフェースによって規定されるプレーンに対して前記第１のアイテムの前記表現を回転させることと、を含む、請求項５９又は６０に記載の方法。 Displaying the representation of the first item with the visual indication indicating that the first item corresponds to a first respective virtual three-dimensional object;
In response to detecting a first input by a first touch scrolling the first user interface while the representation of the first item is displayed on the first user interface;
Translating the representation of the first item on the display according to scrolling of the first user interface;
61. Rotating the representation of the first item relative to a plane defined by the first user interface according to the direction in which the first user interface is scrolled. The method described in.
前記第２のユーザーインターフェースが、前記第１のアプリケーションとは異なる第２のアプリケーションに対応しており、
前記視覚的な指示とともに表示される前記第１のアイテムの前記表現と、前記視覚的な指示とともに表示される前記第２のアイテムの前記表現とが、視覚特性及び／又は挙動特性の所定の１組を共有している、請求項５９から６３のいずれか一項に記載の方法。 The first user interface corresponds to a first application,
The second user interface corresponds to a second application different from the first application,
The representation of the first item displayed with the visual indication and the representation of the second item displayed with the visual indication are predetermined ones of visual characteristics and / or behavior characteristics. 64. A method according to any one of claims 59 to 63, sharing sets.
前記方法が、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの前記表現を表示している間に、前記第２のアイテムの前記表現に対応する前記タッチ感知面上の場所における第２の接触による第２の入力を検出することと、
前記第２の接触による前記第２の入力を検出したことに応答して、前記第２の接触による前記第２の入力が第１の基準を満足するとの判定にしたがって、
前記１つ以上のカメラの視野の表現で前記第２のユーザーインターフェースの少なくとも一部分の表示を置き換えることを含む、前記ディスプレイ上に第３のユーザーインターフェース領域を表示することと、
前記第２のユーザーインターフェースを表示することから前記第３のユーザーインターフェース領域を表示することにスイッチングしている間に、前記第２の仮想三次元オブジェクトを連続的に表示することと、を含む、請求項５９から７０のいずれか一項に記載の方法。 The device includes one or more cameras,
The above method is
The representation of the second item while displaying the representation of the second item with the visual indication that the second item corresponds to a respective virtual three-dimensional object Detecting a second input by a second contact at a location on the touch-sensitive surface corresponding to
In response to detecting the second input from the second touch, according to the determination that the second input from the second touch satisfies a first criterion,
Displaying a third user interface region on the display, including replacing a display of at least a portion of the second user interface with a representation of a field of view of the one or more cameras;
Displaying the second virtual three-dimensional object continuously while switching from displaying the second user interface to displaying the third user interface area; 71. The method of any one of claims 59-70.
前記方法が、
前記第２のアイテムが前記第２の仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムを表示している間に、前記第２のアイテムの前記表現に対応する前記タッチ感知面上の場所における第３の接触による第３の入力を検出することと、
前記第３の接触による前記第３の入力を検出したことに応答して、前記第３の接触による前記第３の入力が第１の基準を満足するとの判定にしたがって、前記第２のユーザーインターフェースとは異なる第４のユーザーインターフェースに前記第２の仮想三次元オブジェクトを表示することと、
前記第４のユーザーインターフェースに前記それぞれの仮想三次元オブジェクトを表示している間に、第４の入力を検出することと、
前記第４の入力を検出したことに応答して、
前記第４の入力が前記第４のユーザーインターフェース内で前記第２の仮想三次元オブジェクトを操作する要求に対応しているとの判定にしたがって、前記第４の入力に基づいて前記第４のユーザーインターフェース内の前記第２の仮想三次元オブジェクトの表示特性を変化させることと、
前記第４の入力が拡張現実環境に前記第２の仮想オブジェクトを表示する要求に対応しているとの判定にしたがって、前記１つ以上のカメラの視野の表現とともに前記第２の仮想三次元オブジェクトを表示することと、を含む、請求項５９から７０のいずれか一項に記載の方法。 The device includes one or more cameras,
The above method is
While displaying the second item with the visual indication indicating that the second item corresponds to the second virtual 3D object, the representation of the second item Detecting a third input by a third contact at a corresponding location on the touch-sensitive surface;
In response to detecting the third input by the third contact, the second user interface according to a determination that the third input by the third contact satisfies a first criterion. Displaying the second virtual three-dimensional object on a fourth user interface different from
Detecting a fourth input while displaying the respective virtual three-dimensional object on the fourth user interface;
In response to detecting the fourth input,
The fourth user based on the fourth input according to a determination that the fourth input corresponds to a request to manipulate the second virtual three-dimensional object in the fourth user interface. Changing display characteristics of the second virtual three-dimensional object in the interface;
The second virtual three-dimensional object together with a representation of the field of view of the one or more cameras according to a determination that the fourth input corresponds to a request to display the second virtual object in an augmented reality environment 71. A method according to any one of claims 59 to 70, comprising: displaying.
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信し、
前記第１のユーザーインターフェースを表示する前記要求に応答して、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示し、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示し、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示し、
前記第１のアイテムの前記表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信し、
前記第２のユーザーインターフェースを表示する前記要求に応答して、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示し、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの表現を表示し、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示する、命令を含む、コンピュータシステム。 A display,
A touch sensitive surface;
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs But,
Receiving a request to display a first user interface including the first item;
Displaying the first user interface with a representation of the first item in response to the request to display the first user interface;
A visual indication that the first item corresponds to a first respective virtual three-dimensional object according to the determination that the first item corresponds to a respective virtual three-dimensional object Together with the representation of the first item,
Displaying the representation of the first item without the visual indication according to the determination that the first item does not correspond to a respective virtual three-dimensional object;
After displaying the representation of the first item, receiving a request to display a second user interface including a second item,
Displaying the second user interface with a representation of the second item in response to the request to display the second user interface;
The visual indicating that the second item corresponds to a second respective virtual three-dimensional object according to the determination that the second item corresponds to the respective virtual three-dimensional object Display a representation of the second item with instructions,
A computer system comprising instructions for displaying the representation of the second item without the visual indication in accordance with a determination that the second item does not correspond to a respective virtual three-dimensional object.
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信させ、
前記第１のユーザーインターフェースを表示する前記要求に応答して、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示させ、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示させ、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示させ、
前記第１のアイテムの前記表現を表示した後で、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信させ、
前記第２のユーザーインターフェースを表示する前記要求に応答して、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示させ、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの表現を表示させ、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示させる、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, said one or more programs comprising instructions, said instructions being executed by a computer system comprising a display and a touch sensitive surface. Computer system,
Have a request to display a first user interface including a first item,
Responsive to the request to display the first user interface to display the first user interface with a representation of the first item;
A visual indication indicating that the first item corresponds to each first virtual 3D object according to the determination that the first item corresponds to each virtual 3D object Together with a representation of the first item,
According to the determination that the first item does not correspond to each virtual three-dimensional object, the representation of the first item is displayed without the visual instruction;
Receiving a request to display a second user interface including a second item after displaying the representation of the first item;
In response to the request to display the second user interface, to display the second user interface with a representation of the second item;
The visual indicating that the second item corresponds to a second respective virtual three-dimensional object according to the determination that the second item corresponds to the respective virtual three-dimensional object Display a representation of the second item along with instructions,
A computer readable storage medium that causes the representation of the second item to be displayed without the visual indication in accordance with a determination that the second item does not correspond to a respective virtual three-dimensional object.
タッチ感知面と、
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信する手段と、
前記第１のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示する手段であり、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示する手段、及び
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示する手段、を含む手段と、
前記第１のアイテムの前記表現を表示した後で使用可能になる、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信する手段と、
前記第２のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示する手段であり、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第２のアイテムの表現を表示する手段、及び
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示する手段、を含む手段と、を備える、コンピュータシステム。 A display,
A touch sensitive surface;
Means for receiving a request to display a first user interface including a first item;
Means for displaying the first user interface with a representation of the first item, made available in response to the request to display the first user interface;
Indicates that the first item corresponds to a first respective virtual three-dimensional object, which becomes available according to the determination that the first item corresponds to the respective virtual three-dimensional object Means for displaying a representation of the first item with a visual indication, and the visual indication being available according to a determination that the first item does not correspond to a respective virtual three-dimensional object Means for displaying the representation of the first item without the means,
Means for receiving a request to display a second user interface comprising a second item, the request being available after displaying the representation of the first item;
Means for displaying the second user interface with a representation of the second item, enabled in response to the request to display the second user interface;
Indicates that the second item corresponds to a second respective virtual three-dimensional object, which becomes available according to the determination that the second item corresponds to the respective virtual three-dimensional object Means for displaying a representation of the second item with a visual indication, and the visual indication being available according to a determination that the second item is not associated with a respective virtual three-dimensional object Means for displaying the representation of the second item without means.
第１のアイテムを含む第１のユーザーインターフェースを表示する要求を受信する手段と、
前記第１のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第１のアイテムの表現とともに前記第１のユーザーインターフェースを表示する手段であり、
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第１のアイテムが第１のそれぞれの仮想三次元オブジェクトに対応していることを示す視覚的な指示とともに前記第１のアイテムの表現を表示する手段、及び
前記第１のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第１のアイテムの前記表現を表示する手段、を含む手段と、
前記第１のアイテムの前記表現を表示した後で使用可能になる、第２のアイテムを含む第２のユーザーインターフェースを表示する要求を受信する手段と、
前記第２のユーザーインターフェースを表示する前記要求に応答して使用可能になる、前記第２のアイテムの表現とともに前記第２のユーザーインターフェースを表示する手段であり、
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応しているとの判定にしたがって使用可能になる、前記第２のアイテムが第２のそれぞれの仮想三次元オブジェクトに対応していることを示す前記視覚的な指示とともに前記第２のアイテムの表現を表示する手段、及び
前記第２のアイテムがそれぞれの仮想三次元オブジェクトに対応していないとの判定にしたがって使用可能になる、前記視覚的な指示なしで前記第２のアイテムの前記表現を表示する手段、を含む手段と、を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display and a touch sensitive surface, comprising:
Means for receiving a request to display a first user interface including a first item;
Means for displaying the first user interface with a representation of the first item, made available in response to the request to display the first user interface;
Indicates that the first item corresponds to a first respective virtual three-dimensional object, which becomes available according to the determination that the first item corresponds to the respective virtual three-dimensional object Means for displaying a representation of the first item with a visual indication, and the visual indication being available according to a determination that the first item does not correspond to a respective virtual three-dimensional object Means for displaying the representation of the first item without the means,
Means for receiving a request to display a second user interface comprising a second item, the request being available after displaying the representation of the first item;
Means for displaying the second user interface with a representation of the second item, enabled in response to the request to display the second user interface;
Indicates that the second item corresponds to a second respective virtual three-dimensional object, which becomes available according to the determination that the second item corresponds to the respective virtual three-dimensional object Means for displaying a representation of the second item with the visual indication, and the visual being enabled according to a determination that the second item is not corresponding to a respective virtual three-dimensional object Means for displaying the representation of the second item without instructions.
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項５９から７２に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display,
A touch sensitive surface;
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors; 72. A computer system comprising instructions for performing any of the methods of 72 to 72.
タッチ感知面と、
請求項５９から７２に記載の方法のいずれかを実行する手段と、を備えるコンピュータシステム。 A display,
A touch sensitive surface;
A computer system comprising: means for performing any of the methods of claims 59-72.
請求項５９から７２に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus used in a computer system having a display and a touch-sensitive surface,
An information processing apparatus comprising means for executing any one of the methods according to claims 59 to 72.
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信することと、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示することと、を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内において前記物理的環境のどの部分が表示されるかに無関係な第１の向きとを伴う前記仮想オブジェクトの前記表現を表示することであり、前記オブジェクト配置基準が満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記第１の１組の視覚特性とは異なるの第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内におけるプレーンに対応した第２の向きとを伴う前記仮想オブジェクトの前記表現を表示すること、を含む、方法。 In a device having a display generation component, one or more input devices, and one or more cameras
Receiving a request to display a virtual object in a first user interface area including at least a portion of the field of view of the one or more cameras;
In response to a request to display the virtual object in the first user interface area, at least a portion of the field of view of the one or more cameras included in the first user interface area via the display generation component. Displaying a representation of the virtual object above, wherein the field of view of the one or more cameras is a view of a physical environment in which the one or more cameras are located, and It is possible to display the expression
According to a determination that object placement criteria are not satisfied, regardless of a first set of visual characteristics and which part of the physical environment is displayed within the field of view of the one or more cameras. Displaying the representation of the virtual object with a first orientation, wherein the placement location of the virtual object is specified within the field of view of the one or more cameras in order for the object placement criteria to be met. A second set of visual characteristics different from the first set of visual characteristics, and the one according to the determination that the object placement criterion is satisfied Displaying the representation of the virtual object with a second orientation corresponding to a plane in the physical environment detected in the field of view of the camera. ,Method.
プレーンが前記１つ以上のカメラの前記視野内で特定されたことを検出すること、
少なくとも閾値時間にわたって前記デバイスと前記物理的環境との間において閾値移動量未満であることを検出すること、及び
前記第１のユーザーインターフェース領域内に前記仮想オブジェクトを表示する前記要求を受信してから少なくとも所定の時間が満了したことを検出することのうちの１つ以上を含む、請求項８３又は８４に記載の方法。 Detecting that object placement criteria are met
Detecting that a plane has been identified within the field of view of the one or more cameras;
Detecting less than a threshold travel between the device and the physical environment for at least a threshold time, and receiving the request to display the virtual object within the first user interface area 85. The method of claim 83 or 84, including one or more of detecting that at least a predetermined time has expired.
前記１つ以上のカメラの前記第１の移動を検出したことに応答して、前記第１の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第２の部分にわたる前記第１の向きとを伴う前記仮想オブジェクトの前記表現を表示することとを含み、前記物理的環境の前記第２の部分が、前記物理的環境の前記第１の部分とは異なる、請求項８２から８５のいずれか一項に記載の方法。 The representation of the virtual object with the first set of visual characteristics and the first orientation across a first portion of the physical environment captured within the field of view of the one or more cameras. Detecting a first movement of the one or more cameras while being displayed;
The first set of visual characteristics and the physical environment captured within the field of view of the one or more cameras in response to detecting the first movement of the one or more cameras Displaying the representation of the virtual object with the first orientation across a second portion of the physical environment, the second portion of the physical environment comprising the first portion of the physical environment 86. A method according to any one of claims 82 to 85, wherein
前記デバイスの前記第２の移動を検出したことに応答して、前記デバイスの前記第２の移動にしたがって前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境が動き、前記第２の向きが前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応し続ける間に、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の前記第３の部分にわたる前記第２の向きとを伴う前記仮想オブジェクトの前記表現の表示を維持することと、を含む、請求項８２から８６のいずれか一項に記載の方法。 The representation of the virtual object with the second set of visual characteristics and the second orientation across a third portion of the physical environment captured within the field of view of the one or more cameras; Detecting a second movement of the one or more cameras while being displayed;
In response to detecting the second movement of the device, the physical environment captured in the field of view of the one or more cameras is moved according to the second movement of the device, While the two orientations continue to correspond to the plane in the physical environment detected in the field of view of the one or more cameras, the second set of visual characteristics and the one or more cameras Maintaining a representation of the representation of the virtual object with the second orientation across the third portion of the physical environment captured within the field of view of The method according to any one of the above.
前記１つ以上のカメラの前記視野内で検出された前記物理的環境内における前記プレーンの少なくとも前記場所又は前記向きに関する前記更新を受信したことに応答して、前記更新にしたがって、前記仮想オブジェクトの前記表現の少なくとも場所及び／又は向きを調整することと、を含む、請求項８２から８８のいずれか一項に記載の方法。 The representation of the virtual object with the second set of visual characteristics and the second orientation corresponding to the plane in the physical environment detected within the field of view of the one or more cameras. Receiving an update regarding at least the location or orientation of the plane in the physical environment detected within the field of view of the one or more cameras,
In response to receiving the update regarding at least the location or the orientation of the plane in the physical environment detected within the field of view of the one or more cameras, according to the update, of the virtual object 89. A method according to any one of claims 82 to 88, comprising adjusting at least the location and / or orientation of the representation.
前記第２の１組の視覚特性が、前記第１のサイズとは異なる第２のサイズと、前記第１の半透明性レベルより低い第２の半透明性レベルとを含む、請求項８２から８９のいずれか一項に記載に記載の方法。 The first set of visual characteristics includes a first size and a first translucency level;
83. From the 82, wherein the second set of visual characteristics includes a second size that is different from the first size and a second translucency level that is lower than the first translucency level. 90. The method according to any one of 89.
前記第１の向きが、前記要求を受信したときに前記仮想オブジェクトが前記それぞれのユーザーインターフェースに表示されている間の前記仮想オブジェクトの向きに対応している、請求項８２から９０のいずれか一項に記載の方法。 The first user including at least a portion of the field of view of the one or more cameras while the virtual object is displayed on a respective user interface not including at least a portion of the field of view of the one or more cameras The request to display the virtual object in an interface area is received,
91. A method according to any one of claims 82 to 90, wherein the first orientation corresponds to the orientation of the virtual object while the virtual object is displayed on the respective user interface when the request is received. The method according to item.
前記仮想オブジェクトの前記擬似的な物理的サイズを変化させる前記要求を検出したことに応答して、
前記仮想オブジェクトの前記擬似的な物理的サイズの前記第１の擬似的な物理的サイズから前記第２の擬似的な物理的サイズへの段階的な変化にしたがって、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の表示サイズを徐々に変化させることと、
前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の前記表示サイズの前記段階的な変化中、前記仮想オブジェクトの前記擬似的な物理的サイズが所定の擬似的な物理的サイズに達したとの判定にしたがって、前記仮想オブジェクトの前記擬似的な物理的サイズが前記所定の擬似的な物理的サイズに達したことを示す触知出力を生成することと、を含む、請求項８２から９２のいずれか一項に記載の方法。 The virtual object with the second set of visual characteristics and the second orientation corresponding to the plane in the physical environment detected in the field of view of the one or more cameras; A first pseudo-physical size to a second pseudo-physics for the physical environment captured in the field of view of the one or more cameras while displaying in one user interface area. Detecting a request to change a pseudo physical size of the virtual object to a physical size;
In response to detecting the request to change the pseudo physical size of the virtual object,
In the first user interface area according to a stepwise change of the pseudo physical size of the virtual object from the first pseudo physical size to the second pseudo physical size. Gradually changing the display size of the representation of the virtual object;
The pseudo physical size of the virtual object has reached a predetermined pseudo physical size during the gradual change of the display size of the representation of the virtual object in the first user interface area Generating tactile output indicating that the pseudo physical size of the virtual object has reached the predetermined pseudo physical size according to the determination of The method according to any one of the above.
前記仮想オブジェクトを前記所定の擬似的な物理的サイズに戻す前記要求を検出したことに応答して、前記仮想オブジェクトの前記擬似的な物理的サイズの前記所定の擬似的な物理的サイズへの変化にしたがって、前記第１のユーザーインターフェース領域における前記仮想オブジェクトの前記表現の前記表示サイズを変化させることと、を含む、請求項９３に記載の方法。 While displaying the virtual object in the first user interface area at the second pseudo physical size of the virtual object different from the predetermined pseudo physical size, the virtual object Detecting a request to restore the predetermined pseudo physical size;
In response to detecting the request to return the virtual object to the predetermined pseudo physical size, the virtual object of the virtual object is changed to the predetermined pseudo physical size. 94. The method of claim 93, further comprising: changing the display size of the representation of the virtual object in the first user interface area.
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第１の部分にわたって前記仮想オブジェクトの前記表現が表示されたときに前記オブジェクト配置基準が満たされたとの判定にしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンとして、前記１つ以上のカメラの前記視野内の前記物理的環境内において検出された複数のプレーンのうちの第１のプレーンを選択することと、
前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境の第２の部分にわたって前記仮想オブジェクトの前記表現が表示されたときに前記オブジェクト配置基準が満たされたとの判定にしたがって、前記第２の１組の視覚特性を伴う前記仮想オブジェクトの前記表現の前記第２の向きを設定する前記プレーンとして、前記１つ以上のカメラの前記視野内の前記物理的環境内で検出された前記複数のプレーンのうちの第２のプレーンを選択することと、を含み、前記物理的環境の前記第１の部分が、前記物理的環境の前記第２の部分とは異なり、前記第１のプレーンが、前記第２のプレーンとは異なる、請求項８２から９４のいずれか一項に記載の方法。 Select the plane that sets the second orientation of the representation of the virtual object with the second set of visual characteristics according to the position and orientation of each of the one or more cameras relative to the physical environment Selecting the plane, including:
According to the determination that the object placement criterion is satisfied when the representation of the virtual object is displayed over a first portion of the physical environment captured within the field of view of the one or more cameras. A plurality of detected in the physical environment within the field of view of the one or more cameras as the plane that sets the second orientation of the representation of the virtual object with a second set of visual characteristics; Selecting the first of the planes;
In accordance with determining that the object placement criteria are met when the representation of the virtual object is displayed over a second portion of the physical environment captured within the field of view of the one or more cameras. The detected in the physical environment within the field of view of the one or more cameras as the plane that sets the second orientation of the representation of the virtual object with a second set of visual characteristics. Selecting a second plane of a plurality of planes, wherein the first portion of the physical environment is different from the second portion of the physical environment, and the first plane 95. The method according to any one of claims 82 to 94, wherein is different from the second plane.
前記スナップショットアフォーダンスのアクティブ化に応答して、前記第２の１組の視覚特性と、前記１つ以上のカメラの前記視野内で検出された前記物理的環境内の前記プレーンに対応する前記第２の向きとを伴う、前記１つ以上のカメラの前記視野内の前記物理的環境内の配置場所における前記仮想オブジェクトの前記表現の現在のビューを含むスナップショット画像をキャプチャすることと、を含む、請求項８２から９５のいずれか一項に記載の方法。 Displaying the snapshot affordance at the same time as displaying the virtual object with the second set of visual characteristics and the second orientation in the first user interface area;
The second set of visual characteristics and the corresponding one of the planes in the physical environment detected in the field of view of the one or more cameras in response to activation of the snapshot affordance; Capturing a snapshot image including a current view of the representation of the virtual object at a location in the physical environment within the field of view of the one or more cameras with an orientation of two. 96. A method according to any one of claims 82 to 95.
前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現とともに前記１つ以上の制御アフォーダンスを表示している間に、制御フェイディング基準が満たされていることを検出することと、
前記制御フェイディング基準が満たされていることを検出したことに応答して、前記１つ以上のカメラの前記視野を含む前記第１のユーザーインターフェース領域内に前記第２の１組の視覚特性を有する前記仮想オブジェクトの前記表現を表示し続けながら、前記１つ以上の制御アフォーダンスを表示することを停止することと、を含む、請求項８２から９６のいずれか一項に記載の方法。 Displaying one or more control affordances with the representation of the virtual object having the second set of visual characteristics in the first user interface area;
Detecting that a control fading criterion is met while displaying the one or more control affordances with the representation of the virtual object having the second set of visual characteristics;
The second set of visual characteristics in the first user interface area including the field of view of the one or more cameras in response to detecting that the control fading criteria are met. 97. A method according to any one of claims 82 to 96, including stopping displaying the one or more control affordances while continuing to display the representation of the virtual object that it has.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信し、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示する、命令を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示することであり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs But,
Receiving a request to display a virtual object in a first user interface area that includes at least a portion of a field of view of the one or more cameras;
In response to a request to display the virtual object in the first user interface area, at least a portion of the field of view of the one or more cameras included in the first user interface area via the display generation component. Instructions for displaying the representation of the virtual object above, wherein the field of view of the one or more cameras is a view of a physical environment in which the one or more cameras are located, and It is possible to display the expression
According to a determination that object placement criteria are not satisfied, the representation of the virtual object is a first set of visual characteristics, and which part of the physical environment is that of the one or more cameras. Display in a first orientation independent of whether it is displayed within the field of view, and in order for the object placement criteria to be met, the placement location of the virtual object is that of the one or more cameras. The representation of the virtual object is distinct from the first set of visual characteristics according to determining that the object needs to be specified in the field of view and that the object placement criteria are satisfied. Displaying in a second orientation corresponding to a plane in the physical environment detected in the field of view of the one or more cameras, with a second set of visual characteristics. Including computer systems.
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信させ、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示させ、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示することであり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、こと、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示すること、を含む、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, the one or more programs being executed by a computer system comprising a display generation component, one or more input devices, and one or more cameras When the computer system
Receiving a request to display a virtual object in a first user interface area that includes at least a portion of a field of view of the one or more cameras;
In response to a request to display the virtual object in the first user interface area, at least a portion of the field of view of the one or more cameras included in the first user interface area via the display generation component. Displaying a representation of the virtual object, wherein the field of view of the one or more cameras is a view of a physical environment in which the one or more cameras are located, and displays the representation of the virtual object But
According to a determination that object placement criteria are not satisfied, the representation of the virtual object is a first set of visual characteristics, and which part of the physical environment is that of the one or more cameras. Display in a first orientation independent of whether it is displayed within the field of view, and in order for the object placement criteria to be met, the placement location of the virtual object is that of the one or more cameras. The representation of the virtual object is distinct from the first set of visual characteristics according to determining that the object needs to be specified in the field of view and that the object placement criteria are satisfied. Displaying in a second orientation corresponding to a plane in the physical environment detected in the field of view of the one or more cameras, with a second set of visual characteristics. A computer readable storage medium.
１つ以上の入力デバイスと、
１つ以上のカメラと、
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信する手段と、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示するように使用可能になる手段と、を備え、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示するように使用可能になる前記手段が、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示するように使用可能になる手段であり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、手段、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示するように使用可能になる手段、を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
Means for receiving a request to display a virtual object in a first user interface area that includes at least a portion of a field of view of the one or more cameras;
In response to a request to display the virtual object in the first user interface area, at least a portion of the field of view of the one or more cameras included in the first user interface area via the display generation component. Means for enabling display of a representation of the virtual object above, wherein the field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. The means enabled to display the representation of the virtual object;
According to a determination that object placement criteria are not satisfied, the representation of the virtual object is a first set of visual characteristics, and which part of the physical environment is that of the one or more cameras. Means for enabling display in a first orientation independent of whether it is displayed within the field of view, and for the object placement criteria to be met, the placement location of the virtual object is The representation of the virtual object is determined in the first set of means according to a determination that the object placement criteria is satisfied, and means that need to be specified within the field of view of one or more cameras. A second set of visual characteristics distinct from the visual characteristics, and a second orientation corresponding to a plane in the physical environment detected in the field of view of the one or more cameras A computer system comprising: means for enabling display.
前記１つ以上のカメラの視野の少なくとも一部分を含む第１のユーザーインターフェース領域に仮想オブジェクトを表示する要求を受信する手段と、
前記仮想オブジェクトを前記第１のユーザーインターフェース領域に表示する要求に応答して、前記表示生成コンポーネントを介して前記第１のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示するように使用可能になる手段と、を備え、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示するように使用可能になる前記手段が、
オブジェクト配置基準が満足されていないとの判定にしたがって、前記仮想オブジェクトの前記表現を、第１の１組の視覚特性で、かつ前記物理的環境のうちのどの部分が前記１つ以上のカメラの前記視野内に表示されているかとは無関係の第１の向きで、表示するように使用可能になる手段であり、前記オブジェクト配置基準が、満たされるためには、前記仮想オブジェクトの配置場所が前記１つ以上のカメラの前記視野内で特定されることを必要とする、手段、及び
前記オブジェクト配置基準が満足されたとの判定にしたがって、前記仮想オブジェクトの前記表現を、前記第１の１組の視覚特性とは別個の第２の１組の視覚特性で、かつ前記１つ以上のカメラの前記視野内で検出された前記物理的環境内のプレーンに対応する第２の向きで、表示するように使用可能になる手段、を含む、情報処理装置。 An information processing apparatus used in a computer system including a display generation component, one or more input devices, and one or more cameras,
Means for receiving a request to display a virtual object in a first user interface area that includes at least a portion of a field of view of the one or more cameras;
In response to a request to display the virtual object in the first user interface area, at least a portion of the field of view of the one or more cameras included in the first user interface area via the display generation component. Means for enabling display of a representation of the virtual object above, wherein the field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. The means enabled to display the representation of the virtual object;
According to a determination that object placement criteria are not satisfied, the representation of the virtual object is a first set of visual characteristics, and which part of the physical environment is that of the one or more cameras. Means for enabling display in a first orientation independent of whether it is displayed within the field of view, and for the object placement criteria to be met, the placement location of the virtual object is The representation of the virtual object is determined in the first set of means according to a determination that the object placement criteria is satisfied, and means that need to be specified within the field of view of one or more cameras. A second set of visual characteristics distinct from the visual characteristics, and a second orientation corresponding to a plane in the physical environment detected in the field of view of the one or more cameras And an information processing apparatus including means that can be used for display.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項８２から９８に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs 99. A computer system comprising instructions for performing any of the methods of claims 82-98.
１つ以上の入力デバイスと、
１つ以上のカメラと、
請求項８２から９８に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
99. A computer system comprising: means for performing any of the methods of claims 82-98.
請求項８２から９８に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus used in a computer system including a display generation component, one or more input devices, and one or more cameras,
An information processor comprising means for performing any of the methods according to claims 82 to 98.
前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に物理的環境の拡張現実ビューを表示する要求を受信することと、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、前記物理的環境の前記拡張現実ビューに対して較正基準が満足されていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示することと、を含む、方法であって、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記物理的環境における前記１つ以上のカメラの姿勢の変化を、前記１つ以上の姿勢センサを介して検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の前記変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記方法が、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を動く前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出することと、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止することと、を含む、方法。 In the device having a display generation component, one or more input devices, one or more cameras, and one or more attitude sensors that detect a change in attitude of a device including the one or more cameras.
Receiving a request to display an augmented reality view of a physical environment in a first user interface area that includes a representation of the field of view of the one or more cameras;
In response to receiving the request to display the augmented reality view of the physical environment, the representation of the field of view of the one or more cameras is displayed to the augmented reality view of the physical environment. Displaying a dynamically animated calibration user interface object according to movement of the one or more cameras in the physical environment in accordance with determining that calibration criteria are not satisfied. Displaying the calibration user interface object comprises:
Detecting a change in posture of the one or more cameras in the physical environment via the one or more posture sensors while displaying the calibration user interface object; and in the physical environment In response to detecting the change in posture of the one or more cameras, at least one display of the calibration user interface object according to the detected change in posture of the one or more cameras in the physical environment. Adjusting the parameters, wherein the method further comprises
Detecting that the calibration criteria are met while displaying the calibration user interface object moving on the display in accordance with the detected change in attitude of the one or more cameras in the physical environment. When,
Stopping displaying the calibration user interface object in response to detecting that the calibration criteria are met.
前記較正基準が満足されていないとの判定にしたがって、前記較正ユーザーインターフェースオブジェクトを表示する前に、プレーンの表現に対して動く前記デバイスの表現を含むアニメーション化されたプロンプトオブジェクトを表示することを含む、請求項１０８から１１５のいずれか一項に記載の方法。 In response to receiving the request to display the augmented reality view of the physical environment,
Displaying an animated prompt object including a representation of the device moving relative to a representation of a plane prior to displaying the calibration user interface object according to the determination that the calibration criteria are not satisfied 116. The method according to any one of claims 108 to 115.
前記物理的環境における前記１つ以上のカメラの第１の移動の大きさにしたがって、第１の量だけ前記較正ユーザーインターフェースオブジェクトを動かすことと、
前記物理的環境における前記１つ以上のカメラの第２の移動の大きさにしたがって、第２の量だけ前記較正ユーザーインターフェースオブジェクトを動かすことと、を含み、前記第１の量が、前記第２の量とは異なり、前記第１の移動の大きさが、前記第２の移動の大きさとは異なる、請求項１０８から１１６のいずれか一項に記載の方法。 Adjusting at least one display parameter of the calibration user interface object in accordance with the detected change in pose of the one or more cameras in the physical environment;
Moving the calibration user interface object by a first amount according to a first magnitude of movement of the one or more cameras in the physical environment;
Moving the calibration user interface object by a second amount according to a second magnitude of movement of the one or more cameras in the physical environment, the first amount being the second amount 117. The method of any one of claims 108-116, wherein the magnitude of the first movement is different than the magnitude of the second movement, unlike the amount of.
前記１つ以上のカメラの姿勢の前記検出された変化が第１の種類の移動に対応しているとの判定にしたがって、前記第１の種類の移動に基づいて前記較正ユーザーインターフェースオブジェクトを動かすことと、
前記１つ以上のカメラの姿勢の前記検出した変化が第２の種類の移動に対応しているとの判定にしたがって、前記第２の種類の移動に基づいて前記較正ユーザーインターフェースオブジェクトを動かすことを見合わせることと、を含む、請求項１０８から１１７のいずれか一項に記載の方法。 Adjusting at least one display parameter of the calibration user interface object in accordance with the detected change in pose of the one or more cameras in the physical environment;
Moving the calibration user interface object based on the first type of movement according to a determination that the detected change in posture of the one or more cameras corresponds to a first type of movement. When,
Moving the calibration user interface object based on the second type of movement according to the determination that the detected change in posture of the one or more cameras corresponds to a second type of movement. 118. A method according to any one of claims 108 to 117, including abrogating.
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出される変化にしたがって、前記第１のユーザーインターフェース領域にわたる前記較正ユーザーインターフェースオブジェクトの特徴的な表示場所を変えることなく、前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１０８から１１８のいずれか一項に記載の方法。 Adjusting at least one display parameter of the calibration user interface object in accordance with the detected change in pose of the one or more cameras in the physical environment;
The calibration user interface without changing the characteristic display location of the calibration user interface object across the first user interface area according to the detected change of the attitude of the one or more cameras in the physical environment 119. A method according to any one of claims 108 to 118, comprising moving the object.
前記物理的環境における前記１つ以上のカメラの移動方向に対して直交する軸の周りで前記較正ユーザーインターフェースオブジェクトを回転させることを含む、請求項１０８から１１９のいずれか一項に記載の方法。 Adjusting at least one display parameter of the calibration user interface object in accordance with the detected change in pose of the one or more cameras in the physical environment;
120. A method according to any one of claims 108 to 119, comprising rotating the calibration user interface object about an axis orthogonal to the direction of movement of the one or more cameras in the physical environment.
前記１つ以上のカメラの前記視野内で検出された変化率にしたがって決定された速度で前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１０８から１２０のいずれか一項に記載の方法。 Adjusting at least one display parameter of the calibration user interface object in accordance with the detected change in pose of the one or more cameras in the physical environment;
121. A method according to any one of claims 108 to 120, comprising moving the calibration user interface object at a speed determined according to a rate of change detected within the field of view of the one or more cameras.
前記１つ以上のカメラの前記視野内で検出された変化の方向にしたがって決定された方向に前記較正ユーザーインターフェースオブジェクトを動かすことを含む、請求項１０８から１２１のいずれか一項に記載の方法。 Adjusting at least one display parameter of the calibration user interface object in accordance with the detected change in pose of the one or more cameras in the physical environment;
122. The method according to any one of claims 108 to 121, comprising moving the calibration user interface object in a direction determined according to a direction of change detected in the field of view of the one or more cameras.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信し、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示する命令を含み、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記１つ以上のプログラムが、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出し、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止する命令を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more attitude sensors;
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs But,
Receiving a request to display an augmented reality view of a physical environment in a first user interface area including a representation of a field of view of the one or more cameras;
In response to receiving the request to display the augmented reality view of the physical environment, the representation of the field of view of the one or more cameras is displayed and a calibration criterion is the augmented reality of the physical environment. Instructions for displaying a dynamically animated calibration user interface object in accordance with a movement of the one or more cameras in the physical environment according to a determination that the view is not satisfied, the calibration user interface object Can be displayed,
Detecting a change in posture of the one or more cameras in the physical environment via the one or more posture sensors while displaying the calibration user interface object; and in the physical environment In response to detecting a change in posture of the one or more cameras, at least one display parameter of the calibration user interface object according to the detected change in posture of the one or more cameras in the physical environment. Adjusting, wherein the one or more programs further comprises:
Detecting that the calibration criteria are met while displaying the calibration user interface object moving on the display in accordance with the detected change in attitude of the one or more cameras in the physical environment. ,
A computer system comprising instructions to stop displaying the calibration user interface object in response to detecting that the calibration criteria have been met.
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信させ、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示させ、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示させ、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記命令が、前記コンピュータシステムに、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出させ、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止させる、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, wherein the one or more programs include instructions, the instructions comprising a display generation component, one or more input devices, one or more cameras, and When executed by a computer system comprising one or more attitude sensors,
Receiving a request to display an augmented reality view of a physical environment in a first user interface area including a representation of a field of view of the one or more cameras;
In response to receiving the request to display the augmented reality view of the physical environment, the representation of the field of view of the one or more cameras is displayed and a calibration criterion is the augmented reality of the physical environment. Displaying the calibration user interface object dynamically animated according to the movement of the one or more cameras in the physical environment and displaying the calibration user interface object according to a determination that the view is not satisfied What
Detecting a change in posture of the one or more cameras in the physical environment via the one or more posture sensors while displaying the calibration user interface object; and in the physical environment In response to detecting a change in posture of the one or more cameras, at least one display parameter of the calibration user interface object according to the detected change in posture of the one or more cameras in the physical environment. And wherein the instructions are further transmitted to the computer system,
Detecting that the calibration criteria are met while displaying the calibration user interface object moving on the display in accordance with the detected change in attitude of the one or more cameras in the physical environment. ,
A computer-readable storage medium that stops displaying the calibration user interface object in response to detecting that the calibration criteria are met.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信する手段と、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するように使用可能になる手段と、を備える、コンピュータシステムであって、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記コンピュータシステムが、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出するように使用可能になる手段と、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止するように使用可能になる手段と、を備える、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more attitude sensors;
Means for receiving a request to display an augmented reality view of a physical environment in a first user interface area including a representation of a field of view of the one or more cameras;
In response to receiving the request to display the augmented reality view of the physical environment, the representation of the field of view of the one or more cameras is displayed and a calibration criterion is the augmented reality of the physical environment. Means enabled to display a dynamically animated calibration user interface object in accordance with a movement of the one or more cameras in the physical environment in accordance with a determination that the view is not satisfied; A computer system comprising: displaying the calibration user interface object;
Detecting a change in posture of the one or more cameras in the physical environment via the one or more posture sensors while displaying the calibration user interface object; and in the physical environment In response to detecting a change in posture of the one or more cameras, at least one display parameter of the calibration user interface object according to the detected change in posture of the one or more cameras in the physical environment. Adjusting the computer system, the computer system further comprising:
Detecting that the calibration criteria are met while displaying the calibration user interface object moving on the display in accordance with the detected change in attitude of the one or more cameras in the physical environment. As a means of becoming available,
Means for enabling to stop displaying the calibration user interface object in response to detecting that the calibration criteria are met.
物理的環境の拡張現実ビューを前記１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に表示する要求を受信する手段と、
前記物理的環境の前記拡張現実ビューを表示する前記要求を受信したことに応答して、前記１つ以上のカメラの前記視野の前記表現を表示し、較正基準が前記物理的環境の前記拡張現実ビューについて満たされていないとの判定にしたがって、前記物理的環境における前記１つ以上のカメラの移動にしたがって動的にアニメーション化された較正ユーザーインターフェースオブジェクトを表示するように使用可能になる手段と、を備える、情報処理装置であって、前記較正ユーザーインターフェースオブジェクトを表示することが、
前記較正ユーザーインターフェースオブジェクトを表示している間に、前記１つ以上の姿勢センサを介して、前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出すること、及び
前記物理的環境における前記１つ以上のカメラの姿勢の変化を検出したことに応答して、前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記較正ユーザーインターフェースオブジェクトの少なくとも１つの表示パラメータを調整すること、を含み、前記情報処理装置が、更に、
前記物理的環境における前記１つ以上のカメラの姿勢の前記検出した変化にしたがって前記ディスプレイ上を移動する前記較正ユーザーインターフェースオブジェクトを表示している間に、前記較正基準が満たされたことを検出するように使用可能になる手段と、
前記較正基準が満たされたことを検出したことに応答して、前記較正ユーザーインターフェースオブジェクトを表示することを停止するように使用可能になる手段と、を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display generation component, one or more input devices, one or more cameras, and one or more attitude sensors, comprising:
Means for receiving a request to display an augmented reality view of a physical environment in a first user interface area including a representation of a field of view of the one or more cameras;
Displaying the representation of the field of view of the one or more cameras in response to receiving the request to display the augmented reality view of the physical environment, a calibration criterion being the augmented reality of the physical environment Means enabled to display a dynamically animated calibration user interface object according to the movement of the one or more cameras in the physical environment according to the determination that the view is not filled; An information processing apparatus, comprising: the calibration user interface object;
Detecting a change in attitude of the one or more cameras in the physical environment via the one or more attitude sensors while displaying the calibration user interface object; and At least one display parameter of the calibration user interface object according to the detected change in the pose of the one or more cameras in the physical environment in response to detecting a change in the pose of the one or more cameras Adjusting the information processing apparatus, and the information processing apparatus further
Detecting that the calibration criteria are met while displaying the calibration user interface object moving on the display in accordance with the detected change in attitude of the one or more cameras in the physical environment. As a means of becoming available,
Means for disabling the display of said calibration user interface object in response to detecting that said calibration criteria have been met.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１０８から１２２に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more attitude sensors;
One or more processors;
109. A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, wherein the one or more programs are A computer system comprising instructions for performing any of the methods set forth in claim 122.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の姿勢センサと、
請求項１０８から１２２に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more attitude sensors;
123. A computer system comprising: means for performing any of the methods of claims 108-122.
請求項１０８から１２２に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus used in a computer system including a display generation component, one or more input devices, one or more cameras, and one or more attitude sensors,
123. An information processing apparatus comprising means for performing any of the methods according to claims 108 to 122.
第１のユーザーインターフェース領域に仮想三次元オブジェクトの第１の視点の表現を前記表示生成コンポーネントにより表示することと、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出することと、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記第１の入力の大きさに基づいて決定された、前記第１の軸に対する閾値回転量を上回るだけの前記仮想三次元オブジェクトの回転を制限する移動に対する限界により制約された量だけ前記第１の軸に対して前記仮想三次元オブジェクトを回転させることと、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応するとの判定にしたがって、前記第１の入力の大きさに基づいて決定された量だけ前記第２の軸に対して前記仮想三次元オブジェクトを回転させることと、を含み、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、方法。 In a device having a display generation component and one or more input devices including a touch-sensitive surface,
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component;
The first invisible virtual of the virtual three-dimensional object while displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display. Detecting a first input corresponding to a request to rotate the virtual three-dimensional object relative to a display to display a portion of the three-dimensional object;
In response to detecting the first input,
The first input determined based on a magnitude of the first input according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a first axis. Rotating the virtual three-dimensional object relative to the first axis by an amount constrained by a limit on movement that limits the rotation of the virtual three-dimensional object by more than a threshold rotation amount relative to the first axis;
Determined based on the magnitude of the first input according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a second axis different from the first axis. Rotating the virtual three-dimensional object about the second axis by a specified amount, and for an input having a magnitude exceeding a respective threshold, the device moves the virtual three-dimensional object to the first axis. A method of rotating the axis of 2 by an amount exceeding the threshold rotation amount.
前記第１の入力が、第１の方向にタッチ感知面にわたる接触の第１の移動を含み、前記第１の方向の前記接触の前記第１の移動が、前記仮想オブジェクトの前記表現を前記第１の軸に対して回転させる第１の基準を満足するとの判定にしたがって、前記第１の入力が前記三次元オブジェクトを前記第１の軸の周りで回転させる要求に対応していると判定することであり、前記第１の基準が、前記第１の入力が前記第１の方向の第１の閾値移動量を超える移動を含むという、満たされるための要件を含む、ことと、
前記第１の入力が、第２の方向に前記タッチ感知面にわたる前記接触の第２の移動を含み、前記第２の方向の前記接触の前記第２の移動が、前記仮想オブジェクトの前記表現を前記第２の軸に対して回転させる第２の基準を満足するとの判定にしたがって、前記第１の入力が前記三次元オブジェクトを前記第２の軸の周りで回転させる要求に対応していると判定することであり、前記第２の基準が、前記第１の入力が前記第２の方向の第２の閾値移動量を超える移動を含むという、満たされるための要件を含む、ことと、を含み、前記第１の閾値が、前記第２の閾値より大きい、請求項１３２に記載の方法。 In response to detecting the first input,
The first input includes a first movement of contact across a touch-sensitive surface in a first direction, and the first movement of the contact in the first direction converts the representation of the virtual object to the first. Determining that the first input corresponds to a request to rotate the three-dimensional object about the first axis according to a determination that a first criterion for rotating about the first axis is satisfied; The first criteria include the requirement to be met that the first input includes a move that exceeds a first threshold move amount in the first direction;
The first input includes a second movement of the contact across the touch-sensitive surface in a second direction, and the second movement of the contact in the second direction represents the representation of the virtual object. The first input corresponds to a request to rotate the three-dimensional object about the second axis in accordance with a determination that a second criterion for rotating about the second axis is satisfied. The second criterion includes a requirement to be satisfied that the first input includes a movement that exceeds a second threshold movement amount in the second direction. 135. The method of claim 132, wherein the first threshold is greater than the second threshold.
前記第２の軸に対する前記仮想三次元オブジェクトの回転が、前記第２の入力ジェスチャの前記第１の入力パラメータの前記特性値と、前記第２の軸の周りで仮想三次元オブジェクトに適用される回転の量との間の第２の対応度で発生し、
前記第１の対応度は、第２の対応度よりも、前記第１の入力パラメータに対する前記仮想三次元オブジェクトの回転が小さい、請求項１３２又は１３３に記載の方法。 A rotation of the virtual three-dimensional object with respect to the first axis is a characteristic value of a first input parameter of the first input and a rotation applied to the virtual three-dimensional object around the first axis Occurs at a first degree of correspondence between the quantities
A rotation of the virtual three-dimensional object with respect to the second axis is applied to the virtual three-dimensional object around the second axis and the characteristic value of the first input parameter of the second input gesture Occurs at a second correspondence between the amount of rotation and
134. The method according to claim 132 or 133, wherein the first correspondence degree is smaller in rotation of the virtual three-dimensional object with respect to the first input parameter than a second correspondence degree.
前記第１の入力の前記終わりを検出した後で、前記入力の前記終わりを検出する前の前記第１の入力の大きさに基づいて前記三次元オブジェクトを回転させ続けることであり、
前記三次元オブジェクトが前記第１の軸に対して回転しているとの判定にしたがって、前記第１の軸に対する前記オブジェクトの前記回転を、前記第１の軸に対する前記三次元オブジェクトの前記回転の大きさに比例する第１の量だけ減速させること、及び
前記三次元オブジェクトが前記第２の軸に対して回転しているとの判定にしたがって、前記第２の軸に対する前記オブジェクトの前記回転を、前記第２の軸に対する前記三次元オブジェクトの前記回転の大きさに比例する第２の量だけ減速させること、を含み、前記第２の量が、前記第１の量とは異なる、ことと、を含む、請求項１３２から１３４のいずれか一項に記載の方法。 Detecting the end of the first input;
Continuing to rotate the three-dimensional object based on the magnitude of the first input before detecting the end of the first input after detecting the end of the first input;
The rotation of the object with respect to the first axis according to the determination that the three-dimensional object is rotated with respect to the first axis, the rotation of the three-dimensional object with respect to the first axis Decelerating the rotation of the object relative to the second axis according to decelerating by a first amount proportional to size and determining that the three-dimensional object is rotating relative to the second axis Decelerating by a second amount proportional to the magnitude of the rotation of the three-dimensional object with respect to the second axis, the second amount being different from the first amount. 135. The method according to any one of claims 132 to 134, comprising:
前記第１の入力の前記終わりを検出した後で、
前記三次元オブジェクトが前記第１の軸に対してそれぞれの回転閾値を超えて回転したとの判定にしたがって、前記第１の軸に対する前記三次元オブジェクトの前記回転の少なくとも一部分を逆転させることと、
前記三次元オブジェクトが前記第１の軸に対してそれぞれの回転閾値を超えて回転していないとの判定にしたがって、前記第１の軸に対する前記三次元オブジェクトの前記回転を逆転させることを見合わせることと、を含む、請求項１３２から１３５のいずれか一項に記載の方法。 Detecting the end of the first input;
After detecting the end of the first input,
Reversing at least a portion of the rotation of the three-dimensional object relative to the first axis according to a determination that the three-dimensional object has rotated past the respective rotation threshold relative to the first axis;
According to the determination that the three-dimensional object has not rotated beyond the respective rotation threshold with respect to the first axis, noting reversing the rotation of the three-dimensional object relative to the first axis 138. The method of any one of claims 132 to 135, comprising:
前記第１の軸及び／又は前記第２の軸に対する前記仮想三次元オブジェクトの前記回転にしたがって、前記影の前記表現の形状を変化させることと、を含む、請求項１３２から１３７のいずれか一項に記載の方法。 Displaying a representation of a shadow projected by the virtual 3D object while displaying the representation of the first viewpoint of the virtual 3D object in the first user interface region;
138. changing the shape of the representation of the shadow according to the rotation of the virtual three-dimensional object relative to the first axis and / or the second axis. The method according to item.
前記仮想三次元オブジェクトが、前記仮想三次元オブジェクトの所定の底部を明示する第２の視点で表示されているとの判定にしたがって、前記仮想三次元オブジェクトの前記第２の視点の前記表現で前記影の前記表現を表示することを見合わせることを含む、請求項１３８に記載の方法。 While rotating the virtual three-dimensional object in the first user interface area,
Said representation of said second viewpoint of said virtual three-dimensional object according to the determination that said virtual three-dimensional object is displayed in a second viewpoint which specifies a predetermined bottom of said virtual three-dimensional object 138. The method of claim 138, comprising forcing up displaying the representation of the shadow.
前記第２の入力を検出したことに応答して、前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの所定の元の視点の表現を表示することと、を含む、請求項１３２から１３９のいずれか一項に記載の方法。 Detecting a second input corresponding to a request to reset the virtual three-dimensional object in the first user interface area after rotating the virtual three-dimensional object in the first user interface area When,
136. displaying a representation of a predetermined original viewpoint of the virtual three-dimensional object in the first user interface area in response to detecting the second input. The method as described in any one of.
前記第３の入力を検出したことに応答して、前記入力の大きさにしたがって、前記第１のユーザーインターフェース領域内で前記仮想三次元オブジェクトの前記表現のサイズを調整することと、を含む、請求項１３２から１４０のいずれか一項に記載の方法。 Detecting a third input corresponding to the request to resize the virtual three-dimensional object while displaying the virtual three-dimensional object in the first user interface area;
Adjusting the size of the representation of the virtual three-dimensional object within the first user interface region according to the magnitude of the input in response to detecting the third input. 141. A method according to any one of claims 132 to 140.
前記仮想三次元オブジェクトのサイズが前記仮想三次元オブジェクトの前記所定のデフォルト表示サイズに達したことを検出したことに応答して、前記仮想三次元オブジェクトが前記所定のデフォルト表示サイズで表示されていることを示す触知出力を生成することと、を含む、請求項１４１に記載の方法。 The size of the virtual 3D object has reached a predetermined default display size of the virtual 3D object while adjusting the size of the representation of the virtual 3D object in the first user interface area Detecting
In response to detecting that the size of the virtual 3D object has reached the predetermined default display size of the virtual 3D object, the virtual 3D object is displayed at the predetermined default display size. 142. The method of claim 141, comprising: generating a tactile output indicative of.
前記第１のユーザーインターフェース領域内に前記仮想三次元オブジェクトの第３の視点の表現を表示している間に、前記仮想三次元オブジェクトを１つ以上のカメラの視野を含む第２のユーザーインターフェース領域内に前記仮想三次元オブジェクトを表示する要求に対応する第４の入力を検出することと、
前記第４の入力を検出したことに応答して、前記表示生成コンポーネントを介して、前記第２のユーザーインターフェース領域に含まれる前記１つ以上のカメラの前記視野の少なくとも一部分の上に前記仮想オブジェクトの表現を表示することと、を含み、前記１つ以上のカメラの前記視野が、前記１つ以上のカメラが位置している物理的環境のビューであり、前記仮想オブジェクトの前記表現を表示することが、
前記第１の軸の周りで所定の角度まで前記仮想三次元オブジェクトを回転させることと、
前記第２の軸に対する前記仮想三次元オブジェクトの現在角度を維持することと、を含む、請求項１３２から１４２のいずれか一項に記載の方法。 The device includes one or more cameras, and the method comprises:
A second user interface area including the field of view of the one or more cameras of the virtual three-dimensional object while displaying a representation of a third viewpoint of the virtual three-dimensional object in the first user interface area; Detecting a fourth input corresponding to a request to display the virtual three-dimensional object in
The virtual object over at least a portion of the field of view of the one or more cameras included in the second user interface area via the display generation component in response to detecting the fourth input. Displaying the representation of the virtual object, wherein the field of view of the one or more cameras is a view of the physical environment in which the one or more cameras are located. What
Rotating the virtual three-dimensional object around the first axis to a predetermined angle;
143. A method according to any one of claims 132 to 142, comprising: maintaining a current angle of the virtual three-dimensional object with respect to the second axis.
前記第５の入力を検出したことに応答して、
前記仮想三次元オブジェクトを回転させて、前記仮想三次元オブジェクトの前記二次元表現に対応する前記仮想三次元オブジェクトの視点を示すことと、
前記仮想三次元オブジェクトが前記仮想三次元オブジェクトの前記二次元表現に対応するそれぞれの視点を示すように回転した後で、前記仮想三次元オブジェクトの前記二次元表現を表示することと、を含む、請求項１３２から１４３のいずれか一項に記載の方法。 Responding to a request to return to a two-dimensional user interface including a two-dimensional representation of the virtual three-dimensional object while displaying a representation of a fourth viewpoint of the virtual three-dimensional object in the first user interface area Detecting a fifth input;
In response to detecting the fifth input,
Rotating the virtual three-dimensional object to show the viewpoint of the virtual three-dimensional object corresponding to the two-dimensional representation of the virtual three-dimensional object;
Displaying the two-dimensional representation of the virtual three-dimensional object after the virtual three-dimensional object has been rotated to show respective viewpoints corresponding to the two-dimensional representation of the virtual three-dimensional object. 144. The method of any one of claims 132-143.
前記仮想三次元オブジェクトの前記表現を表示している間に、前記仮想三次元オブジェクトを表示する要求を検出することと、
前記仮想三次元オブジェクトを表示する前記要求を検出したことに応答して、前記仮想三次元オブジェクトの前記表現の表示を、前記仮想三次元オブジェクトの前記表現の前記それぞれの視点に一致するように回転した前記仮想三次元オブジェクトで置き換えることと、を含む、請求項１３２から１４４のいずれか一項に記載の方法。 Before displaying the representations of the first viewpoint of the virtual three-dimensional object, displaying a user interface comprising a representation of the virtual three-dimensional object comprising a representation of a view of the virtual three-dimensional object from each viewpoint And
Detecting a request to display the virtual three-dimensional object while displaying the representation of the virtual three-dimensional object;
In response to detecting the request to display the virtual three-dimensional object, rotating the display of the representation of the virtual three-dimensional object to match the respective viewpoints of the representation of the virtual three-dimensional object 145. A method according to any one of claims 132 to 144, including replacing with said virtual three-dimensional object.
前記仮想三次元オブジェクトの前記二次元表現を含む前記二次元ユーザーインターフェースを表示している間に、前記仮想三次元オブジェクトの前記二次元表現に対応した前記タッチ感知面上の場所でプレビュー基準を満たすタッチ入力の第１の部分を検出することと、
前記プレビュー基準を満たす前記タッチ入力の前記第１の部分を検出したことに応答して、前記仮想三次元オブジェクトの前記二次元表現より大きい前記仮想三次元オブジェクトのプレビューを表示することと、を含む、請求項１３２から１４５のいずれか一項に記載の方法。 Displaying a 2D user interface including a 2D representation of the virtual 3D object before displaying the first user interface area;
While displaying the two-dimensional user interface including the two-dimensional representation of the virtual three-dimensional object, a preview criterion is satisfied at a location on the touch sensitive surface corresponding to the two-dimensional representation of the virtual three-dimensional object Detecting a first portion of touch input;
Displaying a preview of the virtual three dimensional object larger than the two dimensional representation of the virtual three dimensional object in response to detecting the first portion of the touch input meeting the preview criteria. 146. A method according to any one of claims 132 to 145.
前記タッチ入力の前記第２の部分を検出したことに応答して、
前記タッチ入力の前記第２の部分がメニュー表示基準を満足するとの判定にしたがって、前記仮想オブジェクトに関連する複数の動作に対応する複数の選択可能なオプションを表示することと、
前記タッチ入力の前記第２の部分がステージング基準を満足するとの判定にしたがって、前記仮想三次元オブジェクトの前記二次元表現を含む前記二次元ユーザーインターフェースの表示を、前記仮想三次元オブジェクトを含む前記第１のユーザーインターフェースで置き換えることと、を含む、請求項１４６に記載の方法。 Detecting a second portion of the touch input while displaying the preview of the virtual three-dimensional object;
In response to detecting the second portion of the touch input,
Displaying a plurality of selectable options corresponding to a plurality of operations associated with the virtual object according to the determination that the second portion of the touch input satisfies a menu display criteria;
The display of the two-dimensional user interface comprising the two-dimensional representation of the virtual three-dimensional object according to the determination that the second portion of the touch input satisfies a staging criterion, the display of the two-dimensional user interface comprising the virtual three-dimensional object 147. The method of claim 146, including replacing with one user interface.
前記第１のユーザーインターフェースを表示する前に、前記仮想三次元オブジェクトの二次元表現を含む二次元ユーザーインターフェースを表示することと、
前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示する要求を検出したことに応答して、
前記仮想三次元オブジェクトに関連する１つ以上の制御要素のセットを表示することなく、前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示することと、
前記第１のユーザーインターフェースに前記仮想三次元オブジェクトを表示した後で、前記１つ以上の制御要素のセットを表示することと、を含む、請求項１３２から１４７のいずれか一項に記載の方法。 The first user interface includes a plurality of control elements, and the method includes:
Displaying a two-dimensional user interface including a two-dimensional representation of the virtual three-dimensional object before displaying the first user interface;
In response to detecting a request to display the virtual three-dimensional object on the first user interface,
Displaying the virtual 3D object in the first user interface without displaying a set of one or more control elements associated with the virtual 3D object;
148. A method according to any one of claims 132 to 147, comprising displaying the set of one or more control elements after displaying the virtual three-dimensional object on the first user interface. .
タッチ感知面を含む１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備えるコンピュータシステムであって、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示し、
前記ディスプレイ上の前記第１のユーザーインターフェース領域に前記仮想三次元オブジェクトの前記第１の視点の前記表現を表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出し、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させる命令を含み、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、コンピュータシステム。 A display generation component,
One or more input devices including a touch-sensitive surface;
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs But,
Displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area by the display generation component;
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is not visible from the first viewpoint of the virtual three-dimensional object. Detecting a first input corresponding to a request to rotate the virtual 3D object relative to a display to display a portion of the virtual 3D object;
In response to detecting the first input,
The virtual three-dimensional object relative to the first axis according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a first axis; Rotate by an amount constrained by a limit imposed on a movement that is determined based on the magnitude of one input and exceeds the threshold rotation amount relative to the first axis to constrain the rotation of the virtual three-dimensional object. Let
The virtual three-dimensional object may be selected as the second three-dimensional object according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a second axis different from the first axis. Said device for said virtual three-dimensional object for an input having a size exceeding a respective threshold value, comprising an instruction to rotate by an amount determined based on the size of said first input with respect to the axis of A computer system that rotates about the second axis by an amount that exceeds the threshold amount of rotation.
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示させ、
前記仮想オブジェクトの前記第１の視点の前記表現を前記ディスプレイ上の前記第１のユーザーインターフェース領域に表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出させ、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する前記移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させ、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, the one or more programs comprising instructions, the instructions comprising a display generation component and one or more input devices including a touch sensitive surface The computer system when executed by the computer system,
Causing the display generation component to display a representation of a first viewpoint of the virtual three-dimensional object in a first user interface area;
The virtual that is not visible from the first viewpoint of the virtual three-dimensional object while displaying the representation of the first viewpoint of the virtual object in the first user interface area on the display Detecting a first input corresponding to a request to rotate the virtual three-dimensional object relative to a display to display a portion of the three-dimensional object;
In response to detecting the first input,
The virtual three-dimensional object relative to the first axis according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a first axis; An amount determined by the size of one input and limited by the limit imposed on the movement that constrains the rotation of the virtual three-dimensional object by an amount exceeding the threshold rotation amount with respect to the first axis, Rotate,
The virtual three-dimensional object may be selected as the second three-dimensional object according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a second axis different from the first axis. The device rotates the virtual three-dimensional object with the second three-dimensional object for an input having a magnitude greater than a respective threshold value, and rotated by an amount determined based on the magnitude of the first input with respect to an axis of A computer readable storage medium rotated about an axis by an amount exceeding the threshold amount of rotation.
タッチ感知面を含む１つ以上の入力デバイスと、
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示する手段と、
前記仮想三次元オブジェクトの前記第１の視点の前記表現を前記ディスプレイ上の前記第１のユーザーインターフェース領域に表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出するように使用可能になる手段と、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する前記移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させるように使用可能になる手段と、を備え、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、コンピュータシステム。 A display generation component,
One or more input devices including a touch-sensitive surface;
Means for causing the display generation component to display a representation of a first viewpoint of a virtual three-dimensional object in a first user interface area;
While displaying the representation of the first viewpoint of the virtual three-dimensional object in the first user interface area on the display, it is not visible from the first viewpoint of the virtual three-dimensional object Means enabled for detecting a first input corresponding to a request to rotate the virtual three-dimensional object relative to a display to display a portion of the virtual three-dimensional object;
In response to detecting the first input,
The virtual three-dimensional object relative to the first axis according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a first axis; An amount determined by the size of one input and limited by the limit imposed on the movement that constrains the rotation of the virtual three-dimensional object by an amount exceeding the threshold rotation amount with respect to the first axis, Rotate,
According to the determination that the first input corresponds to a request to rotate the three-dimensional object around a second axis different from the first axis, the virtual three-dimensional object is And means for enabling rotation by an amount determined based on the magnitude of said first input with respect to an axis, said input device having magnitudes above respective threshold values, A computer system, wherein the virtual three-dimensional object is rotated about the second axis by an amount exceeding the threshold rotation amount.
前記表示生成コンポーネントによって、仮想三次元オブジェクトの第１の視点の表現を第１のユーザーインターフェース領域に表示する手段と、
前記仮想オブジェクトの前記第１の視点の前記表現を前記ディスプレイ上の前記第１のユーザーインターフェース領域に表示している間に、前記仮想三次元オブジェクトの前記第１の視点から視認不能である前記仮想三次元オブジェクトの一部分を表示するために表示に対して前記仮想三次元オブジェクトを回転させる要求に対応した第１の入力を検出するように使用可能になる手段と、
前記第１の入力を検出したことに応答して、
前記第１の入力が前記三次元オブジェクトを第１の軸の周りで回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを、前記第１の軸に対して、前記第１の入力の大きさに基づいて決定され、かつ前記第１の軸に対する閾値回転量を超える量の前記仮想三次元オブジェクトの回転を制約する前記移動に課される限界によって制約された量だけ、回転させ、
前記第１の入力が、前記第１の軸とは異なる第２の軸の周りで前記三次元オブジェクトを回転させる要求に対応しているとの判定にしたがって、前記仮想三次元オブジェクトを前記第２の軸に対して前記第１の入力の大きさに基づいて決定された量だけ回転させるように使用可能になる手段と、を備え、それぞれの閾値を超える大きさを有する入力について、前記デバイスが、前記仮想三次元オブジェクトを前記第２の軸に対して前記閾値回転量を超える量だけ回転させる、情報処理装置。 An information processing apparatus for use in a computer system comprising a display generation component and one or more input devices including a touch sensitive surface,
Means for causing the display generation component to display a representation of a first viewpoint of a virtual three-dimensional object in a first user interface area;
The virtual that is not visible from the first viewpoint of the virtual three-dimensional object while displaying the representation of the first viewpoint of the virtual object in the first user interface area on the display Means enabled for detecting a first input corresponding to a request to rotate the virtual three-dimensional object relative to a display to display a portion of the three-dimensional object;
In response to detecting the first input,
The virtual three-dimensional object relative to the first axis according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a first axis; An amount determined by the size of one input and limited by the limit imposed on the movement that constrains the rotation of the virtual three-dimensional object by an amount exceeding the threshold rotation amount with respect to the first axis, Rotate,
The virtual three-dimensional object may be selected as the second three-dimensional object according to a determination that the first input corresponds to a request to rotate the three-dimensional object about a second axis different from the first axis. Means operable to rotate by an amount determined based on the magnitude of the first input with respect to the axis of the device, for the inputs having magnitudes above respective threshold values, the device comprising An information processing apparatus that rotates the virtual three-dimensional object by an amount exceeding the threshold rotation amount with respect to the second axis.
タッチ感知面を含む１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１３２から１４８に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display generation component,
One or more input devices including a touch-sensitive surface;
One or more processors;
132. A memory that stores one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs being 132. 148. A computer system comprising instructions for performing any of the methods set forth in 148.
タッチ感知面を含む１つ以上の入力デバイスと、
請求項１３２から１４８に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display generation component,
One or more input devices including a touch-sensitive surface;
149. A computer system comprising: means for performing any of the methods of claims 132-148.
請求項１３２から１４８に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display generation component, one or more input devices including a touch sensitive surface, and one or more cameras, comprising:
150. An information processing apparatus comprising means for executing any one of the methods according to claims 132 to 148.
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示することと、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面わたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価することと、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新することであり、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、ことと、を含む方法。 In a device having a display generation component and a touch sensitive surface,
Via the display generation component, a first object manipulation behavior performed in response to an input satisfying a first gesture recognition criterion, and a second performed in response to an input satisfying a second gesture recognition criterion. Displaying a first user interface area comprising user interface objects associated with a plurality of object manipulation behaviors including an object manipulation behavior of
Detecting a first portion of input directed to the user interface object, including detecting movement of one or more contacts across the touch-sensitive surface while displaying the first user interface area. Evaluating the movement of the one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion while the one or more contacts are detected across the touch-sensitive surface. And
Updating the appearance of the user interface object based on the first portion of the input in response to detecting the first portion of the input;
According to the determination that the first portion of the input meets the first gesture recognition criterion before the first portion of the input meets the second gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input, and increasing the second gesture recognition criterion threshold. Updating the gesture recognition criteria of
According to the determination that the second gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion,
Changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input, and increasing the first gesture recognition criterion threshold. Updating the gesture recognition criteria of the method.
前記入力の前記第２の部分を検出したことに応答して、前記入力の前記第２の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することであり、
前記入力の前記第１の部分が前記第１のジェスチャ認識基準を満たすが、前記入力の前記第２の部分が前記更新された第２のジェスチャ認識基準を満たしていないとの判定にしたがって、前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることなく、前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たすが、前記入力の前記第２の部分が前記更新された第１のジェスチャ認識基準を満たしていないとの判定にしたがって、前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることなく、前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、を含む、ことと、を含む、請求項１５８に記載の方法。 Detecting the second portion of the input after updating the appearance of the user interface object based on the first portion of the input;
Updating the appearance of the user interface object based on the second portion of the input in response to detecting the second portion of the input;
According to a determination that the first portion of the input meets the first gesture recognition criterion, but the second portion of the input does not meet the updated second gesture recognition criterion. Changing the appearance of the user interface object according to the first object operation behavior based on the second portion of the input without changing the appearance of the user interface object according to a second object operation behavior And determining that the first portion of the input meets the second gesture recognition criteria, but the second portion of the input does not meet the updated first gesture recognition criteria. According to the first object operation behavior, the user interface Changing the appearance of the user interface object according to the second object manipulation behavior based on the second portion of the input without changing the appearance of the object. 160. The method of claim 158, comprising.
前記入力の前記第１の部分が、前記第２のジェスチャ認識基準を満たし、前記入力の前記第２の部分が、前記更新された第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、
前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、を含み、
前記入力の前記第１の部分が前記第１のジェスチャ認識基準を満たし、前記入力の前記第２の部分が前記更新された第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第２の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、
前記入力の前記第２の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、を含む、請求項１５９に記載の方法。 Updating the appearance of the user interface object based on the second portion of the input;
According to the determination that the first portion of the input satisfies the second gesture recognition criterion and the second portion of the input satisfies the updated first gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the second portion of the input;
Changing the appearance of the user interface object according to the second object manipulation behavior based on the second portion of the input.
According to the determination that the first portion of the input meets the first gesture recognition criteria and the second portion of the input satisfies the updated second gesture recognition criteria
Changing the appearance of the user interface object according to the first object manipulation behavior based on the second portion of the input;
160. The method of claim 159, comprising: changing the appearance of the user interface object according to the second object manipulation behavior based on the second portion of the input.
前記入力の前記第３の部分を検出したことに応答して、前記入力の第３の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することであり、
前記入力の前記第３の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記入力の前記第３の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、を含むことと、を含む、請求項１６４に記載の方法。 Detecting the third portion of the input after updating the appearance of the user interface object based on the second portion of the input;
Updating the appearance of the user interface object based on the third portion of the input in response to detecting the third portion of the input;
Changing the appearance of the user interface object according to the first object manipulation behavior based on the third portion of the input, and the second object manipulation based on the third portion of the input 165. The method of claim 164, comprising: changing the appearance of the user interface object according to behavior.
前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす、又は前記第３のジェスチャ認識基準を満たす前に、前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、及び
前記第３のジェスチャ認識基準の閾値を増大させることによって前記第３のジェスチャ認識基準を更新することと、
前記入力が前記第１のジェスチャ認識基準を満たす、又は前記第３のジェスチャ認識基準を満たす前に、前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、及び
前記第３のジェスチャ認識基準の閾値を増大させることによって前記第３のジェスチャ認識基準を更新することと、
前記入力が前記第１のジェスチャ認識基準を満たす、又は前記第２のジェスチャ認識基準を満たす前に、前記第３のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新することと、を含む、請求項１６４から１６６のいずれか一項に記載の方法。 The plurality of object manipulation behaviors include a third object manipulation behavior implemented in response to an input that meets a third gesture recognition criterion;
Updating the appearance of the user interface object based on the first portion of the input;
According to the determination that the first portion of the input satisfies the second gesture recognition criterion, or satisfies the first gesture recognition criterion before satisfying the third gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input;
Updating the second gesture recognition criterion by increasing a threshold value of the second gesture recognition criterion, and updating the third gesture recognition criterion by increasing the threshold value of the third gesture recognition criterion. And
According to the determination that the second gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion or the third gesture recognition criterion.
Changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input;
Updating the first gesture recognition criterion by increasing the threshold of the first gesture recognition criterion, and updating the third gesture recognition criterion by increasing the threshold of the third gesture recognition criterion And
According to the determination that the third gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion or the second gesture recognition criterion.
Changing the appearance of the user interface object according to the third object manipulation behavior based on the first portion of the input;
Updating the first gesture recognition criterion by increasing a threshold value of the first gesture recognition criterion, and updating the second gesture recognition criterion by increasing the threshold value of the second gesture recognition criterion. 168. The method of any one of claims 164-166, comprising:
前記入力の前記第１の部分が、前記第１のジェスチャ認識基準又は前記第２のジェスチャ認識基準を満たす前に前記第３のジェスチャ認識基準を満たさず、
前記入力の前記第１の部分が前記第１のジェスチャ認識基準又は前記第２のジェスチャ認識基準を満たした後で、前記デバイスが、前記第３のジェスチャ認識基準の閾値を増大させることによって前記第３のジェスチャ認識基準を更新し、
前記入力の前記第２の部分が、前記更新された第１のジェスチャ認識基準又は前記更新された第２のジェスチャ認識基準を満たす前に、前記更新された第３のジェスチャ認識基準を満たさず、
前記方法が、
前記入力の前記第３の部分を検出したことに応答して、
前記入力の前記第３の部分が前記更新された第３のジェスチャ認識基準を満足するとの判定にしたがって、前記入力の前記第３の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることと、
前記入力の前記第３の部分が前記更新された第３のジェスチャ認識基準を満たしていないとの判定にしたがって、前記入力の前記第３の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させることを見合わせることと、を含む、請求項１６４から１６６のいずれか一項に記載の方法。 The plurality of object manipulation behaviors include a third object manipulation behavior implemented in response to an input that meets a third gesture recognition criterion;
The first portion of the input does not meet the third gesture recognition criterion before meeting the first gesture recognition criterion or the second gesture recognition criterion;
After the first portion of the input meets the first gesture recognition criterion or the second gesture recognition criterion, the device increases the third gesture recognition criterion threshold to increase the third gesture recognition criterion. Update 3 gesture recognition criteria,
The second portion of the input does not meet the updated third gesture recognition criterion before the updated first gesture recognition criterion or the updated second gesture recognition criterion;
The above method is
In response to detecting the third portion of the input,
The user interface according to the third object manipulation behavior based on the third portion of the input according to a determination that the third portion of the input satisfies the updated third gesture recognition criterion. Changing the appearance of the object;
According to the third object manipulation behavior based on the third part of the input, according to the determination that the third part of the input does not satisfy the updated third gesture recognition criterion. 169. A method according to any one of claims 164 to 166, comprising leaving the appearance of the user interface object altered.
前記入力の前記第３の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新した後で、前記入力の第４の部分を検出することと、
前記入力の前記第４の部分を検出したことに応答して、前記入力の第４の部分に基づいて前記ユーザーインターフェースオブジェクトの前記外観を更新することであり、
前記入力の前記第４の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、
前記入力の前記第４の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記入力の前記第４の部分に基づいて前記第３のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、を含むことと、を含む、請求項１６４から１６８のいずれか一項に記載の方法。 The third portion of the input meets the updated third gesture recognition criteria;
Detecting the fourth portion of the input after updating the appearance of the user interface object based on the third portion of the input;
Updating the appearance of the user interface object based on a fourth portion of the input in response to detecting the fourth portion of the input;
Changing the appearance of the user interface object according to the first object manipulation behavior based on the fourth portion of the input;
Changing the appearance of the user interface object according to the second object operation behavior based on the fourth portion of the input, and the third object operation based on the fourth portion of the input. 169. A method according to any one of claims 164 to 168, comprising: changing the appearance of the user interface object according to behavior.
前記第１のジェスチャ認識基準を満たす入力、
前記第２のジェスチャ認識基準を満たす入力、又は
前記第３のジェスチャ認識基準を満たす入力、を含まない、請求項１６９に記載の方法。 The fourth part of the input is
An input that meets the first gesture recognition criteria,
172. The method of claim 169, wherein the method does not include an input that meets the second gesture recognition criteria or an input that meets the third gesture recognition criteria.
前記複数の継続的に維持される接触のリフトオフを検出した後で、前記第１のジェスチャ認識基準及び前記第２のジェスチャ認識基準を再確立して、追加の第１及び第２のオブジェクト操作挙動を開始することを含む、請求項１５８から１７４のいずれか一項に記載の方法。 The first portion of the input and the second portion of the input being provided by a plurality of continuously maintained contacts;
After detecting the plurality of continuously maintained contact lift-offs, the first and second gesture recognition criteria are re-established to provide additional first and second object manipulation behaviors. 175. A method according to any one of claims 158 to 174, including initiating a.
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示し、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価し、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新する、命令を含み、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、コンピュータシステム。 A display generation component,
A touch sensitive surface;
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs being
Via the display generation component, a first object manipulation behavior performed in response to an input satisfying a first gesture recognition criterion, and a second performed in response to an input satisfying a second gesture recognition criterion. Displaying a first user interface area containing user interface objects associated with the plurality of object operation behaviors including the object operation behavior of
Detecting a first portion of input directed to the user interface object, including detecting movement of one or more contacts across the touch sensitive surface while displaying the first user interface area; Evaluating the movement of the one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion while the one or more contacts are being detected across the touch-sensitive surface;
Updating the appearance of the user interface object including instructions for updating the appearance of the user interface object based on the first portion of the input in response to detecting the first portion of the input To do
According to the determination that the first portion of the input meets the first gesture recognition criterion before the first portion of the input meets the second gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input, and increasing the second gesture recognition criterion threshold. Updating the gesture recognition criteria of
According to the determination that the second gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion,
Changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input, and increasing the first gesture recognition criterion threshold. Updating the gesture recognition criteria of the computer system.
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示させ、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出させ、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価させ、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新させ、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、コンピュータ可読記憶媒体。 A computer-readable storage medium storing one or more programs, wherein the one or more programs include instructions that are executed by a computer system that includes a display generation component and a touch-sensitive surface. To the computer system
Via the display generation component, a first object manipulation behavior performed in response to an input satisfying a first gesture recognition criterion, and a second performed in response to an input satisfying a second gesture recognition criterion. Displaying a first user interface area containing user interface objects associated with the plurality of object operation behaviors including the object operation behavior of
Detecting a first portion of an input directed to the user interface object, including detecting movement of one or more contacts across the touch-sensitive surface while displaying the first user interface area. Evaluating movement of the one or more contacts with respect to both the first gesture recognition criteria and the second gesture recognition criteria while the one or more contacts are detected across the touch sensitive surface;
Updating the appearance of the user interface object based on the first portion of the input and updating the appearance of the user interface object in response to detecting the first portion of the input;
According to the determination that the first portion of the input meets the first gesture recognition criterion before the first portion of the input meets the second gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input, and increasing the second gesture recognition criteria threshold value. Updating the gesture recognition criteria of
According to the determination that the second gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion,
Changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input, and increasing the threshold of the first gesture recognition criteria. Updating the gesture recognition criteria of the computer.
タッチ感知面と、
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示する手段と、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価するように使用可能になる手段と、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新するように使用可能になる手段であり、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、手段と、を備える、コンピュータシステム。 A display generation component,
A touch sensitive surface;
Via the display generation component, a first object manipulation behavior performed in response to an input satisfying a first gesture recognition criterion, and a second performed in response to an input satisfying a second gesture recognition criterion. Means for displaying a first user interface area comprising user interface objects associated with a plurality of object manipulation behaviors including object manipulation behaviors of
Detecting a first portion of input directed to the user interface object, including detecting movement of one or more contacts across the touch-sensitive surface while displaying the first user interface area. Evaluating the movement of the one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion while the one or more contacts are detected across the touch-sensitive surface. Means to be available to
Means, operable in response to detecting the first portion of the input, for updating the appearance of the user interface object based on the first portion of the input, the user interface To update the appearance of an object,
According to the determination that the first portion of the input meets the first gesture recognition criterion before the first portion of the input meets the second gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input, and increasing the second gesture recognition criterion threshold. Updating the gesture recognition criteria of
According to the determination that the second gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion,
Changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input, and increasing the first gesture recognition criterion threshold. Updating the gesture recognition criteria of the computer.
前記表示生成コンポーネントを介して、第１のジェスチャ認識基準を満たす入力に応答して実施される第１のオブジェクト操作挙動、及び第２のジェスチャ認識基準を満たす入力に応答して実施される第２のオブジェクト操作挙動を含む複数のオブジェクト操作挙動と関連付けられたユーザーインターフェースオブジェクトを含む第１のユーザーインターフェース領域を表示する手段と、
前記第１のユーザーインターフェース領域を表示する間に、前記タッチ感知面にわたる１つ以上の接触の移動を検出することを含めて、前記ユーザーインターフェースオブジェクトに向けられた入力の第１の部分を検出し、前記タッチ感知面にわたって前記１つ以上の接触が検出されている間に、前記第１のジェスチャ認識基準と前記第２のジェスチャ認識基準の両方に関して前記１つ以上の接触の移動を評価するように使用可能になる手段と、
前記入力の前記第１の部分を検出したことに応答して、前記入力の前記第１の部分に基づいて前記ユーザーインターフェースオブジェクトの外観を更新するように使用可能になる手段であり、前記ユーザーインターフェースオブジェクトの外観を更新することが、
前記入力の前記第１の部分が前記第２のジェスチャ認識基準を満たす前に前記第１のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第１のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第２のジェスチャ認識基準の閾値を増大させることによって前記第２のジェスチャ認識基準を更新すること、を含み、
前記入力が前記第１のジェスチャ認識基準を満たす前に前記第２のジェスチャ認識基準を満足するとの判定にしたがって、
前記入力の前記第１の部分に基づいて前記第２のオブジェクト操作挙動にしたがって前記ユーザーインターフェースオブジェクトの前記外観を変化させること、及び
前記第１のジェスチャ認識基準の閾値を増大させることによって前記第１のジェスチャ認識基準を更新すること、を含む、手段と、を備える、情報処理装置。 An information processing apparatus used in a computer system having a display generation component and a touch-sensitive surface,
Via the display generation component, a first object manipulation behavior performed in response to an input satisfying a first gesture recognition criterion, and a second performed in response to an input satisfying a second gesture recognition criterion. Means for displaying a first user interface area comprising user interface objects associated with a plurality of object manipulation behaviors including object manipulation behaviors of
Detecting a first portion of input directed to the user interface object, including detecting movement of one or more contacts across the touch-sensitive surface while displaying the first user interface area. Evaluating the movement of the one or more contacts with respect to both the first gesture recognition criterion and the second gesture recognition criterion while the one or more contacts are detected across the touch-sensitive surface. Means to be available to
Means, operable in response to detecting the first portion of the input, for updating the appearance of the user interface object based on the first portion of the input, the user interface To update the appearance of an object,
According to the determination that the first portion of the input meets the first gesture recognition criterion before the first portion of the input meets the second gesture recognition criterion,
Changing the appearance of the user interface object according to the first object manipulation behavior based on the first portion of the input, and increasing the second gesture recognition criterion threshold. Updating the gesture recognition criteria of
According to the determination that the second gesture recognition criterion is satisfied before the input meets the first gesture recognition criterion,
Changing the appearance of the user interface object according to the second object manipulation behavior based on the first portion of the input, and increasing the first gesture recognition criterion threshold. Updating the gesture recognition standard of the information processing apparatus.
タッチ感知面と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１５８から１７６に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display generation component,
A touch sensitive surface;
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs are 176. A computer system comprising instructions for performing any of the methods of.
タッチ感知面と、
請求項１５８から１７６に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display generation component,
A touch sensitive surface;
178. A computer system comprising: means for performing any of the methods of claims 158-176.
請求項１５８から１７６に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus used in a computer system having a display generation component and a touch-sensitive surface,
179. An information processing apparatus comprising means for performing any of the methods of claims 158-176.
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示することであり、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む、ことと、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出することと、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整することと、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成することと、を含む方法。 In a device having a display generation component, one or more input devices, one or more audio output generators, and one or more cameras
Displaying a representation of a virtual object in a first user interface area including a representation of a field of view of one or more cameras via the display generation component, the representation of the virtual object and the one or more Maintaining a first spatial relationship between the detected physical plane within the field of view of the camera and the detected plane;
Detecting movement of the device adjusting the field of view of the one or more cameras;
In response to detecting movement of the device adjusting the field of view of the one or more cameras;
As the field of view of the one or more cameras is adjusted, according to the first spatial relationship between the virtual object and the plane detected in the field of view of the one or more cameras, Adjusting the display of the representation of the virtual object in a first user interface area;
Via the one or more audio output generators according to the determination that the movement of the device moves an amount greater than a threshold amount of the virtual object outside the display portion of the field of view of the one or more cameras Generating a first audio alert.
前記入力を検出したことに応答して、前記入力が前記仮想オブジェクトによって隠されていない前記１つ以上のカメラの前記視野の第１の部分に対応する前記タッチ感知面上の第１の場所で検出されたとの判定にしたがって、第２の音声警報を生成することと、を含む、請求項１８６から１８８のいずれか一項に記載の方法。 Detecting touch input at a location on the touch sensitive surface corresponding to the representation of the field of view of the one or more cameras;
In response to detecting the input, at a first location on the touch-sensitive surface corresponding to a first portion of the field of view of the one or more cameras that is not obscured by the virtual object. 190. A method according to any one of claims 186 to 188, comprising generating a second audio alert according to the determination that it has been detected.
前記１つ以上のカメラの前記視野を更に調整する前記デバイスの前記追加の移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が更に調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出された前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整することと、
前記デバイスの前記追加の移動が、前記仮想オブジェクトの第２の閾値量より大きな量を、前記１つ以上のカメラの前記視野の前記表示部分中に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第３の音声警報を生成することと、を含む、請求項１８６から１９１のいずれか一項に記載の方法。 Detecting the additional movement of the device further adjusting the field of view of the one or more cameras after generation of the first audio alert;
In response to detecting the additional movement of the device further adjusting the field of view of the one or more cameras;
As the field of view of the one or more cameras is further adjusted, according to the first spatial relationship between the virtual object and the plane detected in the field of view of the one or more cameras, Coordinating the display of the representation of the virtual object in the first user interface area;
The one or more of the one or more according to the determination that the additional movement of the device moves an amount greater than a second threshold amount of the virtual object into the display portion of the field of view of the one or more cameras. A method according to any of claims 186 to 191, comprising generating a third audio alert via an audio output generator of
前記仮想オブジェクトに適用可能な別のオブジェクト操作タイプにスイッチングする前記要求を検出したことに応答して、前記仮想オブジェクトに適用可能な複数のオブジェクト操作タイプのうちの第２のオブジェクト操作タイプを指定する音声出力を生成することと、を含み、前記第２のオブジェクト操作タイプが、前記第１のオブジェクト操作タイプとは異なる、請求項１８６から１９２のいずれか一項に記載の方法。 The representation of the virtual object is displayed in the first user interface area, and a first object manipulation type of a plurality of object manipulation types applicable to the virtual object is currently selected for the virtual object Detecting a request to switch to another object operation type applicable to the virtual object while
Specifying a second object operation type of the plurality of object operation types applicable to the virtual object in response to detecting the request to switch to another object operation type applicable to the virtual object 194. A method according to any one of claims 186 to 192, including generating an audio output, wherein the second object manipulation type is different from the first object manipulation type.
前記現在選択されているオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行する前記要求を検出したことに応答して、前記第２のオブジェクト操作タイプに対応するオブジェクト操作挙動を実行することと、を含む、請求項１９３に記載の方法。 After generating the audio output specifying the second object operation type of the plurality of object operation types applicable to the virtual object, an object operation behavior corresponding to the currently selected object operation type Detecting a request to execute,
Executing an object manipulation behavior corresponding to the second object manipulation type in response to detecting the request for performing the object manipulation behavior corresponding to the currently selected object manipulation type; 194. The method of claim 193, comprising.
前記第２のオブジェクト操作タイプが連続的に調整可能な操作タイプであるとの判定にしたがって、前記第２のオブジェクト操作タイプを指定する前記音声出力に関連して音声警報を生成して、前記第２のオブジェクト操作タイプが連続的に調整可能な操作タイプであることを示すことと、
前記第２のオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行する要求を検出することであり、前記１つ以上のカメラの前記視野の前記表現を表示する前記第１のユーザーインターフェース領域の一部分に対応する前記タッチ感知面上の場所でスワイプ入力を検出することを含む、ことと、
前記第２のオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行する前記要求を検出したことに応答して、前記スワイプ入力の大きさに対応する量だけ、前記第２のオブジェクト操作タイプに対応する前記オブジェクト操作挙動を実行することと、を含む、請求項１９３から１９４のいずれか一項に記載の方法。 In response to detecting the request to switch to another object operation type applicable to the virtual object,
A voice alert is generated in association with the audio output specifying the second object operation type according to the determination that the second object operation type is a continuously adjustable operation type, Indicating that the two object operation types are continuously adjustable operation types;
Detecting a request to perform the object manipulation behavior corresponding to the second object manipulation type, in part of the first user interface area displaying the representation of the field of view of the one or more cameras Detecting swipe input at a location on the corresponding touch sensitive surface;
Responding to detecting the request to execute the object operation behavior corresponding to the second object operation type, corresponding to the second object operation type by an amount corresponding to the magnitude of the swipe input. 197. A method according to any one of claims 193 to 194, comprising performing the object manipulation behavior.
前記第２のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示しており、前記仮想オブジェクトに適用可能な複数の動作のうちの第１の動作が、前記仮想オブジェクトについて現在選択されている間に、前記仮想オブジェクトに適用可能な別の動作にスイッチングする要求を検出することと、
前記第２のユーザーインターフェース領域で前記仮想オブジェクトに適用可能な別の動作にスイッチングする前記要求を検出したことに応答して、前記仮想オブジェクトに適用可能な前記複数の動作のうちの第２の動作を指定する音声出力を生成することと、を含み、前記第２の動作が、前記第１の動作とは異なる、請求項１８６から１９５のいずれか一項に記載の方法。 Displaying the representation of the virtual object in a second user interface area before displaying the representation of the virtual object in the first user interface area, the second user interface area being Does not include a representation of the field of view of one or more cameras;
While displaying the representation of the virtual object in the second user interface area, while a first of a plurality of operations applicable to the virtual object is currently selected for the virtual object Detecting a request to switch to another action applicable to the virtual object;
A second operation of the plurality of operations applicable to the virtual object in response to detecting the request to switch to another operation applicable to the virtual object in the second user interface area A method according to any one of claims 186 to 195, comprising: generating an audio output designating: the second operation being different from the first operation.
前記１つ以上のカメラの前記視野の表現を含む前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの表現を表示する前記要求を検出したことに応答して、
前記仮想オブジェクトの表現と前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境内で検出された前記プレーンとの間の前記第１の空間的関係にしたがって前記第１のユーザーインターフェース領域内に前記仮想オブジェクトの前記表現を表示することと、
前記仮想オブジェクトが、前記１つ以上のカメラの前記視野内でキャプチャされた前記物理的環境に関連して前記拡張現実ビュー内に配置されていることを示す第４の音声警報を生成することと、を含む、請求項１８６から１９６のいずれか一項に記載の方法。 Before displaying the representation of the virtual object in the first user interface area, the representation of the virtual object in a second user interface area not including a representation of the field of view of the one or more cameras. Detecting a request to display a representation of the virtual object in the first user interface area including a representation of the field of view of the one or more cameras while displaying;
In response to detecting the request to display the representation of the virtual object in the first user interface area including a representation of the field of view of the one or more cameras;
The first user interface according to the first spatial relationship between the representation of the virtual object and the plane detected in the physical environment captured in the field of view of the one or more cameras Displaying the representation of the virtual object in a region;
Generating a fourth audio alert indicating that the virtual object is located in the augmented reality view in relation to the physical environment captured in the field of view of the one or more cameras; 195. The method of any one of claims 186 to 196, comprising:
制御フェイディング基準が満足されたとの判定にしたがって、前記第１のユーザーインターフェース領域内の前記１つ以上のカメラの前記視野の前記表現の表示を維持する一方で、前記第１のユーザーインターフェース領域内に前記第１の制御要素を表示することを停止することと、
前記第１のユーザーインターフェース領域内に前記第１の制御要素を表示することなく前記第１のユーザーインターフェース領域を表示している間に、前記第１のユーザーインターフェース領域内の前記第１の場所に対応する前記タッチ感知面上のそれぞれの場所でタッチ入力を検出することと、
前記タッチ入力を検出したことに応答して、前記第１の制御要素に対応する動作を指定する音声出力を含む第５の音声警報を生成することと、を含む、請求項１８６から１９８のいずれか一項に記載の方法。 Displaying a first control element at a first location in the first user interface area simultaneously with the representation of the field of view of the one or more cameras;
In the first user interface area, while maintaining the display of the representation of the field of view of the one or more cameras in the first user interface area according to a determination that a control fading criterion is satisfied Stopping displaying the first control element at a time;
While displaying the first user interface area without displaying the first control element in the first user interface area, at the first location in the first user interface area Detecting touch input at respective locations on the corresponding touch-sensitive surface;
196. generating a fifth audio alert including an audio output specifying an action corresponding to the first control element in response to detecting the touch input. Or the method described in one item.
１つ以上の入力デバイスと、
１つ以上の音声出力生成器と、
１つ以上のカメラと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する命令を含み、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含み、前記１つ以上のプログラムが、更に、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出し、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整し、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成する、命令を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
One or more audio output generators,
With one or more cameras,
One or more processors;
A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs being
Including instructions for displaying a representation of a virtual object in a first user interface area that includes a representation of a field of view of one or more cameras via the display generation component, the displaying being the representation of the virtual object Maintaining a first spatial relationship with a plane detected within a physical environment captured within the field of view of the one or more cameras, the one or more programs further comprising: ,
Detecting movement of the device to adjust the field of view of the one or more cameras;
In response to detecting movement of the device adjusting the field of view of the one or more cameras;
As the field of view of the one or more cameras is adjusted, according to the first spatial relationship between the virtual object and the plane detected in the field of view of the one or more cameras, Adjusting the display of the representation of the virtual object in a first user interface area;
Via the one or more audio output generators according to the determination that the movement of the device moves an amount greater than a threshold amount of the virtual object outside the display portion of the field of view of the one or more cameras A computer system comprising instructions for generating a first audio alert.
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示させ、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含み、前記命令が、前記コンピュータシステムに、更に、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出させ、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の前記表示を調整させ、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成させる、コンピュータ可読記憶媒体。 A computer readable storage medium storing one or more programs, the one or more programs comprising instructions, the instructions comprising: a display generation component, one or more input devices, one or more audio output generations The computer system, when executed by the computer system, comprising:
Displaying a representation of a virtual object in a first user interface area including a representation of a field of view of one or more cameras via the display generation component, and displaying the representation of the virtual object; Maintaining a first spatial relationship between planes detected in a physical environment captured within the field of view of one or more cameras, the instructions further comprising:
Detecting movement of the device that adjusts the field of view of the one or more cameras;
In response to detecting movement of the device adjusting the field of view of the one or more cameras;
As the field of view of the one or more cameras is adjusted, according to the first spatial relationship between the virtual object and the plane detected in the field of view of the one or more cameras, Adjusting the display of the representation of the virtual object in a first user interface area;
Via the one or more audio output generators according to the determination that the movement of the device moves an amount greater than a threshold amount of the virtual object outside the display portion of the field of view of the one or more cameras A computer-readable storage medium for generating a first audio alert.
１つ以上の入力デバイスと、
１つ以上の音声出力生成器と、
１つ以上のカメラと、
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段であり、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む、手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出する手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整し、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成するように使用可能になる手段と、を備える、コンピュータシステム。 A display generation component,
With one or more input devices,
One or more audio output generators,
With one or more cameras,
Means for displaying a representation of a virtual object in a first user interface area including a representation of a field of view of one or more cameras via said display generation component, said displaying being the representation of the virtual object Means, comprising: maintaining a first spatial relationship between a detected plane in a physical environment captured within the field of view of the one or more cameras;
Means for detecting movement of the device adjusting the field of view of the one or more cameras;
In response to detecting movement of the device adjusting the field of view of the one or more cameras;
As the field of view of the one or more cameras is adjusted, according to the first spatial relationship between the virtual object and the plane detected in the field of view of the one or more cameras, Adjusting the display of the representation of the virtual object in a first user interface area;
Via the one or more audio output generators according to the determination that the movement of the device moves an amount greater than a threshold amount of the virtual object outside the display portion of the field of view of the one or more cameras Means for enabling to generate a first audio alert.
前記表示生成コンポーネントを介して、１つ以上のカメラの視野の表現を含む第１のユーザーインターフェース領域に仮想オブジェクトの表現を表示する手段であり、前記表示することが、前記仮想オブジェクトの前記表現と、前記１つ以上のカメラの前記視野内でキャプチャされた物理的環境内で検出されたプレーンとの間の第１の空間的関係を維持することを含む、手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出する手段と、
前記１つ以上のカメラの前記視野を調整する前記デバイスの移動を検出したことに応答して、
前記１つ以上のカメラの前記視野が調整されるにつれて、前記仮想オブジェクトと前記１つ以上のカメラの前記視野内で検出される前記プレーンとの間の前記第１の空間的関係にしたがって、前記第１のユーザーインターフェース領域内の前記仮想オブジェクトの前記表現の表示を調整し、
前記デバイスの前記移動が前記仮想オブジェクトの閾値量より大きな量を前記１つ以上のカメラの前記視野の表示部分の外部に移動させるとの判定にしたがって、前記１つ以上の音声出力生成器を介して、第１の音声警報を生成するように使用可能になる手段と、を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display generation component, one or more input devices, one or more audio output generators, and one or more cameras, comprising:
Means for displaying a representation of a virtual object in a first user interface area including a representation of a field of view of one or more cameras via said display generation component, said displaying being the representation of the virtual object Means, comprising: maintaining a first spatial relationship between a detected plane in a physical environment captured within the field of view of the one or more cameras;
Means for detecting movement of the device adjusting the field of view of the one or more cameras;
In response to detecting movement of the device adjusting the field of view of the one or more cameras;
As the field of view of the one or more cameras is adjusted, according to the first spatial relationship between the virtual object and the plane detected in the field of view of the one or more cameras, Adjusting the display of the representation of the virtual object in a first user interface area;
Via the one or more audio output generators according to the determination that the movement of the device moves an amount greater than a threshold amount of the virtual object outside the display portion of the field of view of the one or more cameras Means for enabling the first voice alert to be generated.
１つ以上の入力デバイスと、
１つ以上のカメラと、
１つ以上の音声出力生成器と、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１８６から２００に記載の方法のいずれかを実行する命令を含む、コンピュータシステム。 A display generation component,
With one or more input devices,
With one or more cameras,
One or more audio output generators,
One or more processors;
186. A memory storing one or more programs, wherein the one or more programs are configured to be executed by the one or more processors, the one or more programs being claim 186 200. A computer system comprising instructions for performing any of the methods of.
１つ以上の入力デバイスと、
１つ以上の音声出力生成器と、
１つ以上のカメラと、
請求項１８６から２００に記載の方法のいずれかを実行する手段と、を備える、コンピュータシステム。 A display generation component,
With one or more input devices,
One or more audio output generators,
With one or more cameras,
201. A computer system comprising: means for performing any of the methods of claims 186-200.
請求項１８６から２００に記載の方法のいずれかを実行する手段を備える、情報処理装置。 An information processing apparatus for use in a computer system comprising a display generation component, one or more input devices, one or more audio output generators, and one or more cameras, comprising:
211. An information processing apparatus comprising means for executing any of the methods according to claim 186 to 200.
Applications Claiming Priority (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862621529P | 2018-01-24 | 2018-01-24 | |
| US62/621,529 | 2018-01-24 | ||
| US201862679951P | 2018-06-03 | 2018-06-03 | |
| US62/679,951 | 2018-06-03 | ||
| DKPA201870347 | 2018-06-11 | ||
| DKPA201870348A DK180842B1 (en) | 2018-01-24 | 2018-06-11 | Devices, procedures, and graphical user interfaces for System-Wide behavior for 3D models |
| DKPA201870346 | 2018-06-11 | ||
| DKPA201870346A DK201870346A1 (en) | 2018-01-24 | 2018-06-11 | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
| DKPA201870348 | 2018-06-11 | ||
| DKPA201870347A DK201870347A1 (en) | 2018-01-24 | 2018-06-11 | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019128941A true JP2019128941A (en) | 2019-08-01 |
| JP6745852B2 JP6745852B2 (en) | 2020-08-26 |
Family
ID=67365888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018183940A Active JP6745852B2 (en) | 2018-01-24 | 2018-09-28 | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6745852B2 (en) |
| CN (2) | CN110851053A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419511A (en) * | 2020-12-26 | 2021-02-26 | 董丽萍 | Three-dimensional model file processing method and device, storage medium and server |
| WO2021161719A1 (en) * | 2020-02-12 | 2021-08-19 | パナソニックＩｐマネジメント株式会社 | Nursing care equipment provision assistance system, nursing care equipment provision assistance method, and program |
| WO2022130681A1 (en) * | 2020-12-16 | 2022-06-23 | 株式会社あかつき | Game system, program, and information processing method |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10939047B2 (en) | 2019-07-22 | 2021-03-02 | Himax Technologies Limited | Method and apparatus for auto-exposure control in a depth sensing system |
| TWI722542B (en) * | 2019-08-22 | 2021-03-21 | 奇景光電股份有限公司 | Method and apparatus for performing auto-exposure control in depth sensing system including projector |
| CN110865704B (en) * | 2019-10-21 | 2021-04-27 | 浙江大学 | Gesture interaction device and method for 360-degree suspended light field three-dimensional display system |
| CN111340962B (en) * | 2020-02-24 | 2023-08-15 | 维沃移动通信有限公司 | Control method, electronic device and storage medium |
| CN111672121A (en) * | 2020-06-11 | 2020-09-18 | 腾讯科技（深圳）有限公司 | Virtual object display method and device, computer equipment and storage medium |
| US11941750B2 (en) * | 2022-02-11 | 2024-03-26 | Shopify Inc. | Augmented reality enabled dynamic product presentation |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| JP2011186536A (en) * | 2010-03-04 | 2011-09-22 | Sony Corp | Information processing device, information processing method, and program |
| JP2012168798A (en) * | 2011-02-15 | 2012-09-06 | Sony Corp | Information processing device, authoring method, and program |
| JP2013164696A (en) * | 2012-02-10 | 2013-08-22 | Sony Corp | Image processing device, image processing method and program |
| JP2014102819A (en) * | 2012-11-20 | 2014-06-05 | Immersion Corp | Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction |
| US20160065827A1 (en) * | 2014-09-02 | 2016-03-03 | Apple Inc. | Remote camera user interface |
| JP2017162451A (en) * | 2016-03-07 | 2017-09-14 | フラミー インクＦｒａｍｙ Ｉｎｃ． | Method and system for editing scene in three-dimensional space |
| WO2017208637A1 (en) * | 2016-05-31 | 2017-12-07 | ソニー株式会社 | Information processing device, information processing method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286727B2 (en) * | 2013-03-25 | 2016-03-15 | Qualcomm Incorporated | System and method for presenting true product dimensions within an augmented real-world setting |
| CN104486430A (en) * | 2014-12-18 | 2015-04-01 | 北京奇虎科技有限公司 | Method, device and client for realizing data sharing in mobile browser client |
| CN105824412A (en) * | 2016-03-09 | 2016-08-03 | 北京奇虎科技有限公司 | Method and device for presenting customized virtual special effects on mobile terminal |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
| CN107071392A (en) * | 2016-12-23 | 2017-08-18 | 网易（杭州）网络有限公司 | Image processing method and device |
-
2018
- 2018-09-28 JP JP2018183940A patent/JP6745852B2/en active Active
- 2018-09-29 CN CN201911078900.7A patent/CN110851053A/en active Pending
- 2018-09-29 CN CN201811165504.3A patent/CN110069190A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
| JP2011186536A (en) * | 2010-03-04 | 2011-09-22 | Sony Corp | Information processing device, information processing method, and program |
| JP2012168798A (en) * | 2011-02-15 | 2012-09-06 | Sony Corp | Information processing device, authoring method, and program |
| JP2013164696A (en) * | 2012-02-10 | 2013-08-22 | Sony Corp | Image processing device, image processing method and program |
| JP2014102819A (en) * | 2012-11-20 | 2014-06-05 | Immersion Corp | Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction |
| US20160065827A1 (en) * | 2014-09-02 | 2016-03-03 | Apple Inc. | Remote camera user interface |
| JP2017162451A (en) * | 2016-03-07 | 2017-09-14 | フラミー インクＦｒａｍｙ Ｉｎｃ． | Method and system for editing scene in three-dimensional space |
| WO2017208637A1 (en) * | 2016-05-31 | 2017-12-07 | ソニー株式会社 | Information processing device, information processing method, and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021161719A1 (en) * | 2020-02-12 | 2021-08-19 | パナソニックＩｐマネジメント株式会社 | Nursing care equipment provision assistance system, nursing care equipment provision assistance method, and program |
| WO2022130681A1 (en) * | 2020-12-16 | 2022-06-23 | 株式会社あかつき | Game system, program, and information processing method |
| CN112419511A (en) * | 2020-12-26 | 2021-02-26 | 董丽萍 | Three-dimensional model file processing method and device, storage medium and server |
| CN112419511B (en) * | 2020-12-26 | 2024-02-13 | 董丽萍 | Three-dimensional model file processing method and device, storage medium and server |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110069190A (en) | 2019-07-30 |
| JP6745852B2 (en) | 2020-08-26 |
| CN110851053A (en) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210333979A1 (en) | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models | |
| JP7467534B2 (en) | DEVICE AND METHOD FOR MEASURING USING AUGMENTED REALITY - Patent application | |
| US11922584B2 (en) | Devices, methods, and graphical user interfaces for displaying objects in 3D contexts | |
| JP6745852B2 (en) | Devices, methods, and graphical user interfaces for system-wide behavior of 3D models | |
| AU2019101597A4 (en) | Devices, methods, and graphical user interfaces for system-wide behavior for 3D models | |
| JP7397899B2 (en) | Devices, methods and graphical user interfaces for system-wide behavior of 3D models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6745852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |