JP2022059612A - 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース - Google Patents

環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP2022059612A
JP2022059612A JP2022005328A JP2022005328A JP2022059612A JP 2022059612 A JP2022059612 A JP 2022059612A JP 2022005328 A JP2022005328 A JP 2022005328A JP 2022005328 A JP2022005328 A JP 2022005328A JP 2022059612 A JP2022059612 A JP 2022059612A
Authority
JP
Japan
Prior art keywords
user interface
physical environment
representation
view
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022005328A
Other languages
English (en)
Other versions
JP7041327B1 (ja
Inventor
アリソン ダブリュー． ドライヤー，
W Dryer Allison
ジャンカルロ ヤーキーズ，
Yerkes Giancarlo
グラント アール． ポール，
R Grant Paul
リサ ケー． フォッセル，
K Forssell Lisa
ジョナサン アール． ダスコーラ，
R Dascola Jonathan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Application granted granted Critical
Publication of JP7041327B1 publication Critical patent/JP7041327B1/ja
Publication of JP2022059612A publication Critical patent/JP2022059612A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

【課題】拡張現実及び／又は仮想現実環境を使用して、環境を注釈し、測定し、かつ、モデリングするための、改善された方法及びインタフェースを提供する。【解決手段】コンピュータシステムは、視野の変化に基づき経時的に更新される１つ以上のカメラの視野の表現を含む注釈配置ユーザインタフェース及び仮想注釈配置位置を示す配置ユーザインタフェース要素を表示する。配置ユーザインタフェース要素が物理的環境内の第１の種類の特徴の表現の上にある場合、配置ユーザインタフェース要素の外観が変化して、第１の種類の特徴に対応するアンカー点を示し、システムは第１の１組のガイドを表示する。配置ユーザインタフェース要素が物理的環境内の第２の、異なる種類の特徴の表現の上にある場合、配置ユーザインタフェース要素の外観は、第２の種類の特徴に対応するアンカー点を示し、システムは第２の、異なる１組のガイドを表示する。【選択図】図８Ｂ

Description

（関連出願）
本出願は、２０２０年９月１１日に出願された米国特許出願第１７／０１８，９８０号、及び、２０２０年２月３日に出願された、米国特許仮出願番号第６２／９６９，６４７号に対する優先権を主張する。
［技術分野］
本発明は概して、物理的環境などの環境を注釈し、測定し、かつモデリングするための電子デバイス、並びに／又は、拡張現実及び／若しくは仮想現実環境を用いる、そのデバイス内のオブジェクトを含むがこれらに限定されない、拡張現実及び／又は仮想現実用のコンピュータシステムに関する。
拡張現実及び／又は仮想現実用のコンピュータシステムの開発は、近年著しく増加している。拡張現実環境は、物理的環境、及びその中のオブジェクトを注釈し、かつモデリングするのに有用である。しかし、拡張現実及び／又は仮想現実を用いる、従来の注釈及び測定方法は、煩わしく、非効率的かつ限定的である。場合によっては、拡張現実を用いる従来の測定方法は、ユーザが、特定の特徴を構成するための測定の種類を明確にすることを必要とすることにより、機能性が限定されている。場合によっては、拡張現実を用いる、従来の注釈方法は、ユーザが注釈を追加するのに役立つガイドを提供しない、又は、現在のコンテキストを注釈進行と考ない静的な方法でガイドを提供する。場合によっては、拡張現実を用いる、従来の注釈方法は、作成された注釈の追跡を保持せず、ユーザは、過去の注釈行動を効率的に確認することができない。場合によっては、拡張現実を用いる、従来の注釈及び測定方法は、物理的表面の形状又は湾曲を考慮しない、直線の注釈及び測定に限定される。場合によっては、拡張現実を用いる、従来の注釈方法は、ユーザが追加する各注釈に対して、個別の入力を必要とする。場合によっては、物理的環境をモデリングする従来の方法はユーザに、モデリングプロセスの進行について十分なフィードバックを提供しない。場合によっては、略図などの、環境のモデルを確認する従来の方法は、視野内での、モデルの関係する様相を維持しない。更に、従来の方法では必要よりも長く時間がかかるため、エネルギーを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、拡張現実及び／又は仮想現実環境を使用して、環境を注釈し、測定し、かつモデリングするための、改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは任意選択的に、拡張現実及び／又は仮想現実環境を使用して、環境を注釈し、測定し、かつモデリングするための従来の方法を補完する、又は置き換える。そのような方法及びインタフェースは、ユーザからの入力の数、範囲、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリ動作デバイスに関しては、そのような方法及びインタフェースは、電力を節約し、バッテリ充電間の時間を延ばす。
拡張現実及び／又は仮想現実用のユーザインタフェースと関連する上記の欠点及びその他の問題は、開示されたコンピュータシステムにより低減される、又は取り除かれる。いくつかの実施形態では、コンピュータシステムは、デスクトップコンピュータを含む。いくつかの実施形態では、コンピュータシステムは、ポータブルである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えばウォッチなどのウェアラブル電子デバイス）を含む。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られている）を有する（かつ／又はこれと通信している）。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（graphical user interface、ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、部分的には、タッチ感知面におけるスタイラス及び／又は指による接触及びジェスチャを通してＧＵＩと相互作用する。いくつかの実施形態では、拡張現実ベースの測定機能に加えて、機能は、任意選択的に、ゲームプレイ、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシート作成、電話、ビデオ会議、電子メール、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽再生、メモ取り、及び／又はデジタルビデオ再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、表示装置を介して、注釈配置ユーザインタフェースを表示することであって、当該注釈配置ユーザインタフェースが、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現を含む、表示することを含む。方法は、視野の表現は、１つ以上のカメラ；及び仮想注釈が、注釈配置入力を受信したことに応じて、視野の表現内に配置される位置を示す、配置ユーザインタフェース要素の視野の中での変化に基づき、経時的に更新されることを含む。方法は、注釈配置ユーザインタフェースを表示している間に、物理的環境に対する１つ以上のカメラの第１の移動を検出することと、物理的環境に対する１つ以上のカメラの第１の移動を検出したことに応じて、１つ以上のカメラの第１の移動に基づき、視野の表現を更新することと、を含む。方法は、配置ユーザインタフェース要素が、測定可能な物理的環境内の物理的特徴の表現の少なくとも一部の上にあるという判定に従い、物理的特徴の表現の１つ以上の様相に従って配置ユーザインタフェース要素の外観を変更することもまた含む。方法は、注釈配置ユーザインタフェースを表示している間に、物理的特徴の１つ以上の測定を実施することの要求を含む注釈配置入力を受信することを含む。方法は、物理的特徴の１つ以上の測定を実施する要求に対応する入力を受信したことに応じて、物理的特徴が第１の種類の物理的特徴であるという判定に従い、物理的特徴の表現の上に、第１の１組の、１つ以上の、第１の測定値の種類の測定値の表現を表示することと、物理的特徴が、第１の種類の物理的特徴とは異なる、第２の種類の物理的特徴であるという判定に従い、物理的特徴の表現の上に、第２の１組の、１つ以上の、第１の測定種類とは異なる第２の測定値の種類の測定値の表現を表示することと、もまた含む。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、表示装置を介して、注釈配置ユーザインタフェースを表示することを含む。注釈配置ユーザインタフェースは、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される、表現と、仮想注釈が、注釈配置入力を受けることに応じて、視野の表現内に配置される位置を示す、配置ユーザインタフェース要素と、を含む。方法は、注釈配置ユーザインタフェースを表示している間に、物理的環境に対する１つ以上のカメラの移動を検出することを含む。方法は、物理的環境に対する１つ以上のカメラの移動を検出したことに応じて、１つ以上のカメラの移動に基づき、視野の表現を更新することと、配置ユーザインタフェース要素が、物理的環境内の第１の種類の特徴の表現の少なくとも一部の上にあるという判定に従い、注釈配置入力に応じて、配置ユーザインタフェース要素の外観を変更して、第１の種類の特徴に対応するアンカー点に配置される注釈を示すことと、第１の種類の特徴の表現の少なくとも一部に対応する、第１の１組の、１つ以上のガイドを表示することと、もまた含む。方法は、配置ユーザインタフェース要素が、物理的環境内の、第１の種類の特徴とは異なる第２の種類の特徴の表現の少なくとも一部の上にあるという判定に従い、注釈配置入力に応答し、配置ユーザインタフェース要素の外観を変更して、第２の種類の特徴に対応するアンカー点に配置される注釈を示すことと、第２の種類の特徴の表現の少なくとも一部に対応する、第１の１組の、１つ以上のガイドとは異なる、第２の１組の、１つ以上のガイドを表示することと、もまた含む。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、表示装置を介して、注釈配置ユーザインタフェースを表示することを含む。方法は、注釈配置ユーザインタフェースが、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現を含むこともまた含む。方法は、視野の表現が、１つ以上のカメラの視野の中での変化に基づき、経時的に更新されることもまた含む。方法は、注釈配置ユーザインタフェースが、仮想注釈が、注釈配置入力を受けることに応じて、視野の表現内に配置される位置を示す、配置ユーザインタフェース要素もまた含むこともまた含む。方法は、配置ユーザインタフェース要素が、視野の表現の第１の位置を示す間に、第１の注釈配置入力を受信することと、第１の注釈配置入力を受信したことに応じて、視野の表現の第１の位置において注釈を表示することと、視野の表現の第１の位置から延びた、１つ以上の第１のガイドを表示することと、を含む。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、表示装置を介して、注釈配置ユーザインタフェースを表示することであって、注釈配置ユーザインタフェースが、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される、表現と、仮想注釈が、注釈配置入力を受けることに応じて、視野の表現内に配置される位置を示す、配置ユーザインタフェース要素と、を含む、表示することを含む。方法は、注釈配置ユーザインタフェースを表示している間に、物理的環境に対する１つ以上のカメラの移動を検出することと、物理的環境に対する１つ以上のカメラの移動を検出したことに応じて、１つ以上のカメラの移動に基づき、視野の表現を更新することと、配置ユーザインタフェース要素が、物理的環境内にある第１の種類の物理的特徴の表現の少なくとも一部の上にあるという判定に従い、注釈配置ユーザインタフェースが、第１の種類の注釈を追加することと関連する、第１の注釈モードで稼働していることを示す、第１モードのインジケーションを表示することと、もまた含む。方法は、第１モードのインジケーションを表示している間に、物理的環境に対する１つ以上のカメラの後続の移動を検出することと、物理的環境に対する１つ以上のカメラの後続の移動を検出したことに応じて、１つ以上のカメラの後続の移動に基づき、視野の表現を更新することと、配置ユーザインタフェース要素が、物理的環境内にある第２の種類の物理的特徴の表現の少なくとも一部の上にあるという判定に従い、注釈配置ユーザインタフェースが、第１の種類とは異なる第２の種類の注釈を追加することと関連する、第１の注釈モードとは異なる第２の注釈モードで稼働していることを示す、第２モードのインジケーションを表示することと、もまた含む。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、注釈配置ユーザインタフェースを表示する要求に対応する第１の入力を受信することを含む。方法は、第１の入力を受信したことに応じて、表示装置を介して、注釈配置ユーザインタフェースを表示することであって、注釈配置ユーザインタフェースが、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、視野の中での変化に基づき、経時的に更新される、表現とを含む、表示することもまた含む。注釈配置ユーザインタフェースは、仮想注釈が、注釈配置入力を受けることに応じて、視野の表現内に配置される位置を示す、配置ユーザインタフェース要素もまた含む。注釈配置ユーザインタフェースは、セッション履歴ユーザインタフェース要素を含む。方法は、注釈配置ユーザインタフェースを表示している間に、複数の要求に対応する１組の入力を受信して、視野の表現を注釈することと、１組の入力を受信したことに応じて、第１の注釈及び第２の注釈を、１つ以上のカメラの視野の表現に追加することと、を含む。方法は、第１の注釈及び第２の注釈を、１つ以上のカメラの視野の表現に加えた後で、セッション履歴ユーザインタフェース要素のアクティブ化に対応する入力を受信することと、セッション履歴ユーザインタフェース要素のアクティブ化に対応する入力を受信したことに応じて、第１の注釈の表現及び第２の注釈の表現を同時に表示することを含む、第１の注釈及び第２の注釈を含む注釈のリストの少なくとも一部を表示することと、もまた含む。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、表示装置を介して、注釈配置ユーザインタフェースを表示することであって、注釈配置ユーザインタフェースは、１つ以上のカメラの視野の表現を含み、視野の表現は、１つ以上のカメラの視野の中にある３次元物理的環境の一部の表現を含む、表示することを含む。視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される。方法は、視野の表現の第１の位置から、視野の表現の第１の位置とは異なる第２の位置までを測定する要求に対応する、１つ以上の第１の入力を受信することを含む。視野の表現の第１の位置は、物理的環境の物理的表面上の第１の物理的位置に対応し、視野の表現の第２の位置は、物理的表面上の、第１の物理的位置とは異なる第２の物理的位置に対応する。方法は、１つ以上の第１の入力を受信したことに応じて、表示装置を介して、物理的表面が平坦な表面でないという判定に従い、第１の測定値の表現を表示するときに物理的表面の形状を説明することを含む、視野の表現の第１の位置から、視野の表現の第２の位置までの第１の測定値の表現を表示することもまた含む。
いくつかの実施形態に従うと、方法は、表示装置を備えるコンピュータシステムにて実施される。方法は、表示装置を介して、コンピュータシステムにて実行するアプリケーションの第１のユーザインタフェースを表示することを含む。方法は、アプリケーションの第１のユーザインタフェースを表示している間に、第１の以前にキャプチャしたメディアの、注釈された表現を表示するために、アプリケーションの第２のユーザインタフェースを表示する要求に対応する、１つ以上の入力を受信することを含む。方法は、第１の以前にキャプチャしたメディアの、注釈された表現を表示するために、第２のユーザインタフェースを表示する要求に対応する、１つ以上の入力を受信したことに応じて、第１の以前にキャプチャしたメディアの表現を表示することを含む、第２のユーザインタフェースを表示することであって、第１の以前にキャプチャしたメディアの表現は、第１のメディアがキャプチャされた３次元の物理的環境の第１の部分の表現を含む、表示することと、第１の以前にキャプチャしたメディアの表現が、測定可能な物理的環境内の、１つ以上の第１の物理的特徴に対応する１つ以上の領域を含むという判定に従い、１つ以上の第１の物理的特徴の測定値の、１つ以上の表現を表示することと、を含む。
いくつかの実施形態に従うと、方法は、表示装置及び１つ以上のカメラを備えるコンピュータシステムにて実施される。方法は、ユーザインタフェースの第１領域に、１つ以上のカメラの視野の表現を表示することを含む。１つ以上のカメラは３次元の物理的環境に存在し、視野の表現は、１つ以上のカメラの視野の中にある、物理的環境の第１のそれぞれの部分の第１視野の表現を含む。方法は、物理的環境の第１のそれぞれの部分の第１サブセットを示す深度情報をキャプチャすることを含む。方法は、視野の表現の上に、第１サブセットの表現を含む視野の表現の少なくとも第１の部分の上に重なり合った第１のインジケーションを表示することと、重なり合った第１のインジケーションのない視野の表現の少なくとも第２の部分を表示することと、を含む、深度情報がキャプチャされた物理的環境の第１のそれぞれの部分の程度を示す第１のインジケーションを表示することもまた含む。方法は、視野を移動させて、物理的環境の第２のそれぞれの部分を含める、１つ以上のカメラの移動を検出することと、１つ以上のカメラの移動を検出したことに応じて、１つ以上のカメラの視野の表現を更新して、物理的環境の第２のそれぞれの部分の第１視野の表現を含めることと、を含む。方法は、１つ以上のカメラの移動を検出したことに応じて、物理的環境の第２のそれぞれの部分の第２サブセットを示す深度情報をキャプチャすることと、もまた含む。方法は、１つ以上のカメラの移動を検出したことに応じて、更新された視野の表現の上に表示される第１のインジケーションを更新して、視野の表現の第２の部分に重ねられた第１のインジケーションを表示することであって、視野の表現の第２の部分が、第２サブセットの表現を含む、表示することを含む、深度情報がキャプチャされた物理的環境の第２のそれぞれの部分の程度を示すこともまた含む。
いくつかの実施形態に従うと、方法は、表示装置を備えるコンピュータシステムにて実施される。本方法は、環境の略図の第１の部分を表示することを含む。略図の第１の部分は、環境内の第１の特徴の第１の表現と、第１の特徴に対応し、環境の略図の第１の部分内の第１の位置にて表示される、第１のメトリックの表現と、を含む。方法は、環境の略図の第２の部分を表示する要求に対応する第１の入力を受信することもまた含む。方法は、第１の入力を受信したことに応じて、環境の略図の第２の部分を表示することを含む。方法は、第１の入力を受信したことに応じて、第１の特徴の第１の表現の一部が、環境の略図の第２の部分に表示され、環境の略図の第２の部分が第１の位置を含まない、という判定に従い、環境の略図の第２の部分内の第２の位置にて、第１のメトリックの表現を表示することを含む。
いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなどの表示装置とも呼ばれる）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、１つ以上の入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡する１つ以上のカメラ）と、任意選択的に、１つ以上の深度センサと、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、１つ以上のプロセッサと、１つ以上のプログラムを記憶するメモリと、を含み（かつ／又はそれらと通信している）、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書で説明される方法のいずれかの動作を実行し又は実行させる命令を含む。いくつかの実施形態によれば、コンピュータ可読記憶媒体は、内部に命令を記憶しており、命令は、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を含む（かつ／又はそれらと通信している）コンピュータシステムによって実行されると、コンピュータシステムに、本明細書で説明される方法のいずれかの動作を実行させる、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、任意選択的に、１つ以上の触知出力生成器、メモリ、及びメモリに記憶された１つ以上のプログラムを実行する１つ以上のプロセッサを含む（かつ／又はそれらと通信している）コンピュータシステム上のグラフィカルユーザインタフェースは、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、要素は、本明細書で説明される方法のいずれかに従い、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、任意選択的に、１つ以上の触知出力生成器、及び本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む（かつ／又はそれらと通信している）。いくつかの実施形態によれば、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を含む（かつ／又はそれらと通信している）コンピュータシステムに使用される情報処理装置は、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
したがって、表示生成コンポーネント、１つ以上のカメラ、１つ以上の入力デバイス、任意選択的に、１つ以上の姿勢センサ、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ、及び任意選択的に、１つ以上の触知出力生成器を有する（かつ／又はそれらと通信している）コンピュータシステムは、改善された、物理的環境などの環境を注釈し、測定し、かつモデリングするための方法及びインタフェース、並びに／又は、拡張現実及び／又は仮想現実環境を用いる、その中のオブジェクトと共に提供されることにより、そのようなコンピュータシステムによる有効性、効率、及びユーザの満足度を増加させる。そのような方法及びインタフェースは、物理的環境などの環境を注釈し、測定し、かつモデリングするための従来の方法、及び／又は、拡張現実及び／又は仮想現実環境を用いる、その中のオブジェクトを補完する、又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態に係る、タッチ感知ディスプレイを有するポータブル多機能デバイスを示すブロック図である。
いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
一部の実施形態に係る、タッチスクリーンを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、光センサ及びフライト時間センサを有するポータブル多機能デバイスを示す図である。
いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。
いくつかの実施形態に係る、例示的なコンピュータシステムのブロック図である。 いくつかの実施形態に係る、例示的なコンピュータシステムのブロック図である。
いくつかの実施形態に係る、ポータブル多機能デバイス上のアプリケーションのメニューを提示するための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、ディスプレイと分離したタッチ感知面を有する多機能デバイスのための例示的なユーザインタフェースを示す。
いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定し、いくつかの実施形態に係る、保存したメディア項目からの測定情報を取り出すための、例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。 いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す図である。
いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示するためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、拡張現実環境内で自動的に判定されたアンカー点に基づき、位置調整ガイドを提供するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内で自動的に判定されたアンカー点に基づき、位置調整ガイドを提供するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内で自動的に判定されたアンカー点に基づき、位置調整ガイドを提供するためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、拡張現実環境内でのユーザ入力に応じて、動的位置調整ガイドを提供するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内でのユーザ入力に応じて、動的位置調整ガイドを提供するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内でのユーザ入力に応じて、動的位置調整ガイドを提供するためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、拡張現実環境内のビュー内にある物理的特徴の種類に基づき、自動的に注釈モードを変更するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内のビュー内にある物理的特徴の種類に基づき、自動的に注釈モードを変更するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内のビュー内にある物理的特徴の種類に基づき、自動的に注釈モードを変更するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内のビュー内にある物理的特徴の種類に基づき、自動的に注釈モードを変更するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、拡張現実環境内のビュー内にある物理的特徴の種類に基づき、自動的に注釈モードを変更するためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、注釈セッションの間に注釈配置ユーザインタフェースを使用して加えられた注釈の一覧を含む、セッション履歴を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、注釈セッションの間に注釈配置ユーザインタフェースを使用して加えられた注釈の一覧を含む、セッション履歴を表示するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、注釈セッションの間に注釈配置ユーザインタフェースを使用して加えられた注釈の一覧を含む、セッション履歴を表示するためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、物理的表面に沿って経路を測定し、物理的表面の形状及び湾曲を考慮に入れるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、物理的表面に沿って経路を測定し、物理的表面の形状及び湾曲を考慮に入れるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、物理的表面に沿って経路を測定し、物理的表面の形状及び湾曲を考慮に入れるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、物理的表面に沿って経路を測定し、物理的表面の形状及び湾曲を考慮に入れるためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、以前にキャプチャしたメディアに表現される物理的特徴を測定するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、以前にキャプチャしたメディアに表現される物理的特徴を測定するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、以前にキャプチャしたメディアに表現される物理的特徴を測定するためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、以前にキャプチャしたメディアに表現される物理的特徴を測定するためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、物理的環境をスキャンして、物理的環境をモデリングするための深度情報をキャプチャするためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、物理的環境をスキャンして、物理的環境をモデリングするための深度情報をキャプチャするためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、物理的環境をスキャンして、物理的環境をモデリングするための深度情報をキャプチャするためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、物理的環境をスキャンして、物理的環境をモデリングするための深度情報をキャプチャするためのプロセスのフローダイヤグラムである。
いくつかの実施形態に係る、環境の略図を確認し、これと双方向作用させるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、環境の略図を確認し、これと双方向作用させるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、環境の略図を確認し、これと双方向作用させるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、環境の略図を確認し、これと双方向作用させるためのプロセスのフローダイヤグラムである。 いくつかの実施形態に係る、環境の略図を確認し、これと双方向作用させるためのプロセスのフローダイヤグラムである。
上記の通り、物理的環境及びその中のオブジェクトの異なるビューを提供し、ユーザが、測定値などの注釈を物理的環境及びその中のオブジェクトに重ね、注釈と、物理的環境及びその中のオブジェクトとの双方向作用を可視化することを可能にすることにより、物理的環境、及びその中のオブジェクトを注釈してモデリングするのに、拡張現実環境は有用である。拡張現実及び／又は仮想現実を使用する、従来の注釈及びモデリング方法は多くの場合、機能性が制限されている。場合によっては、拡張現実を用いる従来の測定方法は、ユーザが、特定の特徴を構成するための測定の種類を明確にすることを必要とすることにより、機能性が限定されている。場合によっては、拡張現実を用いる、従来の注釈方法は、ユーザが注釈を追加するのに役立つガイドを提供しない、又は、現在のコンテキストを注釈進行と考ない静的な方法でガイドを提供する。場合によっては、拡張現実を用いる、従来の注釈方法は、作成された注釈の追跡を保持せず、ユーザは、過去の注釈行動を効率的に確認することができない。場合によっては、拡張現実を用いる、従来の注釈及び測定方法は、物理的表面の形状又は湾曲を考慮しない、直線の注釈及び測定に限定される。場合によっては、拡張現実を用いる、従来の注釈方法は、ユーザが追加する各注釈に対して、個別の入力を必要とする。場合によっては、物理的環境をモデリングする従来の方法はユーザに、モデリングプロセスの進行について十分なフィードバックを提供しない。場合によっては、略図などの、環境のモデルを確認する従来の方法は、視野内での、モデルの関係する様相を維持しない。本明細書にて開示する実施形態は、ユーザが、（例えば、よりスマートで洗練された機能性を提供することにより、ユーザが、より少ない入力で、拡張現実環境内で異なる操作を実施することを可能にすることにより、かつ／又は、ユーザインタフェースをシンプルにすることにより）拡張現実及び／又は仮想現実環境を使用して、環境を注釈、測定、及びモデリングするための直観的方法を提供する。更に、本明細書の実施形態は、ユーザに、測定又はモデリングされている物理的オブジェクトについての、及び、仮想／拡張現実環境内で実施されている操作についての、追加情報を提供する、改善されたフィードバックを提供する。
本明細書で記載されるシステム、方法、及びＧＵＩは、複数の方法で、拡張現実及び／又は仮想現実環境との、ユーザインタフェースの双方向作用を改善する。例えば、これらは、物理的空間で特徴の自動検出を提供し、異なる種類の、検出された特徴、改善されたラベリング及びガイドに対する（例えば、改善された注釈配置に対する）適切な測定を行うことにより、ユーザが、測定情報と双方向作用して管理することを可能にすることにより、環境の表現の上に、関連する注釈及び測定値を見えるように維持することにより、並びに、ユーザに、環境をモデリングしながら、プロセスのモデリングの進行についての改善されたフィードバックを提供することにより、物理的環境を注釈及びモデリングするのを容易にする。
以下、図１Ａ～図１Ｂ、図２Ａ～２Ｂ、及び図３Ａ～３Ｃは、例示的なデバイスの説明を提供する。図４Ａ～４Ｂ、及び５Ａ～５ＣＮ、６Ａ～６Ｙ、及び７Ａ～７ＡＴは、拡張現実環境などの環境、及びメディア項目を注釈し、測定し、かつモデリングすることと双方向作用するための、例示的なユーザインタフェースについて示す。図８Ａ～８Ｆは、拡張現実を使用して、物理的環境の自動的に判定された測定値を表示する方法のフローダイヤグラムを示す。図９Ａ～９Ｃは、拡張現実環境内で自動的に判定されたアンカー点に基づき、位置調整ガイドを提供するための方法のフローダイヤグラムを示す。図１０Ａ～１０Ｃは、拡張現実環境内でのユーザ入力に応じて、動的位置調整ガイドを提供する方法のフローダイヤグラムを示す。図１１Ａ～１１Ｅは、いくつかの実施形態に係る、拡張現実環境内のビュー内にある物理的特徴の種類に基づき、自動的に注釈モードを変更する方法のフローダイヤグラムを示す。図１２Ａ～１２Ｃは、いくつかの実施形態に係る、注釈セッションの間に注釈配置ユーザインタフェースを使用して加えられた注釈の一覧を含む、セッション履歴を表示する方法のフローダイヤグラムを示す。図１３Ａ～１３Ｄは、いくつかの実施形態に係る、物理的表面に沿って経路を測定し、物理的表面の形状及び湾曲を考慮に入れる方法のフローダイヤグラムを示す。図１４Ａ～１４Ｄは、いくつかの実施形態に係る、以前にキャプチャしたメディアに表現される物理的特徴を測定する方法のフローダイヤグラムを示す。図１５Ａ～１５Ｄは、いくつかの実施形態に係る、物理的環境をスキャンして、物理的環境をモデリングするための深度情報をキャプチャする方法のフローダイヤグラムを示す。図１６Ａ～１６Ｅは、いくつかの実施形態に係る、環境の略図を確認し、これと双方向作用させる方法のフローダイヤグラムを示す。
図５Ａ～５ＣＮ、６Ａ～６Ｙ、及び７Ａ～７ＡＴのユーザインタフェースを使用して、図８Ａ～８Ｆ、９Ａ～９Ｃ、１０Ａ～１０Ｃ、１１Ａ～１１Ｃ、１２Ａ～１２Ｃ、１３Ａ～１３Ｄ、１４Ａ～１４Ｄ、１５Ａ～１５Ｄ、及び１６Ａ～１６Ｅのプロセスを示す。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態への詳細な参照が行われる。以下の詳細な説明では、説明される様々な実施形態の完全な理解を提供するために数多くの具体的な詳細が記載されている。しかしながら、記載されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭にしないよう詳細には説明されていない。
本明細書では、第１、第２などの用語は、いくつかの実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１の接触は、第２の接触と称することができ、同様に、第２の接触は、第１の接触と称し得る。第１の接触及び第２の接触は両方とも接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
本明細書に記載される場合、用語「ｉｆ（～の場合）」は、任意選択で、文脈に依存して「ｗｈｅｎ（～のとき）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～と判定したことに応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～を検出したことに応じて）」を意味するものと解釈される。同様に、「～と判定された場合（ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ）」又は「［記載の状態又はイベント］が検出された場合（ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ）」若しくは「～と判定したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ）」、又は「［記載の状態又はイベント］を検出したとき（ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］）」若しくは「［記載の状態又はイベント］を検出したことに応じて（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］）」を意味すると解釈される。
拡張及び／又は仮想現実のためのコンピュータシステムは、拡張及び／又は仮想現実環境を生成する電子デバイスを含む。電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態は、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスを含むが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有するラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスが任意選択で使用される。いくつかの実施形態では、デバイスは、ポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を有し、１つ以上のカメラも含む又はそれと通信している、デスクトップコンピュータであることも理解されたい。
以下の説明では、ディスプレイ及びタッチ感知面を有する（かつ／又はそれらと通信している）電子デバイスを含むコンピュータシステムを説明する。しかしながら、コンピュータシステムは、物理キーボード、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラなどの、１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
デバイスは、典型的には、ゲームアプリケーション、メモ取りアプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの、様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイスによって表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調整及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ透明なユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態に係る、タッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択で、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、音声回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、（例えば、１つ以上のカメラの一部として）１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は任意選択で、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出する１つ以上の強度センサ１６５を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６３を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、掌、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。場合によっては、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がないときでさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。触知出力を使用して触覚フィードバックをユーザに提供することで、デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、デバイスを操作する／デバイスと相互作用するとき、ユーザが適切な入力を提供するのを助け、ユーザの誤りを低減させることによって）、加えて、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用を低減させ、デバイスの電池寿命を改善する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組み合わせるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インタフェース１１８などのデバイス１００の他の構成要素によるメモリ１０２へのアクセスは任意選択で、メモリコントローラ１２２により制御される。
周辺機器インタフェース１１８が使用され、デバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２と結合することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。
いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は任意選択で、チップ１０４などの単一チップ上で実装される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。無線通信は任意選択で、移動通信のためのグローバルシステム（Global System for Mobile Communications、ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（Ｄｕａｌ－Ｃｅｌｌ ＨＳＰＡ、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／若しくはＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メールのためのプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／若しくはポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、並びに／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の適切な通信プロトコルを含むが、それらに限定されない、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを使用する。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取り出され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。一部の実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば図２Ａの２１２）も含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を備えるヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及びその他の入力又は制御デバイス１１６などのデバイス１００上の入出力周辺機器を周辺機器インタフェース１１８と結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力若しくは制御デバイス１１６から電気信号を受信する、又は、他の入力若しくは制御デバイス１１６に電気信号を送信する。その他の入力又は制御デバイス１１６は任意選択で、物理的ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）１６０は任意選択で、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかと結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば図２Ａの２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量を制御するためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば図２Ａの２０６）を任意選択的に含む。
タッチ感知ディスプレイシステム１１２は、デバイスとユーザの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、及び／又はタッチ感知ディスプレイシステム１１２へ電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又は全ては、ユーザインタフェースオブジェクトに対応する。本明細書で使用されるように、用語「アフォーダンス」は、ユーザ－対話形式のグラフィカルユーザインタフェースオブジェクト（例えば、グラフィカルユーザインタフェースオブジェクトに向かって方向付けられた入力に応答するように構成されているグラフィカルユーザインタフェースオブジェクト）を指す。ユーザ対話形式のグラフィカルユーザインタフェースオブジェクトの例は、ボタン、スライダ、アイコン、選択可能メニュー項目、スイッチ、ハイパーリンク、又はその他のユーザインタフェース制御を含むが、それらに限定されない。
タッチ感知ディスプレイシステム１１２は、触覚及び／又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。（メモリ１０２内の任意の関連するモジュール及び／又は命令セットと共に）タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２上の接触（及び、接触の任意の移動又は中断）を検出し、検出された接触をタッチ感知ディスプレイシステム１１２上で表示されるユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との相互作用に変換する。いくつかの実施形態では、タッチ感知ディスプレイシステム１１２とユーザとの間の接触点は、ユーザの指又はスタイラスに対応する。
タッチ感知ディスプレイシステム１１２は任意選択で、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）（液晶ディスプレイ）技術、ＬＰＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｐｏｌｙｍｅｒ ｄｉｓｐｌａｙ）（発光ポリマディスプレイ）技術、又はＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は任意選択で、容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム１１２との１つ以上の接触点を判定するためのその他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の又は後に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中断を検出する。いくつかの実施形態では、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などにおいて見られるような、投影型相互キャパシタンス検知技術が使用される。
タッチ感知ディスプレイシステム１１２は任意選択で、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンの映像解像度は、４００ｄｐｉを超える（例えば、５００ｄｐｉ、８００ｄｐｉ、又はより高い）。ユーザは任意選択で、スタイラス、指などの任意の適切な物体又は付属物を使用して、タッチ感知ディスプレイシステム１１２と接触する。いくつかの実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計されるが、これらは、タッチスクリーン上での指の接触面積がスタイラスの接触面積よりも大きいことに起因して、スタイラスに基づく入力よりも精度が低い場合がある。一部の実施形態では、デバイスは、指による粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは任意選択で、タッチ感知ディスプレイシステム１１２と分離したタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス１００は、様々な構成要素に電力を供給する電力システム１６２も含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス１００はまた、（例えば、１つ以上のカメラの一部として）１つ以上の光センサ１６４を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８と結合された光センサを示す。光センサ（単数又は複数）１６４は、任意選択で、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを含む。光センサ（単数又は複数）１６４は、１つ以上のレンズを通じて投影された、環境からの光を受信し、画像を表すデータに光を変換する。撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、光センサ（単数又は複数）１６４は任意選択で、静止画像及び／又はビデオをキャプチャする。いくつかの実施形態では、タッチスクリーンを静止画像及び／又はビデオ画像取得のためのビューファインダとして使用することができるように、光センサは、デバイスの前面上のタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。いくつかの実施形態では、ユーザの画像が取得されるように（例えば、自撮りのため、ユーザがタッチスクリーン上で他のビデオ会議参加者を見ている間のビデオ会議のためなど）、別の光センサがデバイスの前面に配置される。
デバイス１００はまた、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９と結合された接触強度センサを示す。接触強度センサ（単数又は複数）１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を任意選択で含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報のための代用）を受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接される。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面上に位置するタッチスクリーンディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８と結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０と結合される。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されるとき（例えば、ユーザが電話通話を行っているとき）、近接センサは、タッチ感知ディスプレイシステム１１２をターンオフ及び無効にする。
デバイス１００は、任意選択で、１つ以上の触知出力生成器１６３を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１と結合され触知出力生成器を示す。いくつかの実施形態では、触知出力生成器（単数又は複数）１６３は、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを線形の動きに変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６３は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に移動させることによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面上に位置するタッチ感知ディスプレイシステム１１２の反対である、デバイス１００の背面上に配置される。
デバイス１００はまた、デバイスの位置（例えば、位置、及び向き又は姿勢）に関する情報を得るための、１つ以上の加速度計１６７、ジャイロスコープ１６８、及び／又は磁気計１６９（例えば、慣性測定ユニット（inertial measurement unit、ＩＭＵ）の一部として）を、任意選択的に含む。図１Ａは、周辺機器インタフェース１１８に結合された、センサ１６７、１６８、及び１６９を示す。あるいは、センサ１６７、１６８、及び１６９は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に、任意選択的に結合される。いくつかの実施形態では、情報は、１つ以上の加速度計から受信されたデータの分析に基づいて、縦長ビュー又は横長ビュー内でタッチスクリーンディスプレイ上に表示される。デバイス１００は、任意選択で、デバイス１００の場所に関する情報を取得するためのＧＰＳ（若しくはＧＬＯＮＡＳＳ又は他の全地球的航法システム）受信機を含む。
いくつかの実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は、命令セット）１２８、接触／動きモジュール（又は、命令セット）１３０、グラフィックモジュール（又は、命令セット）１３２、触覚フィードバックモジュール（又は、命令セット）１３３、テキスト入力モジュール（又は、命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（又は、命令セット）１３５、及びアプリケーション（又は、命令セット）１３６を含む。更に、いくつかの実施形態では、図１Ａ及び図３に示されるように、メモリ１０２は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示すアクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム１１２の様々な領域を占有しているかを示す表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から取得される情報を含むセンサ状態、並びにデバイスの姿勢（例えば、位置及び／又は姿勢）に関する位置及び／若しくは位置情報、のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、ｉＯＳ、Ａｎｄｒｏｉｄ、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ、ＵＮＩＸ、ＯＳ Ｘ、ＷＩＮＤＯＷＳ、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）は、全体的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素の間の通信を促進する。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに結合するように適合されている。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイス内で使用される３０ピンコネクタと同一若しくは類似した、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスにおいて使用されるＬｉｇｈｔｎｉｎｇコネクタと同一若しくは類似した、及び／又は互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。いくつかの実施形態では、外部ポートは、Ｃｕｐｅｒｔｉｎｏ、ＣａｌｉｆｏｒｎｉａのＡｐｐｌｅ Ｉｎｃ．からのいくつかの電子デバイス内で使用されるＵＳＢ Ｔｙｐｅ－Ｃコネクタと同一若しくは類似した、かつ／又は互換性のあるＵＳＢ Ｔｙｐｅ－Ｃコネクタである。
接触／動きモジュール１３０は任意選択で、タッチ感知ディスプレイシステム１１２との接触（ディスプレイコントローラ１５６と連携して）、及び他のタッチ感知デバイスとの接触（例えば、タッチパッド又は物理クリックホイール）を検出する。接触／動きモジュール１３０は、接触が発生したかを判定すること（例えば、指ダウンイベントを検出する）、接触の強度を判定すること（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力に代替するもの）、接触の移動があるかを判定すること及びタッチ感知面を横切る移動を追跡すること（例えば、１つ以上の指のドラッグイベントを検出する）、及び接触が停止したかどうかを判定すること（例えば、指アップイベント又は接触の中断を検出する）などの、接触の検出（例えば、指又はスタイラスによる）に関連する様々な動作を実行するためのソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択で、単一の接触（例えば、１本の指の接触又はスタイラスの接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指のタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて（例えば、アイコンの位置での）そのフィンガダウンイベントと同一の位置（又は、実質的に同一の位置）でのフィンガアップ（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面上の指のスワイプジェスチャを検出することは、フィンガダウンイベントを検出し、続いて１つ以上の指のドラッグイベントを検出し、その後、フィンガアップ（リフトオフ）イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及び他のジェスチャは、任意選択で、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、検出される。
いくつかの実施形態では、指のタップジェスチャを検出することは、指ダウンイベントを検出することと指アップイベントを検出することとの間の時間の長さに依存するが、指ダウンイベントを検出することと指アップイベントを検出することとの間の指の接触の強度とは関連しない。いくつかの実施形態では、タップジェスチャは、タップの間の指の接触の強度が、軽い押圧又は深い押圧強度閾値などの所与の強度閾値を満たす（名目上の接触検出強度閾値よりも大きい）かに関わらず、指ダウンイベントと指アップイベントの間の時間の長さが予め定められた値よりも短い（例えば、０．１、０．２、０．３、０．４又は０．５秒よりも短い）との判定に従い検出される。したがって、指のタップジェスチャは、特定の入力基準が満たされるために、接触の特性強度が所与の強度閾値を満たすことを必要としない特定の入力基準を満たすことができる。明確にするために、タップジェスチャにおける指の接触は一般的に、指ダウンイベントを検出するために、それを下回ると接触が検出されない名目上の接触検出強度閾値を満たす必要がある。同様の分析は、スタイラスによるタップジェスチャ又は他の接触を検出することに適用される。デバイスがタッチ感知面上をホバリングする指又はスタイラスの接触を検出することが可能なケースでは、名目上の接触検出強度閾値は任意選択で、指又はスタイラスとタッチ感知面の間の物理的接触に対応しない。
同様の方式で、同一の概念が他のタイプのジェスチャに適用される。例えば、スワイプジェスチャ、ピンチジェスチャ、デピンチジェスチャ、及び／又は長い押圧ジェスチャは任意選択で、ジェスチャに含まれる接触の強度と関係しない、又は認識されるためにジェスチャを実行する接触が強度閾値に到達することを必要としないのいずれかである基準を満たすことに基づいて検出される。例えば、スワイプジェスチャは、１つ以上の接触の移動量に基づいて検出され、ピンチジェスチャは、相互に向かう２つ以上の接触の移動に基づいて検出され、デピンチジェスチャは、相互に離れる２つ以上の接触の移動に基づいて検出され、長い押圧ジェスチャは、閾値移動量よりも小さいタッチ感知面上の接触の期間に基づいて検出される。したがって、特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを特定のジェスチャ認識基準が必要としないという記述は、ジェスチャにおける接触（複数可）が対応する強度閾値に到達しない場合に特定のジェスチャ認識基準が満たされることが可能であること、及びジェスチャにおける接触のうちの１つ以上が対応する強度閾値に到達する、又は強度閾値を超える状況で満たされることも可能であることを意味する。いくつかの実施形態では、タップジェスチャは、接触が所定の時間期間の間にそれぞれの強度閾値を上回るか又は下回るかに関わらず、指ダウンイベント及び指アップイベントが所定の時間期間内で検出されたという判定に基づいて検出され、スワイプジェスチャは、接触が接触の移動の終わりにそれぞれの強度閾値を上回る場合でさえ、接触の移動が所定の大きさよりも大きいという判定に基づいて検出される。ジェスチャの検出がジェスチャを実行する接触の強度によって影響される実施態様でさえ（例えば、接触の強度が強度閾値を上回るときにデバイスが長い押圧をより素早く検出し、又は接触の強度がより高いときにデバイスがタップ入力の検出に遅れる）、接触が特定の強度閾値に到達しない状況でジェスチャを認識する基準を満たすことができる限り（例えば、ジェスチャを認識するために要する時間量が変化する場合でさえ）、それらのジェスチャの検出は、接触が特定の強度閾値に到達することを必要としない。
接触強度閾値、期間閾値、及び移動閾値は、一部の状況では、同一の入力要素又は領域に方向付けられる２つ以上の異なるジェスチャを区別するためのヒューリスティックを作成するために、様々な異なる組み合わせで組み合わされ、それによって、同一の入力要素との複数の異なる相互作用がより豊かなセットのユーザ相互作用及び応答を提供するように有効化される。ジェスチャ認識基準の特定のセットが、その特定のジェスチャ認識基準が満たされるために接触（単数又は複数）の強度がそれぞれの強度閾値を満たすことを必要としないという記述は、ジェスチャがそれぞれの強度閾値を超える強度を有する接触を含むときに満たされる基準を有する他のジェスチャを識別するための他の強度に依存するジェスチャ認識基準をそれと同時に評価することを排除しない。例えば、いくつかの状況では、第１のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを必要としない第１のジェスチャのための第１のジェスチャ認識基準は、対応する強度閾値に到達する接触（複数可）に依存する第２のジェスチャのための第２のジェスチャ認識基準との競争関係にある。そのような競争では、ジェスチャは任意選択で、第２のジェスチャのための第２のジェスチャ認識基準が最初に満たされる場合に、第１のジェスチャのための第１のジェスチャ認識基準を満たすものとして認識されない。例えば、接触が所定の移動量を移動する前に接触が対応する強度閾値に到達する場合、スワイプジェスチャではなく深い押圧ジェスチャが検出される。逆に、接触が対応する強度閾値に到達する前に接触が所定の移動量を移動する場合、深い押圧ジェスチャではなくスワイプジェスチャが検出される。そのような状況でさえ、第１のジェスチャのための第１のジェスチャ認識基準は、第１のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことをなおも必要としないが、これは、ジェスチャの終わりまで接触が対応する強度閾値を下回ったままであった場合（例えば、対応する強度閾値を上回る強度まで増加しない接触を有するスワイプジェスチャ）、ジェスチャは、スワイプジェスチャとして第１のジェスチャ認識基準によって認識されているからである。そのようにして、特定のジェスチャ認識基準が満たされるために、接触（単数又は複数）の強度が対応する強度閾値を満たすことを必要としない特定のジェスチャ認識基準は、（Ａ）いくつかの状況では、強度閾値（例えば、タップジェスチャのための）に関して接触の強度を無視し、及び／又は（Ｂ）いくつかの状況では、特定のジェスチャ認識基準が入力に対応するジェスチャ（例えば、認識のための深い押圧ジェスチャと競争する長い押圧ジェスチャのための）を認識する前に、強度依存ジェスチャ認識基準の競争するセット（例えば、深い押圧ジェスチャのための）が強度依存ジェスチャに対応するものとして入力を認識する場合、特定のジェスチャ認識基準（例えば、長い押圧ジェスチャのための）が機能しないという意味で、強度閾値に関して接触の強度になおも依存している。
加速度計１６７、ジャイロスコープ１６８、及び／又は磁気計１６９と連動して、姿勢モジュール１３１は、特定の座標系内のデバイスの姿勢（例えば、ロール、ピッチ、ヨー、及び／又は位置）などの、デバイスに関する姿勢情報を任意選択的に検出する。姿勢モジュール１３１は、デバイスの位置の検出及びデバイスの姿勢の変化の検出に関係する、様々な動作を実行するためのソフトウェア構成要素を含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチ感知ディスプレイシステム１１２又は他のディスプレイ上でグラフィックをレンダリング及び表示するための様々な既知のソフトウェア構成要素を含む。本明細書で使用される場合、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができるいずれかのオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ双方向作用に応じて、触知出力生成器（単数又は複数）１６３を使用してデバイス１００上の１つ以上の位置において触知出力を作成する命令（例えば、触覚フィードバックコントローラ１６１によって使用される命令）を生成する様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は、任意選択で、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を、様々なアプリケーションで使用するために（例えば、位置に基づく電話発信で使用するために電話１３８へ、写真／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及びマップ／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
仮想／拡張現実モジュール１４５は、拡張現実機能、いくつかの実施形態では、仮想現実機能を実装するアプリケーション１３６に、仮想現実論理及び／又は拡張現実論理を提供する。仮想／拡張現実モジュール１４５は、１つ以上のカメラの視野の少なくとも一部分の表現への、仮想ユーザインタフェースオブジェクトなどの仮想コンテンツの重ね合わせを容易にする。例えば、仮想／拡張現実モジュール１４５からの支援により、１つ以上のカメラの視野の少なくとも一部分の表現は、対応する物理的オブジェクトを含んでもよく、仮想ユーザインタフェースオブジェクトは、１つ以上のカメラの視野内の対応する物理的オブジェクトに基づいて判定される、表示された拡張現実環境、又はコンピュータシステムの少なくとも一部分の姿勢（例えば、ユーザインタフェースをコンピュータシステムのユーザに表示するために使用される表示装置の姿勢）に基づいて判定される、仮想現実環境内の位置に表示されてもよい。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと呼ばれることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオプレーヤモジュール及び音楽プレーヤモジュールから構成されている、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５、
●注釈及びモデリングモジュール１９５、及び／又は
●飛行時間（「ＴｏＦ」）センサモジュール１９６。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するための実行可能命令を含み、それには、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、実際の住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号及び／又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／若しくは促進すること、などが含まれる。
ＲＦ回路１０８、音声回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を変更し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了したときに切断し又は電話を切る実行可能命令を含む。上述のように、無線通信は、任意選択で、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、音声回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８と連携して、ビデオ会議モジュール１３９は、ユーザの命令に従って、ユーザと１人以上の他の参加者の間のビデオ会議を開始し、行い、終了する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理する実行可能命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージモジュール１４１は、インスタントメッセージに対応する一連の文字を入力し、前に入力された文字を修正し、それぞれのインスタントメッセージを送信し（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）、若しくはＩＭＰＳを使用して）、インスタントメッセージを受信し、受信したインスタントメッセージを見る実行可能命令を含む。いくつかの実施形態では、送信及び／又は受信されたインスタントメッセージは任意選択で、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、音声ファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書で使用される場合、「インスタントメッセージ」は、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されたメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されたメッセージ）の両方を指す。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４、並びにビデオ及び音楽プレーヤモジュール１５２と連携して、トレーニングサポートモジュール１４２は、トレーニングを作成し（例えば、時間、距離、及び／又はカロリー消費目標を有する）、（スポーツデバイス及びスマートウォッチ内の）トレーニングセンサと通信し、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニング用の音楽を選択して再生し、並びに、トレーニングデータを表示し、記憶し、及び送信する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と共に、カメラモジュール１４３は、静止画像又はビデオ（ビデオストリームを含む）をキャプチャしてメモリ１０２にそれらを記憶する、静止画像又はビデオの特性を変更する、及び／又はメモリ１０２から静止画像若しくはビデオを削除する、実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と共に、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、変更し（例えば、編集し）、又はその他の方式で操作し、ラベルを付け、削除し、提示し（例えば、デジタルスライドショー又はアルバム内で）、並びに記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付ファイル及び他のファイルの、検索、リンク付け、受信、及び表示を含め、ユーザの命令に従って、インターネットをブラウズする、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と共に、カレンダモジュール１４８は、ユーザの命令に従って、カレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ項目、するべきことのリストなど）を作成、表示、変更、及び記憶する、実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と共に、ウィジェットモジュール１４９は、任意選択で、ユーザによってダウンロードされ使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ、カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェット作成モジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットに変える）実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの命令に従って、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、音声回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された記録された音楽又は他のサウンドファイルをユーザがダウンロード及び再生することを可能にする実行可能命令、並びにビデオを表示し、提示し、又はその他の方式で再生する（例えば、タッチ感知ディスプレイシステム１１２上で、又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）実行可能命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの命令に従って、メモ、するべきことのリストなどを作成及び管理する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、マップモジュール１５４は、ユーザの命令に従って、地図及び地図と関連付けられたデータ（例えば、運転方向、特定の位置における又はその近くの店舗及び対象となる他の地点についてのデータ、並びに位置に基づく他のデータ）を受信し、表示し、変更し、及び記憶するために使用され得る。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、音声回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し（例えば、ストリーミング及び／又はダウンロードにより）、再生し（例えば、タッチスクリーン１１２上で、又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）、特定のオンラインビデオへのリンクを有する電子メールを送信し、別の方法で管理することを可能にする実行可能命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、カメラモジュール１４３、画像管理モジュール１５２、ビデオ＆音楽プレーヤモジュール１５２、及び仮想／拡張現実モジュール１４５と連携して、注釈及びモデリングモジュール１９５は、本明細書でより詳細に記載されるように、ユーザが、物理的環境及び／又はその中の物理的オブジェクトをモデリングし、拡張現実及び／又は仮想現実内で、物理的環境及び／又はその中の物理的オブジェクトの表現（例えば、ライブ、又は以前にキャプチャされた）を注釈する（例えば、それを測定する、その上に描画する、及び／又はそれに仮想オブジェクトを加え、その中の仮想オブジェクトを操作する）ことを可能にする実行可能な命令を含む。
カメラモジュール１４３と連携して、ＴｏＦセンサモジュール１９６は、物理的環境の深度情報をキャプチャするための、実行可能な命令を含む。いくつかの実施形態では、ＴｏＦセンサモジュール１９６は、カメラモジュール１４３と連携して稼働し、物理的環境の深度情報を提供する。
上記特定されたモジュール及びアプリケーションの各々は、上記説明された１つ以上の機能、並びに本出願で説明される方法（例えば、コンピュータにより実行される方法、及び本明細書で説明される他の情報処理方法）を実行する実行可能な命令セットに対応する。それらのモジュール（すなわち、命令セット）は、別々のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、よって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において、組み合わされ、又はその他の方式で再配置される。いくつかの実施形態では、メモリ１０２は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける既定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを介して実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される既定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」は、タッチ感知面を使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチ感知面の代わりに、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａにおける）又は３７０（図３Ａ）は、イベントソート部１７０（例えば、オペレーティングシステム１２６内）及びそれぞれのアプリケーション１３６－１（例えば、上述したアプリケーション１３６、１３７～１５５、３８０～３９０のいずれか）を含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１、及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイシステム１１２上で表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するためにイベントソート部１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用すべき再開情報、アプリケーション１３６－１によって表示されている情報を示す又は表示する準備ができたユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にする状態キュー、及びユーザによって行われた前のアクションのリドゥ／アンドゥキューのうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム１１２上のユーザのタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６７、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、予め定められたノイズ閾値を上回り、及び／又は予め定められた期間よりも長い入力を受信すること）が存在するときのみ、イベント情報を送信する。
いくつかの実施形態では、イベントソート部１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が２つ以上のビューを表示するとき、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウインドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始するサブイベント（すなわち、イベント又は潜在的なイベントを形成する一連のサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された同一のタッチ又は入力元に関連する全てのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理的位置を含む全てのビューがアクティブに関わりがあるビューであると判定し、したがって、全てのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられたエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２によって取り出されたイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソート部１７０を含む。あるいは、アプリケーション１３６－１がイベントソート部１７０を含む。更に他の実施形態では、イベントソート部１７０は、独立型のモジュールであり、又は接触／動きモジュール１３０などのメモリ１０２内に記憶されている別のモジュールの一部分である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理するための命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６－１が方法及び他の属性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、それぞれのイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソート部１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は任意選択で、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を利用し、又は呼び出す。代わりに、アプリケーションビュー１９１のうちの１つ以上は、１つ以上のそれぞれのイベント処理部１９０を含む。また、いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、それぞれのアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソート部１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の姿勢（例えば、位置及び向き）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば、既定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント１８７におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの中止、及び複数のタッチを含む。一実施例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の予め定められた段階についての第１のタッチ（タッチの始め）、予め定められた段階についての第１のリフトオフ（タッチの終わり）、表示されたオブジェクト上の予め定められた段階についての第２のタッチ（タッチの始め）、及び予め定められた段階についての第２のリフトオフ（タッチの終わり）を含む。別の実施例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、表示されたオブジェクト上の予め定められた段階についてのタッチ（又は、接触）、タッチ感知ディスプレイシステム１１２を横切るタッチの移動、及びタッチのリフトオフ（タッチの終わり）を含む。いくつかの実施形態では、イベントは、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム１１２上で表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム１１２上でタッチが検出されたとき、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）と関連付けられているかを判定するためにヒットテストを実行する。表示された各オブジェクトが、それぞれのイベント処理部１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトに関連付けられたイベント処理部を選択する。
いくつかの実施形態では、それぞれのイベント１８７の定義は、一連のサブイベントがイベント認識部のイベントタイプに対応するかどうかが判定されるまで、イベント情報の配信を遅らせる遅延アクションも含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判断した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することが可能となるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントに関連付けられたフラグを投入し、そのフラグに関連付けられたイベント処理部１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新するか、又はビデオ及び音楽プレーヤモジュール１５２で使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成し、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含む又はそれらへのアクセスを有する。いくつかの実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の記載は、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の移動、ペンスタイラス入力、１つ以上のカメラによって取得されたビデオ画像のリアルタイム解析に基づく入力、デバイスの移動、口頭による命令、検出された眼球運動、バイオメトリック入力、並びに／又はそれらの任意の組み合わせを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２Ａは、一部の実施形態に係る、タッチスクリーン（例えば、タッチ感知ディスプレイシステム１１２、図１Ａ）を有するポータブル多機能デバイス１００（例えば、デバイス１００の前面のビュー）を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。これらの実施形態、並びに後述する実施形態では、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することが可能になる。一部の実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上向きに及び／若しくは下向きに）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上向きに及び／若しくは下向きに）を、任意選択で含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００は、任意選択で、「ホーム」又はメニューボタン２０４などの１つ以上の物理的ボタンも含む。前述のように、メニューボタン２０４は、任意選択で、デバイス１００上で任意選択的に実行される、アプリケーションのセットにおける任意のアプリケーション１３６にナビゲートするために使用される。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーンディスプレイ上で表示されるＧＵＩ内のソフトキーとして実装される。
いくつかの実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４（ホームボタン２０４と呼ばれる場合がある）、デバイスへの電源供給のオン／オフ及びデバイスのロックのためのプッシュボタン２０６、音量調節ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、ドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、既定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、既定の時間が経過する前にボタンを解放することによってデバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。いくつかの実施形態では、デバイス１００は、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力をも受け入れる。デバイス１００はまた任意選択で、タッチ感知ディスプレイシステム１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６３を含む。
図２Ｂは、任意選択的に、光センサ１６４－１及び１６４－２、並びにフライト時間（「ＴｏＦ」）センサ２２０を含む、ポータブル多機能デバイス１００（例えば、デバイス１００の背面のビュー）を示す。光センサ（例えばカメラ）１６４－１及び１６４－２が、物理的環境の表現（例えば画像又はビデオ）を同時にキャプチャするとき、ポータブル多機能デバイスは、光センサにより同時にキャプチャされた情報間での不一致（例えば、捕獲画像間での不一致）から、深度情報を判定することができる。光センサ１６４－１及び１６４－２を使用して判定した不一致により提供される深度情報（例えば画像）は、正確性を欠いている場合があるものの、通常は高解像度を提供する。画像どうしの不一致により提供される深度情報の正確性を改善するために、フライト時間センサ２２０を任意選択的に、光センサ１６４－１及び１６４－２と連携して使用する。ＴｏＦセンサ２２０は波形（例えば、発光ダイオード（ＬＥＤ）又はレーザーからの光）を放出し、波形（例えば光）の反射（単数又は複数）が、ＴｏＦセンサ２２０に戻ってくるのにかかる時間を測定する。深度情報は、光がＴｏＦセンサ２２０に戻ってくるのにかかる、測定した時間から判定される。ＴｏＦセンサは通常、高い正確性（例えば、測定した距離又は深度に関して、１ｃｍ又はそれより良好な正確性）を提供するが、高解像度を欠いている場合がある（例えば、ＴｏＦセンサ２２０は任意選択的に、光センサ１６４の解像度の４分の１、又は光センサ１６４の解像度の４分の１未満、又は光センサ１６４の解像度の１６分の１、又は光センサ１６４の解像度の１６分の１未満である解像度を有する）。それ故、ＴｏＦセンサからの深度情報を、光センサ（例えばカメラ）を使用して判定した不一致により提供される深度情報（例えば画像）と組み合わせることにより、正確であり、かつ高解像度も有する深度マップが提供される。
図３Ａは、いくつかの実施形態に係る、ディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアプレーヤデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インタフェース３６０と、メモリ３７０と、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０とを含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、任意選択的にタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（input/output、Ｉ／Ｏ）インタフェース３３０を含む。また、Ｉ／Ｏインタフェース３３０は、キーボード及び／又はマウス（又は、他のポインティング機器）３５０及びタッチパッド３５５、（例えば、図１Ａに関連して上述されている触覚出力生成器（１つ又は複数）１６３に類似した）デバイス３００上で触覚出力を生成するための触覚出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａに関連して上述されている類似のものに同様の接触強度センサ、及び任意選択的に、図２Ｂに関連して上述されているフライト時間センサ２２０）を、任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択で、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、任意選択で、ＣＰＵ（単数又は複数）３１０からリモートに位置する１つ以上の記憶デバイスを含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造に類似するプログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。更に、メモリ３７０は、任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は任意選択で、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択で、それらのモジュールを記憶しない。
上記特定された図３Ａにおける要素の各々は、任意選択で、前に言及したメモリデバイスのうちの１つ以上に記憶される。上記で特定されたモジュールの各々は、上記で説明された機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、それらのモジュールの様々なサブセットは、任意選択で、様々な実施形態において組み合わされるか、又はその他の方式で再配置される。いくつかの実施形態では、メモリ３７０は、任意選択で、上記で特定されたモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
図３Ｂ～図３Ｃは、いくつかの実施形態に係る、例示的なコンピュータシステム３０１のブロック図である。
いくつかの実施形態では、コンピュータシステム３０１は、以下のものを含む、及び／又はそれらと通信している。
●入力デバイス（単数又は複数）（３０２及び／又は３０７、例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）、
●仮想／拡張現実論理３０３（例えば、仮想／拡張現実モジュール１４５）、
●仮想ユーザインタフェース要素をユーザに表示するための表示生成コンポーネント（単数又は複数）（３０４及び／又は３０８、例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど）、
●デバイスの視野の画像、例えば、仮想ユーザインタフェース要素の配置を判定し、デバイスの姿勢を判定し、及び／又はカメラ（単数又は複数）が位置する物理的環境の一部分を表示するために使用される画像をキャプチャするためのカメラ（単数又は複数）（例えば、３０５及び／又は３１１）、
●物理的環境に対するデバイスの姿勢及び／又はデバイスの姿勢の変化を判定するための姿勢センサ（単数又は複数）（例えば、３０６及び／又は３１１）。
いくつかの実施形態では、コンピュータシステム３０１（例えばカメラ（単数又は複数）３０５及び／又は３１１）は、図２Ｂを参照して上述たように深度情報をキャプチャするための、フライト時間センサ（例えばフライト時間センサ２２０、図２Ｂ）を含み、かつ／又はこれと連通している。
いくつかのコンピュータシステム（例えば、図３Ｂの３０１－ａ）では、入力デバイス（単数又は複数）３０２、仮想／拡張現実論理３０３、表示生成コンポーネント（単数又は複数）３０４、カメラ（単数又は複数）３０５、及び姿勢センサ（単数又は複数）３０６は全て、コンピュータシステム（例えば、スマートフォン又はタブレットなどの図１Ａ～図１Ｂのポータブル多機能デバイス１００又は図３のデバイス３００）に統合される。
いくつかのコンピュータシステム（例えば、３０１－ｂ）では、統合された入力デバイス（単数又は複数）３０２、仮想／拡張現実論理３０３、表示生成コンポーネント（単数又は複数）３０４、カメラ（単数又は複数）３０５、及び姿勢センサ（単数又は複数）３０６に加えて、コンピュータシステムはまた、タッチ感知面、ワンド、リモートコントロールなどの別個の入力デバイス（単数又は複数）３０７、並びに／又は物理的環境上に仮想オブジェクトを重ね合わせる仮想現実ヘッドセット若しくは拡張現実眼鏡などの別個の表示生成コンポーネント（単数又は複数）３０８などの、コンピュータシステムとは別個の追加のデバイスと通信している。
いくつかのコンピュータシステム（例えば、図３Ｃの３０１－ｃ）では、入力デバイス（単数又は複数）３０７、表示生成コンポーネント（単数又は複数）３０９、カメラ（単数又は複数）３１１、及び／又は姿勢センサ（単数又は複数）３１２は、コンピュータシステムとは別個であり、かつコンピュータシステムと通信している。いくつかの実施形態では、コンピュータシステム３０１内の構成要素、及びコンピュータシステムと通信している構成要素の他の組み合わせが使用される。例えば、いくつかの実施形態では、表示生成コンポーネント（単数又は複数）３０９、カメラ（単数又は複数）３１１、及び姿勢センサ（単数又は複数）３１２は、コンピュータシステムと統合された又はコンピュータシステムと通信しているのいずれかであるヘッドセットに組み込まれる。
いくつかの実施形態では、図５Ａ～図５ＣＮを参照して後述する動作の全ては、仮想／拡張現実論理３０３を有する単一のコンピューティングデバイス（例えば、図３Ｂを参照して後述するコンピュータシステム３０１－ａ）上で実行される。しかしながら、しばしば、異なる複数のコンピューティングデバイスが一緒にリンクされて、図５Ａ～５ＣＮ、６Ａ～６Ｙ、７Ａ～７ＡＴを参照して後述する動作を実行する（例えば、仮想／拡張現実論理３０３を有するコンピューティングデバイスは、ディスプレイ４５０を有する別個のコンピューティングデバイス及び／又はタッチ感知面４５１を有する別個のコンピューティングデバイスと通信する）ことを理解されたい。これらの実施形態のいずれかでは、図５Ａ～５ＣＮ、６Ａ～６Ｙ、７Ａ～７ＡＴを参照して後述するコンピューティングデバイスは、仮想／拡張現実論理３０３を含むコンピューティングデバイス（単数又は複数）である。加えて、各種実施形態では、仮想／拡張現実論理３０３は、別個の複数のモジュール又はコンピューティングデバイスの間で分割されてもよいことを理解されたい。しかしながら、本明細書の説明の目的のために、仮想／拡張現実論理３０３は、実施形態の他の態様を不必要に不明瞭にしないように、単一のコンピューティングデバイス内に存在するものとして主に言及される。
いくつかの実施形態では、仮想／拡張現実論理３０３は、解釈された入力を受信し、これらの解釈された入力に応じて、その後グラフィカルユーザインタフェースをディスプレイ上で更新するために使用される、解釈された入力に従ってグラフィカルユーザインタフェースを更新するための命令を生成する、１つ以上のモジュール（例えば、図１Ｂを参照してより詳細に上述したような１つ以上のオブジェクト更新部１７７及び１つ以上のＧＵＩ更新部１７８を含む１つ以上のイベント処理部１９０）を含む。いくつかの実施形態では、（例えば、図１Ａ及び図３の接触動きモジュール１３０によって）検出され、（例えば、図１Ｂのイベント認識部１８０によって）認識され、かつ／又は（例えば、図１Ｂのイベントソート部１７０によって）配信された入力に対する解釈された入力は、ディスプレイ上のグラフィカルユーザインタフェースを更新するために使用される。いくつかの実施形態では、解釈された入力は、コンピューティングデバイスにおけるモジュールによって生成される（例えば、コンピューティングデバイスは、未加工の接触入力データからジェスチャを識別するように、未加工の接触入力データを受信する）。いくつかの実施形態では、解釈された入力の一部又は全ては、解釈された入力としてコンピューティングデバイスによって受信される（例えば、タッチ感知面４５１を含むコンピューティングデバイスは、未加工の接触入力データからジェスチャを識別するように、未加工の接触入力データを処理し、仮想／拡張現実論理３０３を含むコンピューティングデバイスにジェスチャを示す情報を送信する）。
いくつかの実施形態では、ディスプレイ及びタッチ感知面の両方が、仮想／拡張現実論理３０３を含むコンピュータシステム（例えば、図３Ｂの３０１－ａ）と統合される。例えば、コンピュータシステムは、統合されたディスプレイ（例えば、図３の３４０）及びタッチパッド（例えば、図３の３５５）を有するデスクトップコンピュータ又はラップトップコンピュータであってもよい。別の例として、コンピューティングデバイスは、タッチスクリーン（例えば、図２Ａの１１２）を有するポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、タッチ感知面は、コンピュータシステムと統合され、ディスプレイは、仮想／拡張現実論理３０３を含むコンピュータシステムと統合されない。例えば、コンピュータシステムは、統合されたタッチパッド（例えば、図３の３５５）が別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、デバイス３００（例えば、デスクトップコンピュータ又はラップトップコンピュータ）であってもよい。別の例として、コンピュータシステムは、タッチスクリーン（例えば、図２Ａの１１２）が別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、ポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、ディスプレイは、コンピュータシステムと統合され、タッチ感知面は、仮想／拡張現実論理３０３を含むコンピュータシステムと統合されない。例えば、コンピュータシステムは、統合されたタッチディスプレイ（例えば、図３の３４０）が別個のタッチ感知面（例えば、遠隔のタッチパッド、ポータブル多機能デバイスなど）に（有線又は無線接続を介して）接続された、デバイス３００（例えば、デスクトップコンピュータ、ラップトップコンピュータ、一体型セットトップボックスを有するテレビ）であってもよい。別の例として、コンピュータシステムは、タッチスクリーン（例えば、図２Ａの１１２）が別個のタッチ感知面（例えば、遠隔のタッチパッド、遠隔のタッチパッドとして機能するタッチスクリーンを有する別のポータブル多機能デバイスなど）に（有線又は無線接続を介して）接続された、ポータブル多機能デバイス１００（例えば、スマートフォン、ＰＤＡ、タブレットコンピュータなど）であってもよい。
いくつかの実施形態では、ディスプレイ又はタッチ感知面のいずれもが、仮想／拡張現実論理３０３を含むコンピュータシステム（例えば、図３Ｃの３０１－ｃ）と統合されない。例えば、コンピュータシステムは、別個のタッチ感知面（例えば、遠隔のタッチパッド、ポータブル多機能デバイスなど）及び別個のディスプレイ（例えば、コンピュータモニタ、テレビなど）に（有線又は無線接続を介して）接続された、独立型コンピューティングデバイス３００（例えば、セットトップボックス、ゲームコンソールなど）であってもよい。
いくつかの実施形態では、コンピュータシステムは、一体型オーディオシステム（例えば、ポータブル多機能デバイス１００内のオーディオ回路１１０及びスピーカ１１１）を有する。いくつかの実施形態では、コンピューティングデバイスは、コンピューティングデバイスとは別個のオーディオシステムと通信している。いくつかの実施形態では、オーディオシステム（例えば、テレビユニット内に統合されたオーディオシステム）は、別個のディスプレイと統合される。いくつかの実施形態では、オーディオシステム（例えば、ステレオシステム）は、コンピュータシステム及びディスプレイとは別個の独立型システムである。
ここで、ポータブル多機能デバイス１００上で任意選択的に実装されるユーザインタフェース（「ＵＩ」）の実施形態に着目する。
図４Ａは、いくつかの実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューのための例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）、
●時間、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ、
●バッテリ状態インジケータ、
●以下のような、頻繁に使用されるアプリケーションのアイコンを有するトレイ４０８
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、また、
○「音楽」とラベル付けされたビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、また、
●以下のような、他のアプリケーションのアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「マップ」とラベル付けされた、マップモジュール１５４のアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、また、
○デバイス１００及びその様々なアプリケーション１３６についての設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション又はモジュールのアイコン４４６。
図４Ａに示されたアイコンのラベルは単なる例に過ぎないことに留意されたい。例えば、他のラベルが任意選択的に、様々なアプリケーションアイコンに使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０とは別個のタッチ感知面４５１（例えば、タブレット又はタッチパッド３５５、図３Ａ）を有するデバイス（例えば、デバイス３００、図３Ａ）上の例示的なユーザインタフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上の入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すように、ディスプレイと分離したタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂにおける４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂにおける４５３）に対応する主軸（例えば、図４Ｂにおける４５２）を有する。それらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８に対応し、４６２は４７０に対応する）におけるタッチ感知面４５１との接触（例えば、図４Ｂにおける４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイと分離しているとき、タッチ感知面（例えば、図４Ｂにおける４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、及びそれらの移動）は、多機能デバイスのディスプレイ（例えば、図４Ｂにおける４５０）上でユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の実施例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して与えられるが、いくつかの実施形態では、それらの指の入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力、周囲の物理的環境に対するデバイス又はデバイスの１つ以上のカメラの移動）、及び又は、１つ以上のカメラを使用して追跡される、デバイスに対するユーザ移動と置換されることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、又は、ユーザ自身の手を特定の向きに移動させることを伴う、手のジェスチャによって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる、又は、タップジェスチャを表す、対応する手のジェスチャによって置き換えられる。同様に、複数のユーザ入力が同時に検出されるとき、複数の特定の種類の入力デバイスが、任意選択的に、同時に使用され、又は異なる種類の複数の入力デバイスが、任意選択的に、同時に使用されることを理解されたい。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカーを含むいくつかの実装形態では、カーソルは、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある間に、タッチ感知面（例えば、図３Ａにおけるタッチパッド３５５、又は図４Ｂにおけるタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されると、特定のユーザインタフェース要素が検出された入力に従って調整されるように、「フォーカスセレクタ」として機能する。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な相互作用を有効化するタッチスクリーンディスプレイ（例えば、図１Ａにおけるタッチ感知ディスプレイシステム１１２、又は図４Ａにおけるタッチスクリーン）を含むいくつかの実装形態では、タッチスクリーン上で検出された接触は、入力（例えば、接触による押圧入力）がタッチスクリーンディスプレイ上で特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の位置において検出されると、特定のユーザインタフェース要素が検出された入力に従って調製されるように、「フォーカスセレクタ」として機能する。いくつかの実装では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに、（例えば、タブキー又は矢印キーを使ってフォーカスを１つのボタンから別のボタンに移動させることにより）フォーカスが、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動される。これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは一般的に、ユーザインタフェースとのユーザの意図した相互作用を通信するために（例えば、ユーザが相互作用することを意図しているユーザインタフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインタフェース要素（又は、タッチスクリーンディスプレイ上の接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。いくつかの実施形態では、フォーカスインジケータ（例えば、カーソル又は選択インジケータ）は、１つ以上の入力デバイスから受信した入力によって影響を受けることになるユーザインタフェースの現在の部分を示すように、表示装置を介して表示される。
ユーザインタフェース及び関連するプロセス
ここで、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなどので表示装置）と、１つ以上のカメラ（例えば、カメラの視野内にあるコンテンツの少なくとも一部分のライブプレビューを連続的に提供し、かつ任意選択的に、カメラの視野内のコンテンツをキャプチャする画像フレームの１つ以上のストリームを含むビデオ出力を生成するビデオカメラ）と、１つ以上の入力デバイス（例えば、タッチ感知式リモートコントロールなどのタッチ感知面、若しくは表示生成コンポーネントとしても機能するタッチスクリーンディスプレイ、マウス、ジョイスティック、ワンドコントローラ、及び／又はユーザの手などのユーザの１つ以上の特徴の位置を追跡するカメラ）と、任意選択的に、１つ以上の姿勢センサと、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサと、任意選択的に、１つ以上の触知出力生成器と、を含む（かつ／又はそれらと通信している）コンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））上に実装することができる、ユーザインタフェース（「ＵＩ」）及び関連するプロセスの実施形態に注意を向ける。
図５Ａ～５ＣＮ、６Ａ～６Ｙ、及び７Ａ～７ＡＴは、いくつかの実施形態に係る、物理的環境などの環境を注釈し、測定し、かつモデリングするための例示的なユーザインタフェースを示す。これらの図のユーザインタフェースは、図８Ａ～８Ｆ、９Ａ～９Ｃ、１０Ａ～１０Ｃ、１１Ａ～１１Ｅ、１２Ａ～１２Ｃ、１３Ａ～１３Ｄ、１４Ａ～１４Ｄ、１５Ａ～１５Ｄ、及び１６Ａ～１６Ｅのプロセスを含む、以下で説明するプロセスを示すために使用される。説明の便宜上、実施形態のいくつかは、タッチ感知ディスプレイシステム１１２を有するデバイス上で実行される操作を参照して議論される。そのような実施形態では、フォーカスセレクタは任意選択で、それぞれの指若しくはスタイラスの接触、指若しくはスタイラスの接触に対応する代表的な点（例えば、それぞれの接触の面心若しくはそれぞれの接触と関連付けられた点）、又はタッチ感知ディスプレイシステム１１２上で検出された２つ以上の接触の面心である。しかしながら、同様の操作は任意選択で、フォーカスセレクタと共に、ディスプレイ４５０上の図に示されるユーザインタフェースを表示する間、タッチ感知面４５１上の接触を検出したことに応じて、ディスプレイ４５０及び別々のタッチ感知面４５１を有するデバイス上で実行される。
図５Ａ～５ＣＮは、いくつかの実施形態に係る、拡張現実を使用して物理的環境を注釈及び測定するための、例示的なユーザインタフェースを示す図である。
図５Ａは、測定アプリケーション４４８を備えたホーム画面ユーザインタフェースを示す。図５Ｂは、アイコン４４８の上の入力８１を示す。 図５Ｃは、アイコン４４８の上の入力５８１に対する応答を示す。図５Ｃは、ポータブル多機能デバイス１００が、拡張現実ビュー５００を表示していることを示す。拡張現実ビュー５００は、ポータブル多機能デバイス１００の１つ以上の光センサ１６４の視野の中にある、（例えば、１つ以上の光センサ１６４、又は１つ以上の光センサ１６４のいずれか１つの、現在選択されている光センサの視野の中にある、又は任意選択的に、２つ以上の光センサ１６４の、組み合わされた視野の中にある）３次元の物理的環境５０１に基づいて作成される。この拡張現実ビュー５００を使用して、測定値、縁部マーキング、表面マーキング、バウンディングボックスなどの注釈を、３次元の物理的環境５０１内で見出されるオブジェクトの表現の上部に重ねる。
３次元の物理的環境５０１は、テレビスタンド５０２－１、テレビ（及び／又は、任意の他の種類のディスプレイ）５０２－２、ソファ５０２－３、枕５０２－４、テーブル５０２－５、ランプ５０２－６、並びに雑誌５０２－７などの、複数の項目を含む。拡張現実ビュー５００は、複数の項目の、対応する表現を含む。複数の項目の、これらの対応する表現は、テレビスタンド５０３－１（不明瞭化した）、テレビ５０３－２（不明瞭化した）、ソファ５０３－３、枕５０３－４、テーブル５０３－５、ランプ５０３－６、及び雑誌５０３－７である。複数の項目の、これらの対応する表現は、これらのオブジェクトの測定値（例えばメトリック）が判定されていることを示す、これらを囲む波線の輪郭５６９を有する。ポータブル多機能デバイス１００上に示される拡張現実ビュー５００は、拡張現実ビュー５００に重なる、複数のユーザインタフェースオブジェクトを有する。これらのユーザインタフェースオブジェクトをそれぞれ使用して、拡張現実で表示されているものを制御する、及びまた、ユーザが、３次元の物理的環境５０１に示されるオブジェクトの測定値を取り込み、重ねるのを補助する。測定値に関して使用されるとき、用語「取り込む」「取り込むこと」、及び「取り込まれた」とは、それぞれ、「生成する」「生成すること」、及び「生成した」を意味する、又は含むことと理解されるべきである。動詞として使用されるとき、用語「重なり合う」及び「重なり合っている」とは、それぞれ、「の上に表示する」、及び「の上に表示すること」を意味する、又は含む、あるいは代替的に、表示された拡張現実ユーザインタフェース又は仮想現実ユーザインタフェースに、（例えばオブジェクト、領域などが）重なっているように現れるように表現されることを意味するものと理解されなければならない。
いくつかの実施形態では、拡張現実ビュー５００に表示される（又はこれに重なり合う）別のユーザインタフェース要素は、モードインジケーションユーザインタフェース５０５である。いくつかの実施形態では、ユーザが、アイコン５０５（例えば、５０５－１～５０５－５）により、図５Ｃの例で示されているこのような５つの測定モードを切り替えることができる、複数の異なる測定モード用のアイコン５０５が、モードインジケーションユーザインタフェース５０５内に表示される。測定モードは本明細書において、注釈モードと呼ばれる場合がある。それぞれの測定モードは、対応する測定モードアイコン５０５を選択することにより、例えば、自動測定モードアイコン５０５－１、３次元測定モードアイコン５０５－２、２次元表面測定モードアイコン５０５－３、２地点測定モードアイコン５０５－４、及び、フロアプラン測定モードアイコン５０５－５を選択することにより、選択される。自動測定モードアイコン５０５－１は、選択されたときに、ポータブル多機能デバイス１００が、どの表面又はオブジェクトに、レチクル（例えば、図５Ｅ及びその後の多くの図で示す、レチクル５０４）が重なっているか（例えば、３次元オブジェクト、２次元表面など）を自動的に検出させるようにすることができ、その判定に基づき、デバイスは、表面又はオブジェクトが測定可能であるということを自動的に示すことができる。レチクル５０４は、場合によっては単に「配置ユーザインタフェース要素」と呼ばれる、注釈配置ユーザインタフェース要素の例である。例えば、自動測定モードアイコンが選択されたとき、デバイスは、何を測定しているかに応じて、測定モードを切り替えることができる（例えば、レチクルがテーブル表面の上にあるとき、２次元測定値が表示され、レチクルがソファの上を移動するとき、３次元測定値が示される）。いくつかの実施形態では、レチクルは、レチクル５０４が上にあるオブジェクトに基づき、外観を変える。いくつかの実施形態では、ユーザが自動モードを無視して、どの種類の測定を行うかを手動で特定したい、という例が存在する可能性がある。これが起こるとき、ユーザは、３次元測定モードアイコン５０５－２、２次元表面測定モードアイコン５０５－３、又は２地点測定モードアイコン５０５－４などのそれぞれの測定モードアイコン５０５をタップすることで、測定モードを切り替えることができる。いくつかの実施形態では、ユーザは、任意の向きにスワイプをして、モードを変更することもできる。３次元測定モードアイコン５０５－２、２次元表面測定モードアイコン５０５－３、及び２地点測定モードアイコン５０５－４は、選択されたときに、ユーザが、デバイス１００を命令して、それぞれ、３次元（例えば長さ、幅、及び高さ）、２次元（例えば、長さ、幅、若しくは高さのいずれかから選択される２次元）、又は、ある点から別の点への１次元（例えば、テーブルの縁部の長さ）のいずれかにおいて、１つ以上の測定値を生成することができるようになる。いくつかの実施形態では、フロアプラン測定モードアイコン５０５－５は、選択されたときに、ユーザが、デバイス１００を使用して３次元の物理的環境５０１をスキャンし、フロアプラン（例えば鳥瞰図）を作成することができるようになる。いくつかの実施形態では、レチクル５０４（例えば、図５Ｅを参照のこと）は、どの測定モードをユーザが選択したかに応じて視覚的に変化し、これにより、ユーザに、どの測定モードが現在使用注であるかを示す。いくつかの実施形態では、これらのモードアイコンのどれが選択されたかを示すために、選択インジケータ５３７が、選択されたアイコンの回りに表示される。
いくつかの実施形態では、拡張現実ビュー５００内に表示される（又はこれに重なり合う）別のユーザインタフェース要素は、測定リストボタン５０６であり、これは、選択されたときに、デバイス１００に、現在の注釈セッションの間に取得された全ての測定値（例えばメトリック）の一覧を表示させるようにする。いくつかの実施形態では、拡張現実ビュー５００に表示される（又はこれに重なり合う）別のユーザインタフェース要素は、場合によっては本明細書で「注釈作成ボタン５０８」と呼ばれる、測定値固定ユーザインタフェースオブジェクト５０８であり、これは、選択されたときに、所定の位置、例えばレチクル５０４の位置、又はレチクル５０４の焦点５０４－１の位置（例えば、図５ＢＵを参照のこと）にて、測定点を落とす。いくつかの実施形態では、拡張現実ビュー５００に表示される（又はこれに重なり合う）別のユーザインタフェース要素は、アンドゥユーザインタフェースオブジェクト５０７であり、これは選択されたときに、直近に落とされた測定点を取り除く。最後に、いくつかの実施形態では、拡張現実ビュー５００に表示される（又はこれに重なり合う）別のユーザインタフェース要素は、選択されたときに、（例えばあらゆる）表示される測定値を含む、拡張現実ビュー５００を、ビデオフォーマット、画像フォーマット、又は他の好適なフォーマットに記録する、記録ユーザインタフェースオブジェクト５５０である。この記録を次に、メッセージ送受信アプリケーション、Ｅメール、又は別のユーザにデータを転送するその他の好適な方法により、他のデバイス上でユーザと共有することができる。
図５Ｄは、異なる向きでの、同じ３次元の物理的環境５０１（例えば、ポータブル多機能デバイス１００の向きにより判定される、カメラの現在の視野のリアルタイム表現）を示す。図５Ｃから図５Ｄへの遷移は、ユーザが、異なる向きでポータブル多機能デバイス１００を保持していることを意味し、これにより、１つ以上の光センサ１６４が、３次元の物理的環境５０１の異なる部分を確認できるようになる。示すように、この他の向きでは、３次元の物理的環境５０１内の玄関５０２－８、窓５０２－９（部分的に不明瞭化されている）、及び犬５０２－１０はここで、１つ以上の光センサ１６４の視野の中にあり、対応する表現５０３－８（玄関）、５０２－９（窓）、及び５０２－１０（犬）は、拡張現実ビュー５００にて示される。複数の項目の、これらの対応する表現は、これらの項目／オブジェクトの測定値（例えばメトリック）が判定されていることを示す、これらを囲む波線の輪郭５６９を有する。
図５Ｅは、自動測定モードアイコン５０５－１が選択されたポータブル多機能デバイス１００を示し、デバイス１００及びその１つ以上の光センサ１６４が、テーブル５０３－５に移動して近づいた後の、拡張現実ビュー５００を示す。ユーザインタフェースオブジェクトの１つはレチクル５０４であり、ユーザに、挿入された（例えば落とされた）場合に、どこで測定が開始するかを示す。
図５Ｆは、デバイス１００がテーブル５０９の縁部に移動して近づいた後の、拡張現実ビュー５００を示す。デバイス１００の１つ以上の光センサ１６４は、テーブル５０９の縁部に移動して近づくため、デバイス１００は、テーブル全体がもはや見えないことを認識し、代わりに、選択するための、縁部のインジケーション５７０を提供する。図５Ｆでは示されないものの、いくつかの実施形態では、縁部領域が完全に見えており、物理的オブジェクトのテーブル５０９に隣接する他の部分が完全に見えていない場合、物理的オブジェクト（例えばテーブル５０９）の縁部領域（例えば、第１の縁部）の表現完全に見えない領域に隣接した縁部領域の、視覚的に強調をやめた（例えば影の付いた）部分を含む。いくつかの実施形態では、縁部領域内の点（例えば、第１の縁部を表す）は、物理的オブジェクトの第２の部分に接近するにつれ、漸進的に強調をやめる（例えば、物理的オブジェクトの第１の部分と第２の部分との境界からの第１の距離である、縁部領域の第１の点は、境界からの、第１の距離よりも大きい第２の距離である縁部領域内の第２の点に対して、視覚的に強調がやめられる）。
図５Ｇは、インジケーション５７０により特定されるテーブル５０９の縁部の測定値を固定するための測定値固定ユーザインタフェースオブジェクト５０８の上に入力５７１を備えた、拡張現実ビュー５００を示す。
図５Ｈは、インジケーション５７０により特定されるテーブル５０９の縁部を選択するための測定値固定ユーザインタフェースオブジェクト５０８の上への入力５７１に応答する、拡張現実ビュー５００を示す。図５Ｈに示すように、インジケーション５７０はもう拡張現実ビュー５００には表示されておらず、代わりに、ここでは拡張現実ビュー５００は、テーブル５０９の縁部を特定する、強調された線５７２、及び、デバイス１００により測定された、テーブル縁部の測定された長さ（例えば４フィート）を表現する注釈を含む。
図５Ｉ～５Ｋ、及び５Ｌ～５Ｎは、図５Ｈの拡張現実ビュー５００の代替実施形態であり、ここでは、最初の測定が行われた後で、潜在的な対応する測定値の追加のインジケーションが示される。いくつかの実施形態では、１つ以上の光センサ１６４が３次元の物理的環境５０１に対して移動するとき、デバイス１００は自動的に、１つ以上の光センサの移動の前に、以前に視野に完全に存在せず、（現在）測定可能な、他の関連する表面があるか否かを検出する。デバイスが、測定可能な関連する表面を検出するときに、追加のインジケーションが、拡張現実ビュー５００に示される場合がある。例えば、図５Ｉにおいて、デバイス１００が移動され、デバイス１００の１つ以上の光センサ１６４が、ビューの中にテーブルの表面５６０を有する。図５Ｉ～５Ｋは、アニメーション化された遷移がテーブルの表面５６０を覆わせるレチクル５０４を示す。図５Ｋは、アニメーションが終了したこと、及び、テーブルの表面５６０の回りの、得られるインジケーション５６１を示し、ユーザに、テーブルの測定値を固定することが可能であることを伝える。いくつかの実施形態では、その他の関連する表面が測定可能なインジケーションとしては、図５Ｋに示す、テーブルの表面５６０の別の縁部の長さを表現する追加の測定値などの、１つ以上の追加の測定値の表現が挙げられる。図５Ｌ～５Ｎは、ここでは１つ以上の光センサ１６４又はデバイス１００のビュー内にある、テーブル５０３－３の全体を示す。図５Ｌ～５Ｎは、テーブル全体を覆うように変化する、レチクル５０４の外観（例えば、外観のアニメーションによる変化）を示す。図５Ｎは、レチクル５０４の外観の変化が完了したこと、及び、テーブル５０３－３全体の回りで得られる追加のインジケーション５６２を示し、ユーザに、テーブルの測定値を固定することが可能であることを伝える。図５Ｍは、レチクル５０４の外観の、アニメーションによる変化の中間段階を示す。
テーブル５０３－３全体の回りに示されるインジケーション５６２に関して、図５Ｋ又は図５Ｎのいずれかのユーザが、測定値固定ユーザインタフェースオブジェクト５０８を選択する必要があるとき、示された表面又はオブジェクトが測定され、生成した測定値（単数又は複数）を表現する注釈が拡張現実ビュー５００に加えられるであろう。
図５Ｏは、１つ以上の光センサ１６４がテーブル５０９の縁部に移動して近づくとき、拡張現実ビュー５００内の強調された線５７２が更なる詳細を含むことを示す。いくつかの実施形態では、これらの更なる詳細はチェックマーク５１０である。これらのチェックマーク５１０は、測定値の増分（例えば、１インチ、２インチ、及び３インチ）を表す。いくつかの実施形態では、これらのチェックマークを表示することはいつでも、ユーザインタフェースを乱雑にするため、デバイス１００と、オブジェクト又はオブジェクトの特徴（例えばテーブル５０９の縁部）との閾値距離が満たされるときに、チェックマークは表示される。更に、いくつかの実施形態において、表示されるチェックマークの粒状性は、１つ以上の光センサ１６４の、オブジェクトの特徴のオブジェクトへの近接性にもまた左右される（例えば、いくつかの実施形態では、デバイス１００がオブジェクトに近づくと、デバイス１００の光センサと、オブジェクトとの距離が、１つ以上の更なる（例えば短い）閾値距離を満たすため、より多くのチェックマークが表示される）。
図５Ｐは、１つ以上の光センサ１６４が、テーブル５０９の縁部などのオブジェクト又はオブジェクトの特徴に、移動して近づく（例えば、物理的特徴からの第１の距離に、又はそれ以内にある）ことを、デバイス１００が判定するときの、拡張現実ビュー５００にデバイス１００により表示される、更なるチェックマーク５６３を示す。いくつかの実施形態では、更なるチェックマーク５６３を使用して、オブジェクト（例えばテーブル５０９）の更なる測定値を取得することができる。図５Ｐは、デバイス１００がテーブル５０９から遠く離れて配置されたときには、以前に表示されなかった、１．８インチのマークをスナップするレチクル５０４もまた示す。
図５Ｑは、チェックマーク、又は追加のチェックマークが拡張現実ビュー５００に表示されるときに、ユーザが、所望の測定点上に、レチクル５０４をより正確に配置することができることを示す。例えば、デバイス１００がテーブル５０９の縁部に移動して近づくと、レチクルは、より小さい測定の増加をスナップすることができる。ここで、レチクルは２インチのマークをスナップしている。
図５Ｒは、レチクル５０４が特定のチェックマーク５１０－１（例えば、２インチ）にスナップされている間の、測定値固定ユーザインタフェースオブジェクト５０８における入力５１１を示す。
図５Ｓは、レチクル５０４が特定のチェックマーク５１０－１にスナップされている間の、測定値固定ユーザインタフェースオブジェクト５０８における入力５１１に対する応答（例えば、拡張現実ビュー５００への注釈の追加）を示す。特に、この例において、点５６４は、測定値固定ユーザインタフェースオブジェクト５０８が選択されたときに、拡張現実ビュー５００内に表示される。この点は、レチクル５０４がスナップされた位置に配置される。
図５Ｔは、デバイス１００の１つ以上の光センサ１６４がテーブル５０９の縁部から移動して遠く離れた後、テーブル５８４の縁部が依然として、１つ以上の光センサ１６４のビュー内にある、拡張現実ビュー５００を示す。更に、いくつかの実施形態において、又は、所定の基準が満たされたときの特定の状況において、注釈（例えば、測定値）の配置を補助するためのガイド線５８５が、拡張現実ビュー５００に表示される。この例において、１つ以上の光センサがテーブル５０９の縁部から移動して離れると、チェックマーク５１０及び追加のチェックマーク５６３は、表示が停止する。しかし、以前に追加された注釈（例えば、以前はチェックマーク５１０－１に配置されていた、点５６４）は、チェックマーク５１０及び追加のチェックマーク５６３が表示されなくなっても、表示され続ける。
図５Ｕは、依然として自動測定モードアイコン５０５－１が選択されているポータブル多機能デバイス１００を示し、また、以前に測定されたオブジェクトよりも、異なるオブジェクト（この例ではテレビスタンド５０２－１及びテレビ５０２－２）の近くに配置されている、デバイス１００及びその１つ以上の光センサ１６４を示す。図５Ｕは、拡張現実ビュー５００内のテレビの表現５０３－２の上のレチクル５０４を示す。いくつかの実施形態では、レチクル５０４はテレビの表現５０３－２の上にあるものの、デバイス１００は自動的にテレビを検出し、（デバイス１００により作成された）テレビの測定値が固定される準備ができていることを判定する。
図５Ｕ～図５Ｗは、テレビの測定値が固定される準備ができていることを示す、レチクル５０４の外観の、アニメーションによる変化を示す。図５Ｖは、レチクル５０４の外観のアニメーションによる変化が進行していることを示す。いくつかの実施形態では、アニメーションが完了すると、インジケーション（例えばバウンディングボックス５６５）が、拡張現実ビュー５００内のテレビの表現５０３－２の回りに表示される。いくつかの実施形態では、インジケーション（例えばバウンディングボックス５６５）は、オブジェクト（例えばテレビ）の表面が固定可能であることを意味する、陰影の付いたフィルを有することができる。いくつかの実施形態では、デバイス１００は、１つ以上のカメラのビュー内のオブジェクトがテレビであることを判定し、その判定に応じて、テレビの対角線の長さが、拡張現実ビュー５００内の（例えば、これに追加された）注釈として表示される。いくつかの実施形態では、検出された特定のオブジェクトと関連する、他の一般的に使用される測定値（例えば、人の特定の測定値）もまた、通常表示される測定値（例えば長さ、幅、高さ、及び体積）に加えて、表示することができる。図５Ｗは、テレビ５０３－２の測定値に固定するための、測定値固定ユーザインタフェースオブジェクト５０８上の入力５６６もまた示す。
図５Ｘは、固定されたテレビの測定値を示す。いくつかの実施形態では、測定値が固定されたことを示すために、デバイス１００は破線のインジケーション（例えばバウンディングボックス）５６５を、実線のインジケーション（例えばバウンディングボックス）５６５－１で置き換える。更に、いくつかの実施形態では、レチクル５０４は、インジケーション（例えばバウンディングボックス）５６５が固定された後で、再表示される。デバイス１００がその後移動して、異なるオブジェクト（例えばテレビスタンド）が、デバイスの１つ以上のカメラのビュー内にあるとき、レチクル５０４は分裂して、異なるオブジェクト（例えばテレビスタンド）の回りの新しいボックスを表示し、以前に測定されたオブジェクト（例えばテレビ５０３－２）は、点線で拡張現実ビュー５００内に再表示され、かつ／又は、点線を有するバウンディングボックスにより囲まれる。いくつかの実施形態では、ユーザが新しいオブジェクト（例えばテレビスタンド）に固定すると、以前に測定されたオブジェクトの、拡張現実ビュー５００内での表現は、対応するインジケーション（例えばバウンディングボックス）５６５により囲まれることが停止する。いくつかの実施形態では、拡張現実ビュー５００内での、以前に測定されたオブジェクトの表現は、新しいオブジェクトとは異なる、点線のバウンディングボックスを有する。いくつかの実施形態では、以前に測定されたオブジェクトの表現は、新しいオブジェクトと同じ点線のバウンディングボックスを有する。いくつかの実施形態では、ユーザがデバイス１００を移動して、レチクル５０４が、以前に測定されたオブジェクトの測定値を固定することなく、以前に測定されたオブジェクトの表現の上からはなくなると、以前に測定されたオブジェクトの表現は、デバイスの１つ以上のカメラの視野の中に依然として存在する程度に、少なくともオブジェクトの周辺部で実線により表示される、及び／又は、レチクルが、デバイスにより測定可能な新しいオブジェクトの上に移動するまで、実線のボックス内に表示される。いくつかの実施形態では、拡張現実ビュー５００が、以前に測定されたオブジェクトと新しいオブジェクトの両方の表現を含むとき、以前に測定されたオブジェクトは、新しいオブジェクトの周りに表示されるバウンディングボックスとは異なる点のパターンを有するバウンディングボックスにより、拡張現実ビュー５００内に表示される。いくつかの実施形態では、以前に測定されたオブジェクトは、新しいオブジェクトの周りに表示されるバウンディングボックスと同じ点のパターンを有するバウンディングボックスにより、拡張現実ビュー５００内に表示される。
図５Ｙは、玄関５０２－８が、デバイスの１つ以上の光センサ１６４のビュー内にある、別の向きのポータブル多機能デバイス１００を示し、玄関の表現５０３－８は、拡張現実ビュー５００内に示される。この向きで、窓５０２－９及び犬５０２－１０は、デバイス１００の１つ以上の光センサ１６４のビューの中にある。図５Ｙは、依然として自動測定モードアイコン５０５－１が選択されているポータブル多機能デバイス１００を示す。図５Ｙは、玄関に立っている人の表現５１２もまた示す。人が１つ以上の光センサ１６４のビューの中にいることをデバイスが検出した後で、人は自動的に測定される。いくつかの実施形態では、レチクル（図５Ｙでは示されない）を、人の表現５１２の上に配置することにより、ポータブル多機能デバイス１００を、人の表現５１２の回りのバウンディング線に配置させて、その人が測定可能であることを示す。
いくつかの実施形態では、人５１２がビューの中にいることを自動的に検出するのに応じて、人５１２の高さを示す測定アニメーションが示される。図５Ｚ～図５ＡＢは、人５１２の高さの表現が、どのように拡張現実ビュー５００に追加されるかのアニメーションを示す。図５Ｚは、拡張現実ビュー５００内での、人５１２が立っているフロアにおける測定マーカー５１３を示す。いくつかの実施形態では、測定マーカー５１３が人５１２の頭上に移動すると、対応する測定された距離が表示される。図５ＡＡは、対応する、部分的に測定された高さが表示されている、人５１２の表現のおよそウエストラインに移動する測定マーカー５１３を示す。図５ＡＢは、測定マーカー５１３が人５１２の頭上に移動すると、アニメーションが完了することを示す。アニメーションが完了すると、対応する測定された距離の、拡張現実ビュー５００内での表現は、変化するのを停止する。いくつかの実施形態では、測定マーカー５１３が人５１２の頭上に移動して近づくと、測定アニメーションはより遅いペースで移動する。
図５ＡＣ～５ＡＧは、人の高さ以外の（又はこれに加えての）メトリックが測定される実施形態を描写している。図５ＡＣにおいて、人５１２は、何かがどれほど大きいか（例えば、「魚がこの大きさである」）を述べているかのように、手５１４を離したまま維持している。人５１２は手５１４を離して維持しながら、何かの測定値を表していることを、ポータブル多機能デバイス１００は自動的に検出する。これに応じて、ポータブル多機能デバイス１００は拡張現実ビュー５００に、人５１２の手５１４の間の、第１の測定値（例えば３インチ）を表示させる。
図５ＡＤは、手５１４異なる距離で離して維持している人５１２を示す。結果的に、ポータブル多機能デバイス１００は拡張現実ビュー５００に、人５１２の手５１４の間の、第２の測定値（例えば６インチ）を表示させる。この測定値の変化は、リアルタイムで生じることができる。
図５ＡＥは、人の頭部５１５が、１つ以上の光センサ１６４のビューの中にある、別の向きのポータブル多機能デバイス１００を示す。いくつかの実施形態では、所定の基準（例えば、ユーザの顔からの１つ以上のカメラの距離に関する、又は、人の顔の表現により占められる拡張現実ビュー５００の部分に関する、又は、人の顔の上へのレチクル５０４の配置に関する）が満たされるとき、瞳孔間距離（「ＩＰＤ」）５１６が自動的に、拡張現実ビュー５００に表示される。
図５ＡＦは、人の足５１７が、１つ以上の光センサ１６４のビューの中にある、別の向きのポータブル多機能デバイス１００を示す。いくつかの実施形態では、所定の基準（例えば、ユーザの足５１７からの１つ以上のカメラの距離に関する、又は、人の足の表現により占められる拡張現実ビュー５００の部分に関する、又は、人の足の上へのレチクル５０４の配置に関する）が満たされるとき、足のサイズ（又は靴のサイズ）５１８が拡張現実ビュー５００に表示される。
図５ＡＧは、犬５０２－１０が、１つ以上の光センサ１６４のビューの中にある、別の向きのポータブル多機能デバイス１００を示す。いくつかの実施形態では、所定の基準（例えば、犬からの１つ以上のカメラの距離に関する、又は、犬の表現により占められる拡張現実ビュー５００の部分に関する、又は、犬の表現５０３－１０の上へのレチクル５０４の配置に関する）が満たされるとき、犬５０３－１０の測定値を固定可能であることを、ポータブル多機能デバイス１００は示す。いくつかの実施形態では、自動的に示される測定値は、犬５０３－１０の胸囲５１８、及び／又は、犬５０３－１０の胸部から、尻尾の付け根までの長さ５１９である。任意選択的に、更なる、又はより少ない測定値（例えば、首の外周だけ）を示すことができる。
図５ＡＨ～５ＢＯは、ソファ及びソファの表現、それらの様々な部分、並びに、ソファに関して表示される様々な注釈を描写する一方、ソファは３次元物理的オブジェクトの一例でしかなく、これらの図に関して表示され、描写される様々な特徴は、広範囲の物理的オブジェクトの拡張現実ビューにも等しく適用可能であることが理解されるべきである。図５ＡＨは、ソファ５０２－３が、１つ以上の光センサ１６４のビューの中にある、別の向きのポータブル多機能デバイス１００を示す。図５ＡＨ、５ＡＩ、及び５ＡＪは、レチクル５０４が３次元オブジェクトの上に配置されることをデバイスが検出するときに生じるアニメーションを示す。図５ＡＪは、バウンディングボックス５８９により置き換えられた（又は、外観が変更されてバウンディングボックス５８９になった）、図５ＡＨ及び５ＡＩのレチクル５０４を示す。図５ＡＫは、２地点測定モードアイコン５０５－４の上のタップ入力５２０を示す。図５ＡＬは、２地点測定モードアイコン５０５－４の上のタップ入力５２０に対する応答を示す。図５ＡＬは、２地点測定モードアイコン５０５－４が選択され、レチクル５０４が視覚的に、２地点測定モードレチクル５０４－２に変化して、変化したモードを反映することを示す。
図５ＡＭは、ソファがデバイス１００の１つ以上の光センサ１６４のビュー内にある、ポータブル多機能デバイス１００を示す。いくつかの実施形態では、図５ＡＬから図５ＡＭへの遷移は、２地点測定モードレチクル５０４－２が、拡張現実ビュー５００内のソファの表現５０３－３の外側縁部５２１の上ではなく、この付近に表示されるように、デバイス１００、及び、その１つ以上のカメラの、ソファに近い位置への移動、及びソファの横に斜め移動することにより引き起こされる。図５ＡＮは、ソファの外側縁部５２１にスナップされた２地点測定モードレチクル５０４－２を示す。このスナップは、レチクル５０４－２が、拡張現実ビュー５００内の検出された縁部に対する閾値距離に達するときに生じる。図５ＡＮは、レチクル５０４－２が外側縁部５２１の上にあるとき、本明細書ではガイドとも呼ばれるガイド線（単数又は複数）５２２が、外側縁部５２１に沿って示されていることを示す。
図５ＡＯは、ソファがデバイス１００の１つ以上の光センサ１６４のビュー内にある、ポータブル多機能デバイス１００を示す。更に、２地点測定モードレチクル５０４－２がここでは、ソファの表現５０３－３の外側角部５２３の閾値距離内ではなく、この付近に表示されている。図５ＡＰは、アンカー点の例である、外側角部５２３にスナップされた２地点測定モードレチクル５０４－２を示す。このスナップは、レチクル５０４－２が、拡張現実ビュー５００内の、ソファの検出された角部の閾値距離内に（例えば、デバイス１００の移動及び／又はデバイス１００の向きの変化により）配置されるときに生じる。図５ＡＰは、レチクル５０４－２が、ソファの表示表現の外側角部５２３などのアンカー点の上にあるとき、ガイド又はガイド線５２４が、アンカー点に対応するオブジェクトの縁部、例えば、外側角部５２３に対応するソファの全ての縁部に沿って示されることを示す。角部５２３は、ソファの複数の表面が交わる特徴にも対応し、図５ＡＰに示すガイド５２４は、アンカー点である角部５２３から、これらの表面のそれぞれに垂直な向きに延びるガイドを含むことに注意する。
図５ＡＱは、選択されたときに、点を、２地点測定モードレチクル５０４－２の位置に落とす、測定値固定ユーザインタフェースオブジェクト５０８の上の入力５２５を示す。点を、２地点測定モードレチクル５０４－２の位置に落とすことに応じて、図５ＡＲに示すように、落とされている点の前に、以前に表示されていない追加のガイド（例えば、垂直ガイド５２６－１、水平ガイド５２６－２、及び水平ガイド５２６－３）が、拡張現実ビュー５００内に表示される。図５ＡＲに示す例においては、ガイド５２６用のアンカー点は、ソファの２つの表面（例えば、ソファのアームの上面と、ソファの、不明瞭化した垂直側面）が交わる、ソファの縁部に位置し、図５ＡＲに示すガイド５２６は、アンカー点から、これらの表面のそれぞれに垂直な向きに延びるガイドを含むことに注意する。
図５ＡＳは、水平ガイド５２６－３に沿って移動するレチクル５０４－２を示すが、レチクル５０４－２が、別の幾何学的特徴５６６（例えば、ソファのアームの末端）に達したときには、更なるガイドが表示される。図５ＡＳにおいて、追加の垂直ガイド５６７－１、及び水平ガイド５６７－２が表示される。
図５ＡＴは、（例えば、デバイス１００の移動に応じて）水平ガイド５２６－３に沿って移動するレチクル５０４－２を示し、幾何学的特徴５６６を過ぎたレチクル５０４－２の移動に応じて（図５ＡＳ）、別のガイド（例えば垂直ガイド５６７－１、水平ガイド５６７－２－２）の表示が停止される。更に、レチクル５０４－２が水平ガイド５２６－３に沿って移動を続けると、デバイス１００の対応する移動に応じて、水平ガイド５２６－３は、漸進的に長くなる測定線５２７で重ねられる。
図５ＡＵは、ソファ５０３－３の別の外側縁部５２８をスナップする、測定線５２７及びレチクル５０４－２を示す。いくつかの実施形態では、レチクル５０４－２がソファ５０３－３の別の外側縁部５２８にスナップされると、新しいガイドが表示される。図５ＡＵは、レチクル５０４－２がソファ５０３－３の別の外側縁部５２８の上にある間の、測定値固定ユーザインタフェースオブジェクト５０８における入力５２９も示す。拡張現実ビュー５００内での測定値固定ユーザインタフェースオブジェクト５０８の表示は、測定線５２７線がもう長くはならず、測定が完了して固定することができることを意味している。図５ＡＵはまた、レチクル５０４－２の潜在的な、将来的な配置を補助するためのガイド５６８も示す。図５ＡＶは、測定の完了後、ガイド５６８が依然として表示され、ユーザが次の測定値を配置するのを補助することができることを示す。
図５ＡＷは、表示されている測定５３０を示す。測定値５３０は、測定線５２７線の最終の長さに対応する。図５ＡＷは、ここでは、物理的環境内の測定可能な物理的オブジェクトの表現に重なっていないレチクル５０４－２もまた示し、結果として、ガイドは表示されない。
図５ＡＸは、デバイス１００の１つ以上の光センサ１６４のビュー内にある、ソファの表現５０３－３を含む、ポータブル多機能デバイス１００を示す。更に、２地点測定モードレチクル５０４－２はここで、ソファのあらゆる縁部、又はカウチのクッション５３１から離れた、カウチクッション５３１上に表示される。２地点測定モードレチクル５０４－２が選択されている間、垂直ガイド５３３が表示される。図５ＡＹは、測定リストボタン５０６の上の入力５３４を示す。
図５ＡＺは、測定値リストユーザインタフェースオブジェクト５０６の上の入力５３４への応答の例を示す。簡素化のため、及び、ポータブル多機能デバイス１００のより大きなビューを示すために、図５ＡＺでは、ポータブル多機能デバイス１００の背景における物理的環境５０１を取り除いている。図５ＡＺはユーザインタフェース５９１にて、注釈セッション（例えば、セッションは、アプリケーションが前景で稼働している期間である）の間に取得された、測定値のリストを表示する。測定値ユーザインタフェース５９０の一覧の中には、現在のセッションの間に取得される、測定値のスクロール可能なリストがある。スクロール可能なリストが、同時に表示可能な量を超える測定値を含むとき、取得された測定値のサブセットのみが、同時に表示される。図５ＡＺに示す例において、現在表示されている測定値は、以下の通りである：「直線測定値」ユーザインタフェースオブジェクト５９１－２；「ソファ測定値」ユーザインタフェースオブジェクト５９１－３；「ペット測定値」ユーザインタフェースオブジェクト５９１－４；及び、「手の分離」ユーザインタフェースオブジェクト５９１－５。いくつかの実施形態では、測定値の名称は自動的に生成されて、ユーザインタフェース５９１に含められ、測定されている、検出されたオブジェクトに基づく。例えば、デバイスは、ペット、ソファ、靴、又は他のオブジェクトがいつ測定され、測定値に適宜名前（例えば「犬の測定値」「ソファの測定値」「靴の測定値」、又は「ペットの測定値」）を付けられるかを伝えることができる。いくつかの実施形態では、ユーザインタフェース５９１の各測定値は、どの種類の測定値（例えば、３次元の測定値、２次元の測定値、又は、２次元曲がり測定値など）が取得されたのかを示すアイコンもまた含む。
図５ＢＡは、ユーザインタフェース５９１内の測定値のリスト内に位置する、「ペットの測定値」ユーザインタフェースオブジェクト５９１－４の上の入力５９２を示す。図５ＢＢは、それぞれの測定値リストユーザインタフェースオブジェクト（例えば、「ペットの測定値」ユーザインタフェースオブジェクト５９１－４）の上の入力５９２に応じて表示される、詳細のオブジェクト測定値（例えば、「ペットの測定値」）ユーザインタフェース５９３を示す。「ペットの測定値」ユーザインタフェース５９３は、編集可能な測定値名称セクション５９３－１を含む。測定値の名称を編集するために、編集するユーザインタフェースアイコン５９３－２に入力を行い、測定値の名称を編集することができる。いくつかの実施形態では、測定値は、最初にアイコンをクリックすることなく、編集可能であることができる。図５ＢＢは、測定値（例えば、ペットの測定値）のリスト５９３－３もまた示す。いくつかの実施形態では、測定値ユーザインタフェース５９１のリスト内に以前に表示されていない、追加の測定値が、詳細のオブジェクト測定値ユーザインタフェース５９３内に表示される。この例において、詳細のオブジェクト測定値ユーザインタフェース５９３における、表示される測定値としては、胸部直径；胸部から尻尾、頭の高さ、及び襟のサイズが挙げられる。更に、「リストに戻る」ユーザインタフェースオブジェクト５９３－４が表示され、これが選択されると、図５ＢＡに示すように、以前のユーザインタフェースを表示する。この測定値、及び他の測定値を他人と（例えば、Ｅメール、又はテキストメッセージにより）共有するための、共有ユーザインタフェースオブジェクト５９３－５もまた存在する。最後に、測定値ユーザインタフェース５９１の一覧、又は「ペットの測定値」ユーザインタフェース５９３を閉じるための、出口アイコン５９３－６もまた存在する。
図５ＢＣは、測定値の名称を編集するための、ユーザインタフェースアイコン５９３－２（入力５９４により不明瞭化されている）入力５９４を示す。図５ＢＤは、測定値の名称を編集するためのユーザインタフェースアイコン５９３－２が「完了」ユーザインタフェースオブジェクト５９３－７に変わり、測定値の名称の編集が可能になったことを示すことを示す。図５ＢＥ及び５ＢＦは、「ペットの測定値」から「ローラのサイズ」に再編集されている、編集可能な測定値名称セクション５９３－１を示す。いくつかの実施形態では、再編集は、表示されるユーザインタフェースの少なくとも一部の上で表示される、又は、再度縮尺変更したユーザインタフェース５９３と同時に表示される、仮想キーボード（これらの図では示されない）にて受信される入力に応じて生じる。いくつかの実施形態では、外部キーボードを使用することができる。
図５ＢＦは、「完了」ユーザインタフェースオブジェクト５９３－７にて受信されている入力５９４を示す。「完了」ユーザインタフェースオブジェクト５９３－７にて入力を受信するのに応じて、図５ＢＧに示すように、編集ユーザインタフェースアイコン５９３－２が、「完了」ユーザインタフェースオブジェクト５９３－７に置き換わる。
図５ＢＨ及び５ＢＩは、スワイプジェスチャ５９５－１及び５９５－２（この例では、上向きに移動するスワイプジェスチャ）を示す。スワイプジェスチャ、例えばスワイプジェスチャ５９５－１及び５９５－２に応じて、追加のオプション５９３－８を表示するユーザインタフェース要素が、図５ＢＪに示すように、明瞭化される。得られたユーザインタフェース（一例を図５ＢＪに示す）は、測定値を、写真検視／編集アプリケーション内で検視するための写真として保存するための、「写真に保存」ユーザインタフェースオブジェクト５９３－９；測定値を、ローカル又は遠隔のどちらかでファイルシステムに保管するための、「ファイルに保存」ユーザインタフェースオブジェクト５９３－１０；及び／又は、測定値を（例えばＥメール又はテキストメッセージで）共有するための、「測定値共有」ユーザインタフェースオブジェクト５９３－１１などの、追加のオプション（例えばユーザインタフェースオブジェクト）を含む。
図５ＢＫは、「リストに戻る」ユーザインタフェースオブジェクト５９３－４（入力５９６により、部分的に不明瞭化されている）の上に生じる入力５９６を示す。図５ＢＬは、「リストに戻る」ユーザインタフェースオブジェクト５９３－４の選択に対する応答の一例を示す。図５ＢＬはここで、「ペットの測定値」ユーザインタフェースオブジェクト５９１－４が「ローラのサイズ」に再編集されている、測定値ユーザインタフェース５９１のリストを示す。
図５ＢＭは、測定値ユーザインタフェース５９１の一覧内の、それぞれのユーザインタフェース要素の上の（例えば、「手の分離測定値」ユーザインタフェースオブジェクト５９１－５の上の）、この例では左向きの、スワイプジェスチャを示す。左向きのスワイプ５９７－１を示すものの、任意の他の好適なスワイプ方向もまた使用することができることが、理解されなければならない。いくつかの実施形態では、左向きなどの、所定の向きのスワイプを使用して、それぞれの測定値を検出することができることを示す。図５ＢＮは、左向きに続く、左向きのスワイプ５９７－２を示す。上でスワイプジェスチャが実施されている、それぞれのユーザインタフェースオブジェクト５９１－５が、スワイプに従い左の向き５９７－２に移動すると、削除通知５９８の表示が開始される。いくつかの実施形態では、スワイプされて完全にビューから消えると、削除通知５９８は、それぞれのユーザインタフェースオブジェクト（例えば「手の分離」ユーザインタフェースオブジェクト５９１－５）全体を置き換える。
それぞれのユーザインタフェースオブジェクト（例えば「手の分離」ユーザインタフェースオブジェクト５９１－５）がスワイプされてディスプレイから消えた（例えば、取り除かれた、又は削除された後）、故に、ユーザインタフェース５９１の測定値のリストから削除された後、測定値のリストにおいて、その測定値の下にあった測定値が、削除された（それぞれの）ユーザインタフェースオブジェクトにより以前占有されていた位置に、ここで表示されることを、図５ＢＯは示す。例えば、図５ＢＯは、「手の分離測定」ユーザインタフェースオブジェクト５９１－５の代わりに、「靴のサイズ」ユーザインタフェース要素５９９がここで表示されていることを示す。
図５ＢＰは、測定アプリケーション４４８の編集に応答した、ホーム画面ユーザインタフェースの再表示を示す。
図５ＢＱは、測定アプリケーションを再開するために測定アプリケーションアイコン４４８に向けられる別の入力の、入力５３５を示す。測定アプリケーションを再開した後で、測定アプリケーション４４８のユーザインタフェース５３６が、例えば図５ＢＲに示すように表示される。いくつかの実施形態では、測定アプリケーション４４８を終了することで、場合によっては測定値セッションとも呼ばれる注釈セッションの終了がマークされ、これは転じて、そのセッションがクリアされている間に取得される注釈（例えば測定値）のリストをもたらす。いくつかの実施形態では、測定アプリケーションの再開により、新しい注釈セッションが開始する。
図５ＢＲは、デバイス１００の１つ以上のカメラの視野の中にある、３次元の物理的環境５０１の一部のビューを含む、拡張現実ビュー５００を含む、測定アプリケーション４４８のユーザインタフェース５３６を示す。図５ＢＲに示すように、自動測定モードアイコン５０５－１の上の選択インジケータ５３７により示される通り、測定アプリケーションは自動測定モードで稼働している。
図５ＢＳは、測定アプリケーションの３次元測定モードに対応する３次元測定モードアイコン５０５－２に向けられる、入力５３８を示す。
図５ＢＴは、入力５３８に応じて３次元測定モードで稼働している、測定アプリケーションのユーザインタフェース５３６を示す。いくつかの実施形態では、図５ＢＴに示すように、３次元測定モードでの稼働は、３次元測定モードアイコン５０５－２の上の選択インジケータ５３７により示される。図５ＢＴでも示すように、いくつかの実施形態では、３次元測定モードでの稼働は、図５ＢＴに示すような６つに分けられた外観などの、３次元測定に関連する外観を有するレチクル５０４により示される。
図５ＢＵは、例えば、図５ＢＴに示す位置から、図５ＢＵに示す位置へのデバイスの移動に応答した、図５ＢＴにおいて、物理的環境５０１と比較して異なる位置にあるデバイス１００（例えば、デバイス１００の１つ以上のカメラ）を示す。したがって、ユーザインタフェース５３６に表示される１つ以上のカメラのライブビューは、ここで１つ以上のカメラの視野の中にある物理的環境５０１の部分を反映するように更新されている。図５ＢＵにおいて、注釈配置ユーザインタフェース要素（例えばレチクル５０４、より具体的には、レチクル５０４内の焦点５０４－１）は、テーブル５０２－５の表現５０３－５の一部の上にある。テーブル５０２－５は、デバイス１００の１つ以上のカメラのビューの中に完全にある。
図５ＢＶ～５ＢＸは、デバイス１００により（及び任意選択的に、ユーザインタフェース５３６が、テーブル５０２－５の全て、又は実質的に全ての表現を含む、という判定に従い）測定可能な、テーブル５０２－５などの、３次元オブジェクトの表現の一部の上にレチクル５０４が表示されるように配置されている、デバイス１００の１つ以上のカメラに従い、テーブル５０２－５の３次元測定を開始しているデバイス１００を示す。例えば、図５ＢＶ～５ＢＸは、レチクル５０４が、テーブル５０２－５の表現５０３－５に重なったインジケーション５６５－２（例えば、図５ＢＷに示す、３次元物体の角部におけるマークを含む第１のインジケーション、及び／又は、図５ＢＸに示す、バウンディングボックス５６５－３などの、第２のインジケーション）に変換された、アニメーションの進行を示し、テーブル５０２－５の１つ以上の測定値がデバイス１００により作成可能であることを示す。
図５ＢＹは、例えば、図５ＢＴに示されている位置から、図５ＢＸに示されている位置まで、そして次に、図５ＢＹに示されている位置に移動されているデバイス１００に応じて、図５ＢＴとは、物理的環境５０１に対して異なる位置にあるデバイス１００を示す。例えば、デバイス１００は図５ＢＹにおいて、図５ＢＸにおけるよりも、（デバイス１００により不明瞭化している）テーブル５０２－５の近くにある。したがって、ユーザインタフェース５３６に表示される１つ以上のカメラのライブビューは、ここで１つ以上のカメラの視野の中にある物理的環境５０１の部分を反映するように更新されている。図５ＢＹにおいて、デバイス１００が図５ＢＸに示す位置にあるときよりも、テーブル５０２－５は、１つ以上のカメラの視野の中にある部分が少ない。いくつかの実施形態では、測定アプリケーションは、テーブル５０３－５の部分表現の一部の上に表示されているレチクル５０４に従い、２次元測定モードに自動的に遷移し、ここで、部分表現５０３－５は、少なくとも閾値量の、テーブルの第３の寸法のビューを含むことなく、少なくとも閾値量のテーブル５０２－５の２次元表面（例えばテーブルトップ）のビューを含む。
図５ＢＺ及び５ＣＡは、テーブル５０２－５に対して、図５ＢＹと同様の距離にあり、レチクル５０４（例えば、より具体的には、図５ＣＡに示すように、レチクル５０４の焦点５０４－１）が、テーブル５０２－５上に位置する雑誌５０２－７の（デバイス１００により不明瞭化された）表現５０３－７の一部の上にあるように、わずかに右側に移動したデバイス１００を示す。雑誌５０２－７は、デバイス１００の１つ以上のカメラのビュー内に完全にある。
図５ＣＡは、焦点５０４－１を含むレチクル５０４が、デバイス１００により測定可能な２次元の特徴、例えば雑誌５０２－７の表現の一部の上に表示されるように位置しているデバイス１００の１つ以上のカメラに従うと（及び任意選択的に、ユーザインタフェース５３６が、２次元の特徴の全て又は実質的に全ての表現を含む、という判定に従うと）、例えば、２次元測定モードアイコン５０５－３の上の選択インジケータ５３７により、及び別の例として、図５ＣＡに示す、４つにセグメント化された外観などの、２次元測定に関連する外観を有するレチクル５０４により示されるように、測定アプリケーションは（例えば、図５ＢＺに示す３次元測定モードから）２次元測定モードに遷移していることを示す。雑誌５０２－７は物理的環境５０１では３次元オブジェクトであるものの、雑誌５０２－７は十分に薄く、雑誌５０２－７のページの２次元領域が、雑誌５０２－７の測定値の３次元集合よりも、デバイス１００のユーザが関心のある可能性が高いということに注意する。したがって、いくつかの実施形態では、雑誌５０２－７などの薄い３次元オブジェクトはデバイス１００により、３次元オブジェクトではなく２次元特徴であるとみなされる。
図５ＣＡ～５ＣＤは、レチクル５０４が雑誌の表現５０３－７の一部の上に表示されるように配置されている、デバイス１００の１つ以上のカメラに従い、雑誌５０２－７の２次元測定値の作成を開始しているデバイス１００を示す。例えば、図５ＣＢ～５ＣＤは、レチクル５０４が、雑誌５０２－７の表現５０３－７に重なった（例えば、図５ＣＣでインジケーション５６５－４により、及び図５ＣＤでインジケーション５６５－５により示される）インジケーションに変形したアニメーションの進行を示し、雑誌５０２－７の１つ以上の測定値がデバイス１００により作成可能であることを示す。
図５ＣＥは、測定アプリケーションの１次元測定モードに対応する２地点（例えば１次元）測定モードアイコン５０５－４に向けられる入力５３９を示す。
入力５３９に応じて、測定アプリケーションは１次元測定モードに遷移する。したがって、図５ＣＦにおいて、選択インジケータ５３７は２地点測定モードアイコン５０５－４の上に表示される。図５ＣＦは、入力５３９に応答した、測定アプリケーションのユーザインタフェース５５２の遷移もまた示す。いくつかの実施形態によれば、対応するアイコンを選択することによる、測定モードの手動選択に応じて、測定アプリケーションがある測定モード（例えば、手動選択が受信されているときに測定アプリケーションが稼働する測定モード）から、別の測定モード（例えば、選択された測定モード）に遷移している間に、アニメーション化された遷移が表示される。いくつかの実施形態では、測定モード間でのアニメーション化された遷移は、測定モードが自動的に遷移している間に表示されない（例えば、図５ＢＺの３次元測定モードから図５ＣＡの２次元測定モードに自動遷移している間に、アニメーション化された遷移は表示されなかった）。いくつかの実施形態では、表示された遷移は、ユーザインタフェース５３６の１つ以上の部分のぼやけを含む。図５ＣＦにおける具体的な例において、表示された遷移は、（例えば、任意選択的に、測定アプリケーションの制御のぼやけ及び／又はボケを有さない）デバイス１００の１つ以上のカメラの視野の表現の、ぼやけ及び／又はボケを含む。更に、いくつかの実施形態において、図５ＣＢにおける例示的な遷移におけるように、レチクル５０４は、手動で選択された測定モードへの遷移の間に、表示されるのを停止する。
図５ＣＧは、１次元測定モードで稼働している測定アプリケーションの、ユーザインタフェース５３６を示す。したがって、レチクル５０４は、図５ＣＧに示す、２つにセグメント化された外観のような、１次元（例えば２地点）測定と関連した外観を伴い、表示される。
図５ＣＨは、例えば、図５ＣＧに示す場所から図５ＣＨに示す位置への、デバイス１００の移動により、物理的環境５０１に対して、図５ＣＧとは異なる位置にあるデバイス１００を示す。したがって、ユーザインタフェース５３６に表示される１つ以上のカメラのライブビューは、ここで１つ以上のカメラの視野の中にある物理的環境５０１の部分を反映するように更新されている。図５ＣＨにおいて、デバイス１００は、レチクル５０４（例えば、より具体的にはレチクル５０４の焦点５０４－１）が、ランプ５０２－６の表現５０３－６のある箇所の上にあるように配置される。
図５ＣＩは、注釈作成ボタン５０８に向けられ、測定値注釈の作成を開始するための入力５４０を示し、レチクル５０４の焦点５０４－１の現在位置は、１次元測定用の始点を示す。図５ＣＨに示す例において、始点は、ランプ５４１の足元における、物理的環境５０１の位置である。
図５ＣＪは、ユーザインタフェース５３６内で、図５ＣＩを参照して記載されているように、始点から延び、かつ、レチクル５０４の焦点５０４－１に対応する物理的環境５０１内の現在点に延びる、測定値の表現５４６である、注釈（例えば測定注釈）を追加することを示す。測定値の表現５４６は、測定値セグメント５４７、及びラベル５４８を含む。測定値セグメント５４７は、測定が依然として進行している（例えば、１次元測定の終点がまだ特定されていない）ことを示す外観（例えば破線）を有して表示される。ラベル５４８は、測定値の現在の長さ（例えば、物理的環境５０１内での始点と現在点との距離）を示す。
図５ＣＫは、注釈作成ボタン５０８に向けられ、測定値注釈の作成を終了する、又は完結するための入力５４０を示し、レチクル５０４の焦点５０１－４は、図５ＣＨで開始され、図５ＣＪで進行していた１次元測定の終点を特定している。 図５ＣＫに示す例において、終点は、ランプ５４１の上部における、物理的環境５０１内の位置である。
図５ＣＬは、測定セグメント５４３が、測定が終了したことを示す外観（例えば、塗りつぶされた外観）を有して表示されているのに従い、レチクル５０４の焦点５０１－４が、測定のための終点を特定している間に入力５４０に応答した、測定値の完成した表現５４２を示す。
図５ＣＭは、測定リストボタン５０６に向けられた入力５４４を示す。
図５ＣＮでは、簡素化のため、及び、デバイス１００のより大きなビューを示すため、デバイス１００の背景の物理的環境５０１は除いている。図５ＣＮにおいて、入力５４４に応じて、デバイス１００は測定値リストユーザインタフェース５４５を表示する。図５ＣＮに示す例において、測定値リストユーザインタフェース５４５は、測定アプリケーション、及び／又は１つ以上のカメラのライブビュー用の制御（例えば、モードインジケーションユーザインタフェース５０５、測定リストボタン５０６、アンドゥユーザインタフェースオブジェクト５０７、測定値固定ユーザインタフェースオブジェクト５０８、及び記録ユーザインタフェースオブジェクト５５０）などのユーザインタフェース５３６の、１つ以上の他の部分と同時に、測定アプリケーションのユーザインタフェース５３６の一部の上に表示されている。図５ＢＱを参照して、本明細書に記載した測定アプリケーションを再開するため、図５ＣＮにおける測定値リストユーザインタフェース５４５は、現在の測定セッションの間に作成された測定値のみをリスト化している。したがって、図５ＣＮの測定値リストユーザインタフェース５４５は、直線測定値５４３（５ＣＪ～５ＣＬを参照して記載）を含む。図５ＣＮの測定値リストユーザインタフェース５３６は、以前に終了した（例えば、図５ＢＰ及び５ＢＱを参照して記載されている）以前の測定セッションの間に作成された、図５Ａ～５ＢＯを参照して記載した測定値のいずれもを含まない。
図６Ａ～６Ｙは、非直線表面（例えば曲面）を測定し、いくつかの実施形態に係る、以前にキャプチャしたメディア項目からの測定値情報を取り出すための例示的なユーザインタフェースを示す。
図６Ａは、自動測定モードアイコン６０５－１の入力６５０による選択を示す。自動測定モードアイコン６０５－１は、選択されたときに、ポータブル多機能デバイス１００が、レチクルが重なっている表面又はオブジェクト（例えば、３次元オブジェクト、２次元表面など）を自動的に検出させるようにすることができ、その判定に基づき、デバイスは、表面又はオブジェクトが測定可能であるということを自動的に示すことができる。３次元測定モードアイコン６０５－２、２次元表面測定モードアイコン６０５－３、及び２地点測定モードアイコン６０５－４は、選択されたときに、ユーザが、それぞれ、３次元（例えば長さ、幅、及び高さ）、２次元（例えば、長さ、幅、若しくは高さのいずれかから選択される２次元）、又は、ある点から別の点（例えば、テーブルの縁部の長さ）のいずれかにおいて、測定することができるようになる。いくつかの実施形態では、フロアプラン測定モードアイコン６０５－５も存在し、これは選択されたときに、ユーザが、３次元の物理的環境６０１をスキャンしてフロアプラン（例えば鳥瞰図）を作成することができるようになる。いくつかの実施形態では、これらのモードアイコンのいずれかの組み合わせを表示することができる。例えば、いくつかの実施形態では、自動モード及びフロアプランモードのみを表示することができる。いくつかの実施形態では、曲面モードなどの、更なるモードアイコンを追加することができる。
図６Ｂは、自動測定モードアイコン６０５－１が検出された後での、デバイス操作のいくつかの態様を示す。図６Ｂは、ポータブル多機能デバイス１００が、拡張現実ビュー６００を表示していることを示す。拡張現実ビュー６００は、１つ以上の光センサ１６４の視野の中にある、３次元の物理的環境６０１に基づいて作成される。この拡張現実ビュー６００を使用して、注釈（例えば測定値、バウンディングボックスなど）を、３次元の物理的環境６０１にて見出されるオブジェクト上、又はその付近に表示する。
図６Ｂは、３次元の物理的環境６０１が、テレビスタンド６０２－１、テレビ（及び／又は、任意の他の種類のディスプレイ）６０２－２、ソファ６０２－３、枕６０２－４、テーブル６０２－５、ランプ６０２－６、並びに雑誌６０２－７などの、複数の項目を含むこともまた示す。拡張現実ビュー６００は、３次元の物理的環境６０１に表示される複数の項目の、対応する表現を含む。この例において、複数の項目の対応する表現としては、テレビスタンド６０３－１、テレビ６０３－２、ソファ６０３－３、枕６０３－４、テーブル６０３－５、ランプ６０３－６、及び雑誌６０３－７の表現が挙げられる。ポータブル多機能デバイス１００上に示される拡張現実ビュー６００は、拡張現実ビュー６００に重なる、複数のユーザインタフェースオブジェクトを有する。これらのユーザインタフェースオブジェクトを使用して、拡張現実で表示されているものを制御する、及びまた、ユーザが、３次元の物理的環境６０１に示されるオブジェクトの測定値（例えばメトリック）を取り込み、重ね合わせるのを補助する。いくつかの実施形態では、ユーザインタフェースオブジェクトの１つは、測定値が、挿入された（例えば落とされた）場合に開始する場所をユーザに示す、注釈配置ユーザインタフェース（例えばレチクル６０４）である。
具体的には、図６Ｂは、２地点測定モードアイコン６０５－４がここでは選択されず、選択インジケータ６３５がここでは自動測定モードアイコン６０５－１の上にあることを示す。いくつかの実施形態では、レチクル６０４は、どのモードをユーザが選択したかに応じて視覚的に変化し、ユーザに、どのモードが現在使用されているかを示す。図６Ｂは、３次元空間に表面が続く、ソファのクッションの表面６３８に一致した、部分的に曲線状のガイド６３６もまた示す。
図６Ｃは、自動測定モードアイコン６０５－１が選択されている間の、測定値固定ユーザインタフェースオブジェクト６０８上の入力６４０を示す。
図６Ｄは、測定値固定ユーザインタフェースオブジェクト６０８上の入力６４０への応答を示す。測定値固定ユーザインタフェースオブジェクト６０８上の入力６４０に応じて、ソファのクッションの表面６３８に一致した、部分的に曲線状のガイド６３６は、完全に曲線状のガイド６４２で置き換えられる。この曲線状のガイド６４２は、曲線状のガイド６４２が、ある点から別の点への距離を測定するための、まっすぐな（例えば直線）ガイド線とは対象的に、ソファの表面の局面に一致した表面を覆いながら、ソファの曲面に沿って測定を行うのに好適である（例えば、物理的表面の不規則な形状を考慮に入れる局面の測定値は、直線の２地点測定値よりも長くなる）。
図６Ｅは、図６Ｄの垂直面又は平面から、図６Ｅの水平表面又は平面まで移動する、完全に曲線状のガイド６４２に沿って移動するレチクル６０４を示す。更に、チェックマーク６４４－１はまた、任意選択的に、曲線状のガイド６４２の少なくとも一部に沿って表示される。また、任意選択的に、ライブ測定値読出し６４６もまた表示して、ガイド６４２の始点から、レチクル６０４の電流までの距離を示すことができる。
図６Ｆは、完全に曲線状のガイド６４２に沿って移動を続けるレチクル６０４を示し、チェックマーク６４４－２が、ガイドの始点と、レチクルの焦点５０４－１の現在の位置との間で、曲線状のガイド６４２の一部に沿って表示される。また、任意選択的に、ライブ測定値読出し６４７もまた表示して、ガイド６４２の始点から、レチクル６０４の電流までの距離を示すことができる。
図６Ｇは、測定値固定ユーザインタフェースオブジェクト６０８上の入力６４０を示す。このような入力は、測定が完了していることを示す。図６Ｈは、測定値固定ユーザインタフェースオブジェクト６０８上の入力６４０への応答を示す。具体的には、図６Ｈは、場合によっては「完了した測定値」とも呼ばれる、固定測定値６４８を示す。
図６Ｉ～６Ｙは、保存されたメディア項目（例えば写真、動画など）の中で、測定値をどのように確認可能かを示す。図６Ｉは、写真アプリケーションアイコン４２８を含む、ホーム画面に戻るデバイス１００を示す。
図６Ｊは、メディアアプリケーションアイコン４２８上の入力６５１を示す。図６Ｋは、メディアアプリケーションアイコン上の入力６５１に応じて、写真アプリケーションユーザインタフェース６５３がデバイス１００上に表示されることを示す。メディアアプリケーションユーザインタフェース６５３内で、第１のメディア項目６５５－１が選択され、拡張ビューで表示される。更に、サムネイルスクラバーバー６５７が、第１のメディア項目６５５－１の下に表示される。スクラバーバー６５７を使用して、メディア項目のサムネイル画像（例えば、第１のメディア項目サムネイル６５６－１、第２のメディア項目サムネイル６５６－２、第３のメディア項目サムネイル６５６－３、及び第４のメディア項目サムネイル６５６－４）を表示する。これらのサムネイル画像はそれぞれ、第１のメディア項目６５５－１、第２のメディア項目６５５－２（図６Ｑを参照のこと）、第３のメディア項目６５５－３（図６Ｔを参照のこと）、及び第４のメディア項目６５５－４（図６Ｘを参照のこと）に対応する。これらのサムネイル画像のそれぞれ１つは、選択された際に、デバイス１００に、選択されたメディア項目を拡張ビューで表示させる。
図６Ｋは、ユーザインタフェース６５３と双方向作用させるための、複数のユーザインタフェースオブジェクトもまた示す。まず、メディア項目を共有するために、共有ボタン６５８が表示される。次にディスプレイ測定ボタン６６０が表示され、これは選択された際に、拡張されたメディア項目に対して利用可能な全ての測定値を表示する。次に、ユーザが好むメディア項目を選択するための、イイネボタン６６０が表示される。次に、削除アイコン６６２が表示され、選択された際に、ビュー内のメディア（例えば、拡張されたメディア項目）を削除させる。
図６Ｋは、第１のメディア項目６５５－１内で、テレビスタンド６０３－１の部分表示が示され、ソファ６０３－３は完全に見え、テーブル６０３－５は部分的に表示され、ランプ６０３－６は完全に見え、雑誌６０３－７もまた完全に見えることもまた示す。
図６Ｌは、測定ボタン６６０上の入力６６６を示す。図６Ｍは、入力６６６の受信に応じて、（１）測定ボタン６６０が選択された（アクティベートされた）状態で表示され、（２）第１のメディア項目６５５－１が、利用可能な全ての測定値、例えば、第１のメディア項目により表される物理的環境の一部における物理的特徴などの、深度情報といった情報を含む、第１のメディア項目に基づく測定値に重なっていることを示す。いくつかの実施形態では、測定ボタン６６０を、トグル切り替えにより、利用可能な測定値を表示するか、又は隠すかのいずれかを行うことができる。具体的には、測定ボタン６６０はここで、選択インジケータ６７０により囲まれている。第１のメディア項目に対して利用可能な測定値としては、ソファの測定値６７２が挙げられる。
図６Ｎは、追加の測定値をもたらすための、テーブル６０３－５上の入力６７４を示す。図６Ｏは、入力６７４に応じて、メディアアプリケーションユーザインタフェース６５３内で更なる測定値が示されないことを示す。いくつかの実施形態では、測定ボタン６６０が選択されるときに全ての測定値が表示されるため、更なる測定値は、入力６７４に応じて表示されない。
図６Ｐは、拡張状態で第２のメディア項目６５５－２をもたらすための、第２のメディア項目サムネイル６５６－２上の入力６７６を示す。図６Ｑは、第１のメディア項目６５５－１の表示を置き換える、第２のメディア項目６５５－２を示す。更に、測定ボタン６６０は、別のメディア項目が表示されると非アクティブ化される。いくつかの実施形態では、任意選択的に、測定ボタン６６０は、メディア項目を通して変化するときに、持続的にアクティブ化されることができる（例えば、それぞれのメディア項目が選択されるときに、利用可能な測定値が自動的に表示される）。図６Ｑは、第２のメディア項目６５５－２にて測定値を表示させるための、測定ボタン６６０上の入力６７８もまた示す。第２のメディア項目６５５－２は、第１のメディア項目６５５－１と同じ物理的環境の異なる部分に対応するメディア項目である。第２のメディア項目６５５－２は、ソファ６０３－３の部分表示、並びに、テーブル６０３－５、ランプ６０３－６、及び雑誌６０３－７の完全ビューを含む。図６Ｑは、スクラバーバー６５７が、図６Ｋ～６Ｐ内の位置からスクロールされて、第２のメディア項目サムネイル６５６－２が選択されていることを示していることもまた示す。
図６Ｒは、入力６７８に応じて、第２のメディア項目６５５－２内で利用可能な測定値が表示されることを示す。この第２のメディア項目６５５－２において、メディア項目は、テーブル６０３－５及びランプ６０３－６のみの測定値６８０を判定するのに十分な、深度情報などの情報を含む。図６Ｒは、測定ボタン６６０がここでは選択インジケータ６７０により囲まれていることもまた示す。
図６Ｓは、拡張状態で第３のメディア項目６５５－３をもたらすための、第３のメディア項目サムネイル６５６－３上の入力６８２を示す。図６Ｔは、第２のメディア項目６５５－２の表示を置き換える、第３のメディア項目６５５－３を示す。更に、測定ボタン６６０は、別のメディア項目が表示されると非アクティブ化される。いくつかの実施形態では、任意選択的に、測定ボタン６６０は、メディア項目を通して変化するときに、持続的にアクティブ化されることができる（例えば、それぞれのメディア項目が選択されるときに、利用可能な測定値が自動的に表示される）。第３のメディア項目６５５－３は、第１のメディア項目６５５－１及び第２のメディア項目６５５－２と同じ物理的環境の別の部分の、メディア項目である。第３のメディア項目６５５－３は、テーブル６０３－５の部分表示を含み、第１のメディア項目６５５－１及び第２のメディア項目６５５－２で示される他のオブジェクトを含まない。図６Ｔは、スクラバーバー６５７が新しい位置までスクロールされ、第３のメディア項目サムネイル６５６－３が選択されていることを示していることもまた示す。
図６Ｕは、第３のメディア項目６５５－２にて測定値を表示させるための、測定ボタン６６０上の入力６８４もまた示す。 図６Ｖは、入力６８４に応じて、利用可能な測定値が表示されることを示す。第３のメディア項目６５５－３は、テーブル６０３－５の測定値６８６が、入力６８４に応じて判定及び表示されることを可能にする、テーブル６０３－５の一部のみの測定値を判定するのに十分な、深度情報などの情報を含む。図６Ｖは、測定ボタン６６０がここでは選択インジケータ６７０により囲まれていることもまた示す。
図６Ｗは、拡張状態で第４のメディア項目６５５－４をもたらすための、第４のメディア項目サムネイル６５６－４上の入力６８８を示す。図６Ｘは、第３のメディア項目６５５－３の表示を置き換える第４のメディア項目６５５－４を示す。第４のメディア項目６５５－４は、第１のメディア項目６５５－１、第２のメディア項目６５５－２、及び第３のメディア項目６５５－３の物理的環境とは異なる物理的環境の、メディア項目である。第４のメディア項目６５５－４は、建物６９２の表示を含む。
図６Ｙは、入力６９０に応じて、利用可能な測定値が表示されることを示す。この第４のメディア項目６５５－４において、建物６９２の物理的特徴に関する、深度情報などの情報が記録され、測定値６９４の判定及び表示が可能となる。図６Ｙは、測定ボタン６６０がここでは選択インジケータ６７０により囲まれていることもまた示す。
図７Ａ～７ＡＴは、いくつかの実施形態に係る、環境をスキャン及びモデリングし、生成したその略図と双方向作用させるための、例示的なユーザインタフェースを示す。
図７Ａは、図５ＣＧからの例示的な遷移を示す。特に、２地点測定モードアイコン５０５－４の上に表示される（例えば、輪郭が描かれる）選択インジケータ５３７により示されるように、測定アプリケーションが１次元測定モードで稼働している間の、図７Ａは、測定アプリケーションのユーザインタフェース７００を示す。図７Ａは、デバイス１００の１つ以上のカメラのライブビューに対応する（例えば、及び測定アプリケーションの制御のいずれにも対応しない）、ユーザインタフェース７００の位置における入力７０２（例えばスワイプジェスチャ）もまた示す。
入力７０２（図７Ａ）に応じて、測定アプリケーションは、モードインジケーションユーザインタフェース７０５にて次の測定モードに遷移する。図７Ａに示す例において、２地点測定モードの後の次の測定モードは、フロアプランモデリングモードアイコン５０５－５により表現される、フロアプランモデリングモード（本明細書では「フロアプラン測定モード」とも呼ばれる）である。したがって、図７Ｂは、フロアプランモデリングモードアイコン５０５－５の上に表示された選択インジケータ５３７を示す。更に、いくつかの実施形態において、フロアプラン測定モードは、アクティベートされたときに、環境スキャンをトグルにより切り替える、スキャン開始／停止ボタン７０４を含む（例えば、スキャンが進行していない間、スキャン開始／停止ボタン７０４は、スキャンを開始するためのスキャン開始ボタンとして表示され、スキャンが進行している間、スキャン開始／停止ボタン７０４は、スキャンを終了するためのスキャン停止ボタンとして表示される）。
図７Ｂは、アニメーション化された遷移が表示され、ある測定モードから別の測定モードに測定アプリケーションを遷移させる（例えば、遷移中の）いくつかの実施形態に係る、（例えば、１つ以上のカメラの視野の中で検出されるオブジェクトに自動的に基づくのではなく、ユーザ入力に応答した）ユーザインタフェース７００の例示的な遷移もまた示す。図７Ｂの例において、表示された遷移は、図５ＣＦを参照して本明細書で記載されるような、デバイス１００の１つ以上のカメラのライブビューを一時的に（例えば、１秒未満、又は２秒未満の時間周期の間）ぼやけさせる、かつ／又はぼかすことを含む。
図７Ｃ～７Ｄは、測定アプリケーションがフロアプランモデリングモードに遷移する際の、フロアプランモデリングに関連する外観に対する１次元測定（図７Ａ）と関連した外観からの、レチクル７０６の遷移を示す。図７Ｃに示す例において、レチクル７０６は、セグメントが７０６の中心から外側に向かって移動している、４つのセグメント化された外観に変化しており、図７Ｄに示す例において、レチクル７０６の４つのセグメントは、長方形又は矩形の角の外に移動している。
図７Ｄ～７Ｇは、ユーザが、回りの物理的環境を移動させている間に、物理的環境をスキャンして、物理的環境のフロアプラン７０８を漸進的にマップアウトするプロセスを示す、例示的なレチクルのアニメーションを示す。いくつかの実施形態では、レチクルのアニメーションは、物理的環境をスキャンする前に、測定アプリケーションからフロアプランモデリングモードに遷移する際に表示される。いくつかの実施形態では、レチクルのアニメーションは繰り返しループする（例えば、図７Ｄ、図７Ｅ、及び図７Ｆに示すように、レチクルのアニメーションが全て再生された後で、レチクルのアニメーションは、図７Ｇに示すように、最初から再始動する）。いくつかの実施形態では、測定アプリケーションがフロアプランモデリングモードにある間に、かつ、物理的環境のスキャンが進行していないときはいつでも、レチクルのアニメーションは再生される。（例えば、レチクルのアニメーションは、物理的環境のスキャンが終了した後、かつ、後続の、物理的環境のスキャンが開始する前に、リプレイされる）いくつかの実施形態では、ユーザに、物理的環境の移動を促す命令（例えば、物理的環境の表現の回りを移動するユーザの表現のアニメーション）が表示される。
図７Ｇは、物理的環境７０１のスキャンを開始させるようにスキャン開始ボタン７０４－１を指令する入力７１０を示す。
入力７１０（図７Ｇ）に応じて、物理的環境７０１をスキャンして、使用してフロアプランを生成可能な、物理的環境７０１を示す情報（例えば深さ、又は他のトポロジー情報）をキャプチャすることが開始される。図７Ｈにおいて、スキャンされた（例えば、情報がキャプチャされた）物理的環境７０１の一部は、ユーザインタフェース７００内の１つ以上のカメラの視野の表現上に表示される重ね合わせ７１２により、示される。重ね合わせ７１２は、スキャンされた物理的環境７０１の一部（単数又は複数）の、一人称斜視図を提供する。更に、差し込み７１４は、スキャンされた物理的環境７０１の一部（単数又は複数）の、異なるビュー（例えば俯瞰図）を提供するマップ７１６を含む。マップ７１６は任意選択的に、マップ７１６に対する、及びそれ故、物理的環境７０１に対する、デバイス１００の１つ以上のカメラの、現在のカメラ位置７１８及び／又は現在のカメラ視野７２０を示す。更に、図７Ｈに示すように、いくつかの実施形態では、テレビ５０２－２及びテレビスタンド５０２－１などの、物理的環境７０１内の大きなオブジェクト（例えば、これらのオブジェクトの縁部）は、ユーザインタフェース７００の重ね合わせ７１２内で、視覚的に強調されて（例えばハイライトされて）いる。
図７Ｉは、デバイス１００（例えば、デバイス１００の１つ以上のカメラ）が、物理的環境７０１に対して移動する（例えば、テレビ５０２－２に面する状態から、方向を変えてソファ５０２－３に面する）際の、図７Ｈからの遷移を示す。デバイス１００が移動すると、デバイス１００は、ユーザインタフェース７００の重ね合わせ７１２の拡張により示されるように、そして、いくつかの実施形態では、差し込み７１４内のマップ７２２を更新して、物理的環境７０１の、更にキャプチャされた部分の表現を含むことに反映されるように、物理的環境７０１の追加の部分を示す情報をキャプチャする。例えば、ソファ５０２－３（例えば、ソファ５０２－３の縁部）は、ユーザインタフェース７００の重ね合わせ７１２内で視覚的に強調される。テレビ５０２－２及びテレビスタンド５０２－１の縁部もまた、視覚的に強調されるが、この例では、ソファ５０２－３よりも弱い程度に強調され、これらの物理的特徴がデバイスによりまずキャプチャされたために、経時的に薄れる。最初は、図７Ｈにおいてテレビ５０２－２及びテレビスタンド５０２－１と同程度の視覚的強調を伴って表示されていた、ソファ５０２－３の視覚的強調もまた、図７Ｋ～７Ｌにおいて示すように、経時的に薄れる。更に、図７Ｉに示す例において、マップ７２２は、物理的環境７０１内でのデバイス１００の水平移動及び回転に従い、差し込み７１４内で並進運動及び回転をして、カメラの場所７１８及びカメラの視野７２０が、差し込み７１４に対して静止したままとなる。
図７Ｊは、図７Ｈからの代替遷移を示す。図７Ｉとは対象的に、図７Ｊでのマップ７１６は、差し込み７１４内で回転しない。代わりに、マップ７１６は、図７Ｈと同じ向きで図７Ｊの差し込み７１４内で表示され、カメラの向き７１８及びカメラの視野７２０がマップ７１６に対して、故に差し込み７１４に対して変化し、物理的環境７０１内でのデバイス１００の水平移動及び回転を反映する。
図７Ｋは、ボール７２４による、図７Ｈ又は７Ｊにおける１つ以上のカメラの視野からの、１つ以上のカメラの視野の変化を示し、物理的環境７０１、及び１つ以上のカメラの視野に入る物理的オブジェクト（例えばボール７２４）を通して移動し、デバイス１００のユーザインタフェース７００に表示される１つ以上のカメラのライブビューにて反映される。
図７Ｌは、物理的環境７０１での物理的オブジェクト（例えばボール７２４）の移動の検出に応じて、デバイス１００が、スキャン中にユーザに物理的環境７０１でオブジェクトを移動しないように指示するアラート７２６（例えば「室内でものを動かさないで下さい」）を表示することを示す。デバイスによる物理的環境のスキャン中に物理的環境を移動するオブジェクトは、物理的環境についての情報の正確なキャプチャを妨げ、加えて、特にオブジェクトが素早く移動している際に、オブジェクトそのものをスキャンするのが困難であり、それ故に、正確なフロアプラン生成を妨げる。
図７Ｍは、物理的環境７０１、例えば、図７Ｌにおける遷移での、デバイス１００の連続した移動の結果、及び、ユーザインタフェース７００内での重ね合わせ７１２の更なる拡張、及び、差し込み７１４内でのマップ７１６の更なる更新を含む、物理的環境７０１の更なる部分に関する情報のキャプチャを示す。図７Ｍは、ユーザインタフェース７００の重ね合わせ７１２内で視覚的に強調されたテーブル５０２－５の縁部もまた示す。視覚的強調は、図７Ｎに示すように、経時的に減少する。
図７Ｍにおいて、デバイス１００の１つ以上のカメラの視野の中にある物理的環境７０１の部分は、鏡７２８を含む。図７Ｎにおいて、１つ以上のカメラの視野が鏡を含むという判定に従い（例えば、１つ以上のカメラの視野の表現が鏡の表現を含む、という判定に従い）、デバイス１００は、１つ以上のカメラ（例えば、デバイス１００の表示の中心点又は領域に対応する、１つ以上のカメラの焦点）を、スキャン中に物理的環境内で鏡に対して向けないようにユーザに指示するアラート７３０（例えば、「鏡に向けないで下さい」）を表示する。
図７Ｏは、物理的環境７０１、例えば、図７Ｍにおける遷移での、デバイス１００の連続した移動の結果、及び、ユーザインタフェース７００内での重ね合わせ７１２の更なる拡張、及び、差し込み７１４内でのマップ７１６の更なる更新を含む、物理的環境７０１の更なる部分に関する情報のキャプチャを示す。
図７Ｐは、物理的環境７０１、例えば、図７Ｏにおける遷移での、デバイス１００の連続した移動の結果、及び、ユーザインタフェース７００内での重ね合わせ７１２の更なる拡張、及び、差し込み７１４内でのマップ７１６の更なる更新を含む、物理的環境７０１の更なる部分に関する情報のキャプチャを示す。デバイス１００（例えばデバイス１００の１つ以上のカメラ）があまりに速く移動して、デバイスによる、物理的環境７０１についての正確な情報のキャプチャができない、という判定に従い、デバイス１００は、デバイス１００の移動を遅くし、物理的環境７０１についての情報をデバイス１００時間がキャプチャできるようにユーザに指示するアラート７３２（例えば「速度を遅くして下さい」）を表示する。
図７Ｑは、物理的環境７０１、例えば、図７Ｐにおける遷移での、デバイス１００の連続した、そして遅くなった移動の結果、及び、ユーザインタフェース７００内での重ね合わせ７１２の更なる拡張、及び、差し込み７１４内でのマップ７１６の更なる更新を含む、物理的環境７０１の更なる部分に関する情報のキャプチャを示す。
図７Ｒにおいて、デバイス１００は、例えば、図７Ｏと図７Ｐとの間における、マップ７１６の欠落部分７３６により示されるように、あまりに速く移動している１つ以上のカメラが原因で、１つ以上のカメラが、情報が完全にキャプチャされなかった物理的環境７０１の部分を過ぎて移動したという判定に従い、アラート７３４（例えば「戻って、欠落しているスポットをスキャンして下さい」）を表示する。
図７Ｓは、アラート７３４（図７Ｒ）に応じて、デバイス１００はユーザにより移動され、カメラの向き７１８により示される、図７Ｏのデバイス１００の位置と、図７Ｐのデバイス１００の位置との間の物理的環境７０１の位置に戻り、物理的環境７０１の欠落した部分についての情報のキャプチャを再度試みることを示す。図７Ｐ～７Ｒにおいて、物理的環境７０１の情報は少なくとも部分的に欠落していたものの、重ね合わせ７１２は連続した領域として表示されることに注意する。すなわち、いくつかの実施形態では、アラート７３４などのアラートは、重ね合わせ７１２内の穴又は隙間を表示して、欠落した情報の領域を示す代わりに、ユーザに、物理的環境７０１の欠落した部分を再スキャンするよう指示するために提供される。
図７Ｓにおいて、デバイス１００の１つ以上のカメラのフィールド内にある物理的環境７０１の部分は、デバイス１００（例えばその１つ以上のカメラ）が現在位置している、現在の部屋の出口を含む。いくつかの実施形態では、デバイス１００はユーザに、デバイス１００が現在配置されている部屋（例えば、ユーザがデバイス１００を把持している部屋）と、隣接する部屋との間の入口をマークさせる。隣接する部屋の間にある入口をユーザがマークすることができる例示的なメカニズムを図７Ｔに示す。ここでは、デバイス１００はユーザに、ユーザが、物理的環境７０１内の現在の部屋から、戸口７４０を通って別の部屋に移動するのか否かを示すように要請するプロンプト７３８を表示する。図７Ｕは、ユーザが隣接する部屋に移動するのを断る、「いいえ」ボタン７４４に向けられる入力７４２を示す。
図７Ｖは、物理的環境７０１での、デバイス１００の連続した移動の結果を示す。図７Ｖにおいて、ユーザインタフェース７００の１つ以上のカメラのライブビュー内に大きく見える窓７４８により、及び、カメラの視野７２０が壁７４６の表現７５０に向かって面している、壁７４６の表現７５０の近くにある、マップ７１６内のカメラの向き７１８により示されるように、デバイス１００の１つ以上のカメラは、物理的環境７０１の壁７４６の近くに位置している。図７Ｗにおいて、１つ以上のカメラの視野の中のオブジェクトが、１つ以上のカメラに近づきすぎているという判定に従い、デバイス１００は、ユーザに、図７Ｘに示すように、１つ以上のカメラを視野の中のオブジェクトから離して移動するように促すアラート７４９（例えば「近すぎます」）を表示する。
図７Ｙは、物理的環境７０１、例えば、図７Ｓにおける遷移での、デバイス１００の連続した移動の結果を示す。図７Ｙにおいて、デバイス１００の１つ以上のカメラの視野の中にある物理的環境７０１の部分は、階段吹き抜け７４７を含み、これは、デバイス１００が現在位置している現在の部屋の出口である。いくつかの実施形態では、１つ以上のカメラの視野が、隣接する（例えば内側の）部屋への入口以外の、現在の部屋の出口（例えば外側の出口、又は異なる建物の階への階段）、例えば階段吹き抜け７４７を含むという判定に従い、デバイス１００は、ユーザに、スキャン中にその出口を通って現在の部屋を離れないように指示するアラートを表示する。図７Ｚに示す例において、デバイス１００は、ユーザに、スキャン中に階段吹き抜け７４７を通って建物の上層階に行かないように指示するアラート７４５（例えば「上に行かないで下さい」）を表示する。別の例において、デバイス１００は、ユーザに、スキャン中に階段を通って建物の下層階に行かないように指示するアラート（例えば「下に行かないで下さい」）を表示する。更に別の例において、デバイス１００は、ユーザに、スキャン中に屋外に出ないように指示するアラート（例えば「屋外に行かないで下さい」）を表示する。
図７ＡＡは、物理的環境７０１、例えば、図７Ｙにおける遷移での、デバイス１００の連続した移動の結果、及び、ユーザインタフェース７００内での重ね合わせ７１２の更なる拡張、及び、差し込み７１４内でのマップ７１６の更なる更新を含む、物理的環境７０１の更なる部分に関する情報のキャプチャを示す。
図７ＡＢは、例えば、ユーザインタフェース７００内での重ね合わせ７１２を、重ね合わせ７１２が、現在の部屋の物理的環境７０１の表現の各部分の上に表示されるように拡張すること、及び更に、差し込み７１４内のマップ７１６を更新して、マップ７１６が、物理的環境７０１の現在の部屋の完全なビューを提供するようにすることを含む、図７ＡＡからの遷移、及び、物理的環境７０１の最終部分の情報のキャプチャにおける、物理的環境７０１での、デバイス１００の連続した移動の結果を示す。図７ＡＢは、物理的環境７０１のスキャンを終了するようにスキャン停止ボタン７０４－２を指令する入力７４３もまた示す。入力７４３に応じて、物理的環境７０１のスキャンが終了し、いくつかの実施形態では、スキャンプロセス中に、物理的環境７０１についてキャプチャされた情報を使用して、フロアプランが生成され表示される。図７ＡＣ～７ＡＴを参照して、本明細書で更に詳細に、そのようなフロアプランの例を説明する。
図７ＡＣは、（図７Ａ～７ＡＢを参照して上述したように）部屋をスキャンしている間に入手した情報を使用して、フロアプランユーザインタフェース７５１を表示するポータブル多機能デバイス１００を示す。フロアプランユーザインタフェース７５１は、それぞれの部屋、例えば「家族部屋」７５２」のフロアプランを含む。それぞれの部屋のフロアプランは、バウンディング外側壁７５３－１～７５３－５の複数の測定値（例えば、それらの長さ、及びそれぞれに対するそれらの角度）、扉７５４、固定具７５５（例えば鏡）、並びに窓７５６を含む。更に、それぞれの部屋のフロアプランは、テーブル７５７、ソファ７５８、テレビ７５９、及びテレビスタンド７６０などの、それぞれの部屋の中の物理的オブジェクトの測定値を含む。この例において、階段７６１もまた、それぞれの部屋のフロアプランにて示されている。フロアプラン測定値に加えて、フロアプランユーザインタフェース７５１は、オプションユーザインタフェースオブジェクト７６２を含み、これは選択されたときに、表示されたフロアプランの視覚的属性を変化させるための制御を表示する。情報ボックス７６３もまた表示され、これは、物理的環境７６３－１に対するフロアプランの縮尺に関する情報（例えば、図７ＡＣにおいて縮尺は、物理的環境の１インチが、視覚的フロアプランの１０フィートに等しい）、及び、（例えば、コンパス又はコンパスポインタの表現として示される）基線方向７６３－２に対する部屋の向きを含む。最後に「終了」ボタン７６５があり、これは、選択されたときにフロアプランユーザインタフェース７５１を閉じ、また、ユーザに、フロアプランを写真アプリケーションに保存させるか、フロアプランをファイル収納場所にローカル若しくはリモートで保存させるか、又はフロアプランを削除するかのいずれかを促す。
図７ＡＤは、フロアプランユーザインタフェース７５１の上、特に、それぞれの部屋のフロアプランの上に生じる、脱つまみジェスチャ７６６－１及び７６６－２を示す。図７ＡＥは、脱つまみジェスチャ７６６－１及び７６６－２に対する応答を示す。脱つまみジェスチャ７６６－１及び７６６－２に応じて、部屋は再度縮尺を変更する。しかし、いくつかの実施形態では、文字ラベル及び線の厚さは、フロアプランと同じ速度で再度縮尺変更されない。図７ＡＥは、脱つまみジェスチャ７６６－１及び７６６－２が継続していることもまた示す。図７ＡＦは、脱つまみジェスチャ７６６－１及び７６６－２の継続に対する応答を示す。しかし、部屋が再度縮尺変更する脱つまみジェスチャ７６６－１及び７６６－２の継続に応じて、文字ラベル及び線の厚さは再び、フロアプランと同じ速度で再度縮尺変更しない。図７ＡＦは、脱つまみジェスチャ７６６－１及び７６６－２の移動の停止に応答した、それぞれの部屋の再度の縮尺変更の停止、又は終了を示す。図７ＡＦは、更新されている物理的環境７６３－１に対する、フロアプランの縮尺もまた示す。
図７ＡＧは、それぞれの部屋の、再度縮尺変更されたフロアプランの描画縮尺が、新しい再度縮尺変更された閾値に、又は、描画縮尺の所定のセット内での、それぞれの描画縮尺に自動的にスナップされていることを示す。図７ＡＧに示す例において、新しい再度縮尺変更された閾値は、物理的環境での６フィートが、仮想フロアプランでの１インチに等しいものとして定義される。再度縮尺変更された環境において、新しい縮尺設定は、更新されている物理的環境７６３－１に対するフロアプランの縮尺により反映される。
いくつかの実施形態では、図７ＡＣ～７ＡＧに示すように、スキャンしたオブジェクト（例えばテーブル及びソファ）のうちの１つ以上は、デバイスにより自動的に識別され、その識別に基づき、かつ、人の介入なしに、フロアプランにおけるこれらのオブジェクトの表示表現が、タイトル又は名称に指定される。結果的に、ユーザが、指定されたオブジェクトのタイトル又は名称を、ユーザにより特定されるタイトル又は名称に変更したいと考える場合が存在する場合がある。図７ＡＨ～図７ＡＪは、そのような双方向作用を示す。
図７ＡＨは、識別されたオブジェクトの、表示された名称の上の入力７６７を示し、この例では「テーブル」７６８－１としてラベルされている。図７ＡＩは得られたユーザインタフェースを示し、ユーザが、識別されたオブジェクトの名称を変更することができる。いくつかの実施形態では、名称の変更（例えば別のタイトル付け）は、基礎をなすフロアプランユーザインタフェース７５１に重なっている、又は、基礎をなすフロアプランユーザインタフェース７５１の再度縮尺変更したバージョンと同時に表示される仮想キーボードにて受信される入力に応じて生じる。いくつかの実施形態では、基礎をなすフロアプランユーザインタフェース７５１の重なり、又は再度の縮尺変更を引き起こさない、外部キーボードを使用することができる。図７ＡＪは、「テーブル」７６８－１とラベルされ、今は「コーヒーテーブル」７６８－２とラベルされている、識別されたオブジェクトを示す。
図７ＡＫは、パニング入力７６９（例えば、この例では右方向に動いている、一本指でスワイプする入力）を示す。図７ＡＬは、パニング入力７６９に対する応答を示す。図７ＡＬは、それぞれの部屋（例えば、この例では「家族部屋」７５２）のフロアプランが、パニング入力７６９に従い移動されていることを示す。図７ＡＬは、それぞれの部屋のフロアプランの上に連続するパニング入力７６９もまた示す。図７ＡＭは、パニング入力７６９の連続に対する応答を示す。「家族部屋」７５２のフロアプランは、ディスプレイにはもう完全に表示されていない。いくつかの実施形態では、図７ＡＭに示すように、パニング入力７６９が、それぞれの部屋のフロアプランの一部を表示されないようにする、という判定に従い、それらの元の位置がもう表示されていないにもかかわらず、それらを表示し続けるために、測定値が移動される。更に、いくつかの実施形態において、それぞれの部屋のタイトル又は名称（例えば、「家族部屋」タイトル７５２－１）は移動され、元の位置がもはや表示されていないにもかかわらず、タイトル又は名称はディスプレイに残ったままである。
図７ＡＮは、扉７５４上のタップ入力７７０を示す。図７ＡＮの扉は、「家族部屋」７５２に対して内開きの扉７５４を示す。タップ入力７７０に応じて、図７ＡＯは、「家族部屋」７５２に対して外開きの扉７５４を示す。換言すれば、扉の上でタップ入力をすることで、その扉の開閉の向きを変更することができる。
図７ＡＰは、オプションユーザインタフェースオブジェクト７６２上の入力７７１を示す。図７ＡＱは、オプションユーザインタフェースオブジェクト７６２上の入力７７１に対する応答を示す。図７ＡＱでは、オプションユーザインタフェースオブジェクト７６２が、拡張されたオプションユーザインタフェース７７２により置き換えられている、又はこれと重なり合っている。拡張されたオプションユーザインタフェース７７２は、手描きトグル７７２－１、追加の測定値トグル７７２－２、及び、家具表示トグル７７２－４を含む。手描きトグル７７２－１は、アクティブ化位置に切り替えられると、フロアプランを、手描き（例えばスケッチ）されたかのように現すことで、フロアプランの外観を変化させる。追加の測定値トグル７７２－２は、アクティブ化位置に切り替えられると、元々表示されていなかった追加の直線測定値（例えばメトリック）を表示する。いくつかの実施形態では、追加の測定値トグル７７２－２は、アクティブ化位置に切り替えられると、元々表示されていなかった追加の角度（例えば、９０度の角度以外の角度）を表示する。家具表示トグル７７２－４は、選択された際に、デバイスにより識別されたそれぞれの部屋における家具を、それぞれの部屋のフロアプランに表示させる。
図７ＡＲは、追加の測定値トグル７７２－３の上に入力７７３を示す。図７ＡＳは、入力７７３に対する応答を示す。上述の通り、追加の測定値トグル７７２－３は、アクティブ化位置に切り替えられると、元々表示されていなかった追加の直線測定値（例えばメトリック）を（フロアプランに）表示する。図７ＡＳは、フロアプランに表示されている追加の測定値を示す。例えば、含まれる新しい測定値としては、テーブル７５７の対角線の長さ７７６、固定具７５５（例えばミラー）の幅７７７、及び、窓７５６の幅７７８がある。具体的な追加の測定値はこの例において示すものの、多くの他の測定値を、示した測定値に加えて、又はそれらの代わりに、示すことができる。
図７ＡＴは、追加の測定値トグル７７２－２上の入力７７５が、９０度以外の角度を表示させる、代替の実施形態を示す。例えば、図７ＡＴは、追加の測定値トグル７７２－２のアクティブ化に応じて表示されている、追加の角度（７７４－１及び７７４－２）を示す。いくつかの実施形態では、これらの追加の角度は、室内で、９０度より大きい、又は９０度未満（例えば４５度、又は１３５度）であると判定される角度である。
図８Ａ～８Ｆは、いくつかの実施形態に係る、拡張現実を使用して、自動的に判定された物理的環境の測定値を表示する方法８００を示すフローダイヤグラムである。方法８００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法８００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書中に記載のように、方法８００は、注釈配置ユーザインタフェース内のレチクル（例えば、図５Ｉ～５Ｎを参照して記載されているようなレチクル５０４）が、測定可能な物理的特徴の表現の上にあるときを示し、物理的特徴の１つ以上の測定値を実施する要求に応じて、ユーザが、測定値の種類を（例えば、注釈配置ユーザインタフェースの特定の注釈モードを選択することなく）特定するための入力の提供を必要とすることなく、物理的特徴が判定された特徴の種類に基づき、物理的特徴を構成する測定値の種類を自動的に判定する。更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、表示装置を介して、注釈配置ユーザインタフェース（例えば、拡張現実測定アプリケーションのユーザインタフェース）を表示する（８０２）。注釈配置ユーザインタフェースは、（例えば、図５Ｃ及び５Ｄに示すような）１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される、視野の表現（例えば、視野の表現は、視野の中での物理的環境の変化に基づき、かつ／又は、物理的環境のどの一部が視野の中にあるかを変化させる、１つ以上のカメラの移動に基づき、更新されたライブビューである）、及び、（例えば、レチクルの点又は他のマーカーを介して）仮想注釈（例えば、測定値の表現）が、（例えば、図５Ｒ～５Ｓを参照して記載されているような）注釈配置入力の受信に応じて、視野の表現に配置される位置を示す、配置ユーザインタフェース要素（例えばレチクル５０４）を含む。
いくつかの実施形態では、注釈配置ユーザインタフェースを表示している間に、コンピュータシステムは、物理的環境に対する１つ以上のカメラの第１の移動を検出する（８０４）。
物理的環境に対する１つ以上のカメラの第１の移動を検出したことに応じて、コンピュータシステムは、（例えば、図５Ｃ及び５Ｄを参照して記載されているように）１つ以上のカメラの第１の移動に基づき、視野の表現を更新する（８０６）。
（例えば、デバイス１００の移動に基づき配置されているレチクル５０４を参照して記載されている）配置ユーザインタフェース要素が、測定可能な物理的環境内の物理的特徴の表現の少なくとも一部の上にあるという判定に従い、コンピュータシステムは、物理的特徴の表現の１つ以上の様相に従って配置ユーザインタフェース要素の外観を変化させる（８０８）（例えば、物理的特徴の表現の１つ以上の様相と合わせる、又はこれに適合させる、例えば、物理的特徴の１つ以上の縁部、頭頂、境界などを強調又はマークして、物理的特徴の表現を、視野の表現に対して視覚的に強調させる、並びに／又は、長さ、高さ、面積、及び／若しくは体積測定値などの物理的特徴に関して実施するであろうある種の測定値を示す）（例えば、図５Ｉ～５Ｎ、５Ｔ～５Ｘ、及び５ＡＩ～５ＡＪにて変化するレチクル５０４を参照して記載されているように）。
注釈配置ユーザインタフェースを表示している間に、コンピュータシステムは、（例えば、図５Ｇ～５Ｈ、５Ｒ～５Ｔ、及び５Ｗ～５Ｘを参照して記載されているように）物理的特徴の１つ以上の測定を実施することの要求を含む注釈配置入力を受信する（８１０）。
いくつかの実施形態では、１つ以上の測定は、１つ以上の測定の実施を要求するユーザの入力に関係なく（例えば、この前に、又はこれを受信することなく）、システムにより実施される。いくつかの実施形態では、受信した注釈配置入力は、（例えば、物理的特徴の１つ以上の測定を実施する要求の代わりに）物理的特徴の１つ以上の測定値を表示する要求を含む。別の方法で述べたように、いくつかの実施形態では、注釈配置入力であるユーザ入力は、システムにより既に実施又は判定された１つ以上の測定値の１つ以上の表現を追加する、又は表示する要求を含む、又はこれに対応する。
物理的特徴の１つ以上の測定を実施する要求に対応する入力を受信したことに応じて（８１２）、物理的特徴が第１の種類の物理的特徴（例えば、物理的オブジェクトの縁部）であるという判定に従い（８１４）、コンピュータシステムは、物理的特徴の表現の上に、第１の測定値の種類の、第１の１組の１つ以上の測定値の表現（例えば物理的特徴）（（例えば、図５Ｆ～５Ｈ及び図５Ｓ～５Ｔを参照して記載するように）例えば、２地点の距離を測定する１次元測定値の種類、例えば、テーブルなどのオブジェクトの縁部の長さ）を表示し、物理的特徴が、第１の種類の物理的特徴とは異なる、第２の種類の物理的特徴（例えば、テーブル、壁、窓などの物理的オブジェクトの２次元表面）であるという判定に従い（８１６）、コンピュータシステムは、物理的特徴の表現の上に、（例えば、図５Ｉ～５Ｋを参照して記載されているような、）第１の測定値の種類とは異なる、第２の測定値の種類の、第２の１組の１つ以上の測定値の表現（例えば物理的特徴）（例えば２次元表面の面積を測定する、２次元測定値の種類など、及び任意選択的に、例えば、１つ以上のカメラの視野の中にある表面の縁部の長さの、１つ以上の２地点の距離）を表示する。いくつかの実施形態では、第１の種類の特徴は、１つの家具（８２２）、人（８２４）、又は人の一部（例えば人の顔、目（８２８）、片手若しくは両手（８３２）、又は片足若しくは両足（８３０））、動物（８２６）などといった特徴の種類の１つなどの、いずれかの種類の特徴であることができる。このような特徴、及びこれらの測定の例については、図５Ｆ～５ＡＬを参照して記載されている。いくつかの実施形態では、第２の種類の特徴は、第２の種類の特徴が、第１の種類の特徴とは異なっているのであれば、同じ組の特徴の種類のいずれか１つであることができる。
いくつかの実施形態では、物理的特徴は、第１のそれぞれの種類の物理的特徴であり（８１８）、物理的特徴は、１つ以上のカメラの視野の中にある物理的環境における、物理的オブジェクトの第１の部分（例えば、第１寸法に対応する）であり、物理的オブジェクトの第２の部分（例えば、第２寸法に対応する）は、１つ以上のカメラの視野の中に最大でも部分的にあり（例えば、第２の部分は視野の中に完全にはない）、これらの例を、図５Ｆ～５Ｎに示す。いくつかの実施形態では、物理的特徴の表現の上に、（例えば、第１のそれぞれの種類の物理的特徴である物理的特徴に従った）第１のそれぞれの測定値の種類の測定値の、第１のそれぞれの１組の、１つ以上の表現を表示した後、コンピュータシステムは、物理的オブジェクトの第２の部分が（例えば完全に）１つ以上のカメラの視野の中にあるような、物理的環境に対する１つ以上のカメラの第２の移動を検出する。いくつかの実施形態では、１つ以上のカメラの第２の移動を検出したことに応じて、コンピュータシステムは、１つ以上のカメラの第２の移動に基づき、視野の表現に、物理的オブジェクトの第２の部分の表現を含む物理的オブジェクトの表現（例えば、及び任意選択的に、１つ以上のカメラの視野の中にある、第１の部分などの、物理的オブジェクトの１つ以上の他の部分の表現）を表示することを含む、視野の表現を更新する。
いくつかの実施形態では、配置ユーザインタフェース要素（例えばレチクル５０４）が、物理的オブジェクトの表現の少なくとも一部の上にあるという判定に従い（例えば、及び、物理的オブジェクトを測定可能であるという判定に従い）、コンピュータシステムは、物理的オブジェクトの第２の部分を含む物理的オブジェクトの表現の１つ以上の様相に従い、配置ユーザインタフェース要素の外観を変更し（例えば、第１の部分などの、物理的オブジェクトの任意の他の部分の表示表現の様相に加えて、アラインする、又はこれに一致させることにより、第２の部分の表現の１つ以上の様相を考慮に入れる、例えば、物理的オブジェクトの部分（単数又は複数）の、１つ以上縁部、頭頂、境界などを強調又はマークして、物理的オブジェクトの表現を、視野の表現に対して視覚的に強調させる、並びに／又は、長さ、高さ、面積、及び／若しくは体積測定値などの物理的オブジェクトに関して実施するであろうある種の測定値を示し）、これらの例は、図５Ｆ～５Ｔを参照して上述されている。
いくつかの実施形態では、物理的オブジェクトの表現を含む注釈配置ユーザインタフェースを表示している間に、コンピュータシステムは、物理的オブジェクトの１つ以上の測定を実施する要求を含む、第２の注釈配置入力を受信する。いくつかの実施形態では、物理的オブジェクトの１つ以上の測定を実施する要求に対応する入力を受信したことに応じて、コンピュータシステムは、物理的オブジェクトの表現の上に、物理的オブジェクトの第２の部分に基づく第２のそれぞれの測定値の種類の、第２のそれぞれの１組の１つ以上の測定値の表現を表示し、これらの例は、図５Ｉ～５Ｎを参照して上述されている。
いくつかの実施形態では、第２のそれぞれの測定値の種類は、１つ以上のカメラの視野の中にある物理的オブジェクトの、第２の部分、及び、第１の部分などの任意の他の部分に基づく。いくつかの実施形態では、物理的オブジェクトの第１の部分が、１つ以上のカメラの視野の中にないのであれば、第２のそれぞれの測定値の種類は、物理的オブジェクトの第１の部分ではなく、物理的オブジェクトの第２の部分に基づく。いくつかの実施形態では、第２のそれぞれの測定値の種類は、第１の部分に関して以前に入手した情報を使用することで、第１の部分が１つ以上のカメラの視野の中にある（例えば残っている）か否かに関係なく、物理的オブジェクトの第２の部分及び第１の部分に基づく。例えば、物理的オブジェクトの第１の部分は物理的オブジェクトの第１の縁部であり、第１のそれぞれの測定値の種類は、２地点の距離（例えば、第１の縁部の長さ）を測定する。この例のいくつかのシナリオにおいて、物理的オブジェクトの第２の部分は、第１の縁部に隣接した物理的オブジェクトの第２の縁部であり、第２のそれぞれの測定値の種類は、面積（例えば、少なくとも第１の縁部及び第２の縁部により画定される物理的オブジェクトの表面）、並びに、任意選択的に、第１の縁部の長さ及び第２の縁部の長さを測定する。第２の例において、物理的オブジェクトの第１の部分は物理的オブジェクトの第１表面であり、第１のそれぞれの測定値の種類は、（例えば、図５Ｉ～５Ｎを参照して上述するように）第１表面の面積（及び、任意選択的に、第１表面の縁部（単数又は複数）の長さ（単数又は複数））を測定する。この第２の例のいくつかのシナリオにおいて、物理的オブジェクトの第２の部分は、第１表面に付随する物理的オブジェクトの縁部であり、第２のそれぞれの測定値の種類は、物理的オブジェクトの体積、及び、任意選択的に、第１表面の面積、第１表面の縁部（単数又は複数）の長さ（単数又は複数）、及び／又は付随する縁部の長さを測定する。
１つ以上のカメラの移動により、１つ以上のカメラの視野の中に物理的オブジェクトの更なる部分がもたされると、配置ユーザインタフェース要素の外観を変更して、物理的オブジェクトの更なる部分を考慮に入れることで、物理的オブジェクトの異なる種類の測定値が利用可能になったことを示す視覚的フィードバックがユーザに提供され、異なる種類の測定値が自動的に作成可能となることで、ユーザが、複雑なメニュー階層を通ってナビゲーションする必要なく、更なる制御オプションにアクセスすることができるようになる。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、改善された視覚的フィードバックをユーザに提供すること、並びに、更なる制御オプションを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的環境内の物理的オブジェクトの第１の部分は、１つ以上のカメラの視野の中にあり（８２０）、物理的オブジェクトの第１の部分は、１つ以上のカメラの視野の中にない、又は、視野の中に部分的にしかない、物理的オブジェクトの第２の部分に隣接した縁部領域を含む（例えば、１つ以上のカメラの視野は、物理的オブジェクトの部分ビューを含む）。いくつかの実施形態において、コンピュータシステムは、１つ以上のカメラの視野の中の表現に、（例えば、図５Ｆ～５Ｇを参照して記載されているように）物理的オブジェクトの第２の部分に隣接した縁部領域の表現の、視覚的強調を止める（例えば退色する）ことを含む、物理的オブジェクトの第１の部分の表現を表示する。いくつかの実施形態では、縁部領域内の点は、物理的オブジェクトの第２の部分に接近するにつれ、漸進的に強調をやめる（例えば、物理的オブジェクトの第１の部分と第２の部分との境界からの第１の距離である、縁部領域の第１の点は、境界からの、第１の距離よりも大きい第２の距離である縁部領域内の第２の点に対して、視覚的に強調がやめられる）。
ビューの中にない物理的オブジェクトの一部に隣接した物理的オブジェクトの、目視できる部分の表現の視覚的強調を止める（例えば退色する）ことにより、物理的オブジェクトがビュー内に完全にないことをユーザに知らせ、ユーザが、物理的オブジェクトをより完全に見たい、及び／又は測定したいのであれば、１つ以上のカメラを移動するようにユーザに促す、視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴が第１の種類の物理的特徴であるという判定は、物理的特徴が１つの家具であることをシステムにより判定することを含み（８２２）、第１の測定値の種類の測定値は、物理的特徴の高さ、幅、深さ、及び体積のうちの１つ以上を含む。
１つの家具であると判定された物理的特徴（例えば物理的オブジェクト）の、高さ、幅、深さ、及び／又は体積の測定を実施することにより、ユーザが入力を提供して、どの種類（単数又は複数）の測定値をユーザが物理的特徴から作成したいのかを特定する必要なく、その種類に等しく、ユーザが関心のある可能性が高い物理的特徴の寸法及び様相を測定する、優れた測定機能性が提供される。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴が第１の種類の物理的特徴であるという判定は、物理的特徴が人であることをシステムにより判定することを含み（８２４）、第１の測定値の種類の測定値は、人の足元（例えば、人の足の底部、又は、立っている若しくは座っている間に人の足が配置される表面）と、人の頭頂（例えば、人の頭部の頭頂）との距離を含む。いくつかの実施形態では、人の足元から人の頭頂までの距離の表現は、（例えば、図５Ｚ～５ＡＢを参照して記載されているような）人の足元から人の頭頂までの測定値セグメント、及び／又は、距離を占める文字ラベルを含む。いくつかの実施形態では、人が立っているのであれば、人の足元から人の頭頂までの距離は、人の身長である。いくつかの実施形態では、人が座っているのであれば、人の足元から人の頭頂までの距離は、着席中の人の高さである。いくつかの実施形態では、人に対する、１組の測定値の表現としては、人の足元のインジケーション（例えば、人の足の底部、又は、人の足が置かれている表面を示す注釈）が挙げられる。いくつかの実施形態では、人の足元は、ユーザが、人の足元の位置をマークするための入力を必要とすることなく、システムにより自動的に識別される。
システムにより人であると判定された物理的特徴の高さ測定を実施することにより、ユーザが入力を提供して、どの種類（単数又は複数）の測定値をユーザが物理的特徴から作成したいのかを特定する必要なく、その種類に等しく、ユーザが関心のある可能性が高い物理的特徴の寸法及び様相を測定する、優れた測定機能性が提供される。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴が第１の種類の物理的特徴であるという判定は、物理的特徴が動物（例えば、犬又は猫などのペット）であることをシステムにより判定することを含み（８２６）、第１の測定値の種類の測定値は、（例えば、図５ＡＧを参照して記載されているような）動物の首の外周、動物の胸の外周、及び動物の長さ（例えば、動物の首の付け根から動物の尻尾の付け根までの、動物の背中の長さ）のうちの１つ以上を含む。
システムにより動物（例えばペット）であると判定された物理的特徴の、首の外周、胸の周辺、周囲、及び長さの測定を実施することにより、ユーザが入力を提供して、どの種類（単数又は複数）の測定値をユーザが物理的特徴から作成したいのかを特定する必要なく、（例えば、ペット用の衣服及びアクセサリーの選択において）その種類に等しく、ユーザが関心のある可能性が高い物理的特徴の寸法及び様相を測定する、優れた測定機能性が提供される。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴が第１の種類の物理的特徴であるという判定は、物理的特徴が人の顔であることをシステムにより判定することを含み（８２８）、第１の測定値の種類の測定値としては、（例えば、図５ＡＥを参照して記載されているような）人の第１の目の第１の瞳孔と、人の第２の目の第２の瞳孔との距離（例えば、「瞳孔距離（ＰＤ）」又は「瞳孔間距離（ＩＰＤ）」とも呼ばれる、瞳孔の中心間の距離）が挙げられる。
システムにより人の顔及び目であると判定された物理的特徴の瞳孔間距離測定を実施することにより、ユーザが入力を提供して、どの種類（単数又は複数）の測定値をユーザが物理的特徴から作成したいのかを特定する必要なく、（例えば、眼鏡の選択における）その種類に等しく、ユーザが関心のある可能性が高い物理的特徴の寸法及び様相を測定する、優れた測定機能性が提供される。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴が第１の種類の物理的特徴であるという判定は、物理的特徴が人の足であることをシステムにより判定することを含み（８３０）、第１の測定値の種類の測定値は、（例えば、図５ＡＦを参照して記載されているような）足の長さを含む。いくつかの実施形態では、足の長さの表現は、足の長さに対応する靴のサイズとして表示される（例えば、靴のサイズは、例えば、システムが定めた、又は任意選択的に、ユーザが定めた設定に従い、人の現在の地理的位置、又は、以前に定めた地理的位置若しくは領域に関するサイズチャートに基づいて判定される）。
システムにより人の足であると判定された物理的特徴の、（例えば、任意選択的に、裸足なのか靴を履いているのかを考慮して）長さ又は靴のサイズ測定を実施することにより、ユーザが入力を提供して、どの種類（単数又は複数）の測定値をユーザが物理的特徴から作成したいのかを特定する必要なく、（例えば、一足の靴の選択における）その種類に等しく、ユーザが関心のある可能性が高い物理的特徴の寸法及び様相を測定する、優れた測定機能性が提供される。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴が第１の種類の物理的特徴であるという判定は、物理的特徴が、空間内で離れた（例えば、同一人物の）第１の手及び第２の手を含むという、システムによる判定を含み（８３２）、第１の測定値の種類の測定値は、（例えば、図５ＡＣ～５ＡＤを参照して記載されているような）第１の手と第２の手との距離（例えば、第１の手の掌の中心と、第２の手の掌の中心との距離といった、第１及び第２の手の上にある、対応する点どうしの距離）を含む。
システムにより、（例えば、掌どうしが面している）１組の手を含めると判定された物理的特徴の２つの手どうしの距離測定を実施することにより、ユーザが入力を提供して、どの種類（単数又は複数）の測定値をユーザが物理的特徴から作成したいのかを特定する必要なく、その種類に等しく、ユーザが関心のある可能性が高い物理的特徴の寸法及び様相（例えば、１つ以上のカメラの視野の中のサブジェクトが、自身の手を離して握っており、オブジェクトのサイズを示している場所）を測定する、優れた測定機能性が提供される。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴（８３４）の表現の上に、それぞれの１組の、測定値の１つ以上の表現を表示している間に（ここで、それぞれの１組は、第１の測定値の表現を含み、１つ以上のカメラが物理的特徴から第１の距離に位置する間に（例えば、第１の距離が、第１レベルの詳細に対応する第１の範囲の距離の中にあるという判定に従い）、第１の表現が（例えば任意選択的に）、第１レベルの詳細（例えば第１の粒度）を使用して表示される、第１の測定値ラベル及び第１の測定値セグメントを含む）、コンピュータシステムは、１つ以上のカメラを、物理的特徴から、第１の距離未満の第２の距離に配置する、１つ以上のカメラの移動を検出する（例えば、１つ以上のカメラは、測定値の第１の表現に対応する物理的特徴の部分の近くに移動している）。いくつかの実施形態では、（例えば、第２の距離が、第２レベルの詳細に対応する、第１の範囲の距離とは異なる第２の範囲の距離の中にあるという判定に従い）１つ以上のカメラが物理的特徴から第２の距離に位置する間に、コンピュータシステムは、第１の測定値ラベルの表示を取り止める。あるいは、いくつかの実施形態では、第１の測定値ラベルの表示が維持される。いくつかの実施形態では、１つ以上のカメラが物理的特徴から第２の距離に位置する間に、コンピュータシステムは、（例えば、図５Ｏ～５Ｔを参照して上述するように）第１レベルの詳細とは異なる（例えば、これより大きい）第２レベルの詳細を使用して、第１の測定値セグメントを表示する（例えば、第２レベルの詳細は、第１の粒度よりも細い第２の粒度と関連する）。
異なるレベルの詳細を使用して（例えば、複数の１組の、異なる粒度の縮尺マーカーと共に）、物理的特徴の測定値を、１つ以上のカメラどうしの距離、及び物理的特徴の変化として表示することにより、ユーザが入力を提供して、ユーザが測定値を確認したい詳細のレベルを特定する必要なく、現在の距離に関連し、かつ、ユーザが関心のある可能性が高い、あるレベルの詳細における測定値についての情報（例えば、それぞれのレベルの粒度における縮尺マーカー）を優れて提供する。更に、測定値セグメント用の縮尺マーカーを表示する際に、測定値セグメントに対する測定値レベルの表示を停止することにより、ユーザインタフェース内での混乱を低減し、縮尺マーカーを不明瞭化する測定値を回避する、又はその逆となる。追加で表示される制御を伴うユーザインタフェースを取り散らかすことなく、かつ、更なるユーザ入力を必要とすることなく、１組の条件が満たされたときに、操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第２レベルの詳細を使用して第１の測定値セグメントを表示することは、（例えば、図５Ｐ～５Ｓを参照して記載されているように）第１の測定値セグメントに沿った間隔にて、１組の縮尺マーカー（例えば、チェックマーク）を表示することを含む（８３６）。いくつかの実施形態では、第２レベルの詳細を使用して第１の測定値セグメントを表示している間に、（例えば、配置ユーザインタフェース要素、又は配置ユーザインタフェース要素の選択インジケータは、それぞれの縮尺マーカーの閾値距離、又はそれぞれの縮尺マーカーのアンカー点の中にある）配置ユーザインタフェース要素がそれぞれの縮尺マーカーの上にあるという、システムによる判定に従い（例えば、配置ユーザインタフェース要素が単一の縮尺マーカーの上にあるという判定に従い、又は、配置ユーザインタフェース要素の中心と、それぞれの縮尺マーカーとの距離が、配置ユーザインタフェース要素の中心と、１組の縮尺マーカーのうちの任意の他の縮尺マーカーとの距離よりも短いという判定に従い）、（例えば、レチクルをアンカー点にスナップすること（ここで、スナップすることは例えば、レチクルを注釈配置ユーザインタフェース内の既定の位置からアンカー点に移動すること、又は、レチクルの選択インジケータ（例えば点若しくは他のマーカー）を、レチクル内の既定の位置（例えば、レチクルの中心）から、アンカー点（例えば、レチクルの別の部分とは独立して移動されている選択インジケータ）に移動すること、及び／又は、レチクルの輪郭に対して選択インジケータを拡大することを含む）により）注釈配置入力を受信したことに応じて、コンピュータシステムは配置ユーザインタフェース要素の外観を変化させ、注釈が、それぞれの縮尺マーカー上のアンカー点（例えば、縮尺マーカーの中点又は終点）に配置されることを示す。例を図５Ｐ～５Ｔに示す。
配置ユーザインタフェース要素を、測定値セグメントに対して表示されるそれぞれの縮尺マーカー上のアンカー点にスナップすることにより、特定されたアンカー点に注釈が追加されることをユーザに示す視覚的フィードバックが提供され、ユーザが配置ユーザインタフェース要素を注意深く配置する必要なく、典型的には、測定値（例えばフィート若しくはインチ、メートル若しくはセンチメートル、又はその単純な端数）に沿った有用な基準点である、縮尺マーカーにより特定される位置においてユーザが注釈を追加するのを容易にする。改善された視覚的フィードバックをユーザに提供すること、並びに、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、操作を実施するのに必要な入力の数、及び／又は程度を低減することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第２レベルの詳細を使用して第１の測定値セグメントを表示している間に（８３８）、コンピュータシステムは、第２レベルの詳細により示され、物理的環境内のそれぞれの物理的位置に対応する、視野の表現内のそれぞれの位置において注釈を追加する要求に対応する入力（例えば注釈配置入力）を受信する（例えば、第２レベルの詳細を使用して第１の測定値セグメントを表示することは、第１の測定値セグメントに沿った間隔で１組の縮尺マーカー（例えばチェックマーク）を表示することを含み、入力は、例えば、ユーザが、それぞれの縮尺マーカーの上にレチクルを移動することにより、及び、レチクルがそれぞれの縮尺マーカーにスナップされている間に、注釈配置入力を提供することにより、それぞれの縮尺マーカーにて注釈を追加する要求に対応する）。いくつかの実施形態では、注釈を追加する要求に対応する入力に応じて、コンピュータシステムは、第２レベルの詳細により示されるそれぞれの位置において注釈を追加する。
いくつかの実施形態では、注釈を追加した後で、コンピュータシステムは、（例えば、図５Ｏ～５Ｐを参照して記載されているような）物理的特徴から第１の距離において（又は、代替的にその距離以内に）１つ以上のカメラを配置する、１つ以上のカメラの移動を検出する。いくつかの実施形態では、物理的特徴から第１の距離に１つ以上のカメラを配置する、１つ以上のカメラの移動の検出に応じて、コンピュータシステムは、１つ以上のカメラの移動に基づき視野の表現を更新する（例えば、図５Ｓ～５Ｔを参照して記載されているように、部分的に離れて移動することでチェックマークが消える場合）。いくつかの実施形態では、１つ以上のカメラが物理的特徴から第１の距離に（又は、代替的にその距離以内に）位置する間に（例えば、第３の距離が、第１レベルの詳細に対応する第１の範囲の距離の中にあるという判定に従い）、コンピュータシステムは、それぞれの位置が第１レベルの詳細により示されているか否かに関係なく、第１レベルの詳細、第１の測定値ラベル、及び、（例えば、第２レベルの詳細により以前示されていた）物理的環境内のそれぞれの物理的位置に対応する、更新された視野の表現の中のそれぞれの位置における注釈を使用して第１の測定値セグメントを表示する（例えば、第１レベルの詳細を使用して第１の測定値セグメントを表示することは、第１の測定値セグメントに沿った、第２レベルの詳細の間隔よりも長い間隔で、任意の縮尺マーカーを表示すること、又は異なる１組の縮尺マーカーを表示することを取り止めることを含み、注釈は、第１レベルの詳細が、注釈の位置に対応する縮尺マーカーを含まない場合であっても、１つ以上のカメラを移動して第１の距離に戻す前と同じ、それぞれの物理的位置に対応する視野の表現内の位置にて維持される）。
１つ以上のカメラが（例えば、測定された物理的特徴から遠くに）移動した場合であっても、それぞれの縮尺マーカーが表示されないように、測定値に沿ったそれぞれの縮尺マーカー上のアンカー点に追加された注釈を維持することにより、測定値に沿って、注釈が、ユーザが、過剰に詳述された測定値を含むユーザインタフェースを乱雑にすることなく、ユーザが有用で以前にマークした基準点（例えばフィート若しくはインチ、メートル若しくはセンチメートル、又はその単純な端数）に位置することをユーザに示す、改善された視覚的フィードバックを提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図８Ａ～図８Ｆにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法９００、１０００、１１００、１２００、１３００、１４００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図８Ａ～図８Ｆに関して上述した方法８００にも、類似の様式で適用可能であることに留意されたい。例えば、方法８００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、注釈、測定値の表現、測定値の種類、並びに縮尺マーカーは、任意選択的に、本明細書で記載される他の方法（例えば、方法９００、１０００、１１００、１２００、１３００、１４００、１５００、及び１６００）を参照して本明細書で記載される、ユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、注釈、測定値の表現、測定値の種類、並びに縮尺マーカーの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９Ａ～９Ｃは、いくつかの実施形態に係る、拡張現実環境内で自動的に判定されたアンカー点に基づき、位置調整ガイドを提供する方法９００を示すフローダイヤグラムである。方法９００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法９００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、注釈配置ユーザインタフェース内のレチクルが、物理的特徴の表現のアンカー点にスナップされると、方法９００は、アンカー点から１つ以上の向きに延びる１組のガイドを表示して、（例えば、図５ＡＮ及び５ＡＰを参照して記載されるように）物理的特徴の１つ以上の測定を行うことが可能な向きを特定する視覚的フィードバックをユーザに提供し、故に、ユーザが関心を持ち得る測定をユーザが行うのを補助する。更に、方法９００は、ユーザが、どの種類のガイドを表示するかを特定する入力の提供を必要とすることなく、物理的特徴がどの種類の特徴であるか判定されることに基づき、異なるガイドを優れて表示する。改善された視覚的フィードバックをユーザに提供し、更なるユーザの入力を必要とすることなく操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、表示装置を介して、注釈配置ユーザインタフェース（例えば、拡張現実測定アプリケーションのユーザインタフェース）を表示する（９０２）。注釈配置ユーザインタフェースは、（例えば、図５ＡＭ～５ＡＹを参照して記載するように）１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される、視野の表現（例えば、視野の表現は、視野の中での物理的環境の変化に基づき、かつ／又は、物理的環境のどの一部が視野の中にあるかを変化させる、１つ以上のカメラの移動に基づき、更新されたライブビューである）；及び、（例えば、レチクルの点又は他のマーカーを介して）仮想注釈（例えば、測定値の表現）が、（例えば、図５ＡＵ～５ＡＱを参照して記載されているような）注釈配置入力の受信に応じて、視野の表現に配置される位置を示す、配置ユーザインタフェース要素（例えばレチクル）を含む。
注釈配置ユーザインタフェースを表示している間に、コンピュータシステムは、物理的環境に対する１つ以上のカメラの移動を検出する（９０４）。
物理的環境に対する１つ以上のカメラの移動を検出したことに応じて（９０６）、コンピュータシステムは、（例えば、図５ＡＭ～５ＡＹを参照して記載されているように）１つ以上のカメラの移動に基づき、視野の表現を更新する（９０８）。
物理的環境に対する１つ以上のカメラの移動を検出したことに応じて（９０６）、配置ユーザインタフェース要素（例えば、配置ユーザインタフェース要素の少なくとも一部）が、物理的環境内の第１の種類の特徴（例えば、物理的環境内の物理的オブジェクトの縁部）の表現の少なくとも一部の上にある（９１０）（例えば、配置ユーザインタフェース要素、又は配置ユーザインタフェース要素の選択インジケータは、それぞれの縮尺マーカーの閾値距離、又はそれぞれの縮尺マーカーのアンカー点の中にある）という判定に従い、コンピュータシステムは、配置ユーザインタフェース要素の外観を変化させて、注釈配置入力（例えば、レチクルを、第１の種類の特徴に対応するアンカー点にスナップすること（ここで、レチクルをスナップすることは例えば、レチクルを注釈配置ユーザインタフェース内の既定の位置からアンカー点に移動すること、又は、レチクルの選択インジケータ（例えば点若しくは他のマーカー）を、レチクル内の既定の位置（例えば、レチクルの中心）から、アンカー点（例えば、レチクルの別の部分とは独立して移動されている選択インジケータ）に移動すること、及び／又は、レチクルの輪郭に対して選択インジケータを拡大することを含む））に応じて、（例えば、第１の種類の特徴の表現の一部の中の）第１の種類の特徴に対応するアンカー点に配置される注釈を示し、第１の種類の特徴の表現（例えば、物理的オブジェクトの縁部の少なくとも一部に沿った単一のガイド）の少なくとも一部に対応する、第１の１組の、１つ以上のガイドを表示する。いくつかの実施形態では、第１の１組の１つ以上のガイドにおける各ガイドは、（例えば、第１の１組が複数のガイドを含み、ガイドがアンカー点にて交わる、又は交差する場合に）（例えば、図５ＡＮ及び５ＡＰを参照して記載されているような）アンカー点の位置を含む。
物理的環境に対する１つ以上のカメラの移動を検出したことに応じて（９０６）、配置ユーザインタフェース要素（例えば、配置ユーザインタフェース要素の少なくとも一部）が、第１の種類の特徴（例えば、物理的環境内の物理的オブジェクト頭頂（例えば角部）（例えば、図５ＡＯ及び５ＡＰに示す、ソファの角部５２３）とは異なる第２の種類の特徴の表現の少なくとも一部の上にあるという判定に従い、コンピュータシステムは、配置ユーザインタフェース要素の外観を変更して、注釈が、注釈配置入力（例えば、レチクルを、第２の種類の特徴に対応するアンカー点にスナップすること）に応じて、（例えば、第２の種類の特徴の表現の一部の中にある）第２の種類の特徴に対応するアンカー点に配置されることを示し、第２の種類の特徴の表現の少なくとも一部に対応する、第１の１組の、１つ以上のガイドとは異なる、第２の１組の、１つ以上のガイド（例えば、物理的オブジェクトの頭頂に付随する、異なる縁部又はその一部に沿った、複数の別個のガイド）を表示する（９１２）（例えば、図５ＡＰに示すガイドを、図５Ａに示すものと比較のこと）。いくつかの実施形態では、第２の１組の１つ以上のガイドは、注釈配置入力を受信して、（例えば、図５ＡＮ及び５ＡＰを参照して記載されているような）第２の種類の特徴に対応するアンカー点に注釈を配置する前に表示される。いくつかの実施形態では、第２の１組の１つ以上のガイドにおける各ガイドは、（例えば、第２の１組が複数のガイドを含み、ガイドがアンカー点にて交わる場合に）アンカー点の位置を含む（例えば、ここにて交差する、又は終点を有する）。いくつかの実施形態では、第２の１組の１つ以上のガイドは、第１の１組の１つ以上のガイドにおけるガイドの種類（単数又は複数）とは異なる、少なくとも１種のガイドを含む。いくつかの実施形態では、第２の１組のガイドは、（例えば、図５ＡＮ、５ＡＰ～５ＡＳ、及び５ＡＵを参照して記載されているように）第１の１組のガイド（例えば１個のガイド）とは異なる数のガイド（例えば、２、３、又はそれより多くのガイド）を含む。
いくつかの実施形態では、アンカー点が物理的環境内の１つ以上の縁部に位置するという判定に従い（９１４）（例えば、アンカー点は、単一の縁部に沿った点、又は、複数の縁部が交わる点（例えば頭頂））である）、表示されるそれぞれの組の１つ以上のガイドは、１つ以上の縁部の各縁部に対して、（例えば、図５ＡＮ、５ＡＰ～５ＡＳ、及び５ＡＵに示すように）それぞれの縁部に沿ったアンカー点から延びるそれぞれのガイドを含む。例えば、それぞれの種類の特徴が、物理的環境内の物理的オブジェクトの縁部である場合、アンカー点は縁部に沿った点であり、それぞれの組の１つ以上のガイドは、縁部に対応するガイドを含む（例えば、ガイドは縁部の表現に沿って表示される（例えば、この上に重なり合う））。別の例において、それぞれの種類の特徴が、物理的環境内の物理的オブジェクトの頭頂である場合、それぞれの組の１つ以上のガイドは、（例えば、図５ＡＰを参照して記載されているような）頭頂に付随する（例えば全ての）縁部に対応する複数のガイドを含む（例えば、付随する各縁部に関して、それぞれのガイドはそれぞれの縁部の表現に沿って表示される）。
アンカー点がその上に位置する各縁部に沿って、アンカー点から延びるガイドを表示することにより、縁部を識別する視覚的フィードバックがユーザに提供され、故に、ユーザが関心を持ち得る１つ以上の測定値の向きが作成され得る。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、アンカー点が、少なくとも物理的環境内で第１に検出された表面と、物理的環境内で第２に検出された表面とが交わる箇所に位置する（例えば、アンカー点が、第１及び第２の物理的表面が交わる縁部に沿った点である、又は、アンカー点が、第１及び第２の表面を含む３つ以上の表面が交わる頭頂である）という判定に従い（９１６）、表示されるそれぞれの組の１つ以上のガイドは、（例えば、図５ＡＰ及び５ＡＲに示すように）少なくとも、アンカー点から、第１の検出された表面に垂直な向きに延びる第１のガイド、及び、アンカー点から、第２の検出された表面に垂直な向きに延びる第２のガイドを含む。いくつかの実施形態では、それぞれの組の１つ以上のガイドは、アンカー点にて交わる、２つ以上の検出された表面に垂直なそれぞれの向きにアンカー点から延びる、それぞれのガイドを含み、例を図５ＡＰ、５ＡＲ～５ＡＳ、及び５ＡＵに示す。例えば、アンカー点が、物理的環境内で第１の検出された表面、第２の検出された表面、及び第３の検出された表面全てが交わる、３次元物理的オブジェクトの頭頂に対応する場合、それぞれの組の１つ以上のガイドは、（例えば、図５ＡＰ、５ＡＲ～５ＡＳ、及び５ＡＵに示すように）第１のガイド、第２のガイド、及び、第３の検出された表面に垂直な第３の向きにアンカー点から延びる、第３のガイドを含む。
アンカー点が位置する箇所にて交わる表面から垂直に延びるガイドを表示することにより、ユーザが関心を持ち得る１つ以上の測定値が作成される向きを識別する視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的環境に対する１つ以上のカメラの移動を検出したことに応じて（９１８）、かつ、配置ユーザインタフェース要素（例えば、配置ユーザインタフェース要素の少なくとも一部）が、第１の種類の特徴及び第２の種類の特徴とは異なる、物理的環境内の第３の種類の特徴（例えば、物理的表面の縁部から離れた、物理的環境内の物理的表面）の表現の少なくとも一部の上にあるという判定に従い（ここで、配置ユーザインタフェース要素は、注釈配置入力を受信したことに応じて、仮想注釈が配置される視野の表現内の、それぞれの位置を示す）、コンピュータシステムは、（例えば、図５ＡＸ～５ＡＹに示すように）第３の種類の特徴から（例えば、物理的環境内での）垂直方向に対応する視野の表現内での向きに、それぞれの位置から延びるガイドを表示する。
フォーカスの点が、物理的表面の任意の縁部から離れた物理的表面上の位置に対応するときに、レチクルのフォーカスの点から垂直に延びるガイドを（例えば、任意選択的に、レチクルを任意のアンカー点にスナップすることなく）表示することにより、フォーカスの点が物理的表面の任意の縁部から離れており、ユーザが関心を持ち得る測定値が作成され得る向きを識別する視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれの組の１つ以上のガイドを表示することは、それぞれの組における各ガイドに対して、それぞれのガイドの第２の部分に対して、それぞれのガイドの第１の部分を視覚的に強調することを含み（９２０）、ここで、（例えば、図５ＡＳ～５ＡＵに示すように）第１の部分は、物理的環境内で物理的オブジェクトにより占有される物理的空間内での位置に対応し（例えば、これを示す、ここから（仮想感覚で）延びる、又はこの上に重なって表示される）、第２の部分は、物理的環境内で、物理的オブジェクトにより占有されない（例えば、任意の固体オブジェクト又は液体により占有されず、空気又は他の気体によってのみ占有される）物理的空間内での位置に対応する（例えば、これを示す、ここから（仮想感覚で）延びる、又はこの上に重なって表示される）。
物理的オブジェクトにより占有されない位置に対応するガイドの部分に対して、物理的オブジェクトにより占有される位置に対応するガイドの部分（例えば、空気を通って延びるのではなく、オブジェクトと交差するガイドの部分）を視覚的に強調することにより、（例えば、５ＡＮ、５ＡＰ～５ＡＳ、５ＡＵ～５ＡＶ、及び５ＡＸ～５ＡＹに示すように）ユーザに、物理的オブジェクトに対するガイドの位置、及び、物理的オブジェクトの表現により占有され得るガイドの部分の視認性の改善についての視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
（例えば、それぞれの組の１つ以上のガイドにおけるそれぞれの各ガイドに関する）いくつかの実施形態では、それぞれのガイドの第２の部分は、それぞれのガイドの第１の部分（例えば、第１の部分の終点）から第１の距離の第１の点、及び、それぞれのガイドの第１の部分（例えば、第１の部分の終点）から、第１の距離より大きい第２の距離の第２の点を含み、（９２２）第２の点は、第１の点に対して視覚的に強調をやめている（例えば影が付いている）（例えば、かつ両方の点が、それぞれのガイドの第１の部分に対して視覚的に強調をやめている）。いくつかの実施形態では、物理的オブジェクト（例えば、第１の部分が対応する物理的オブジェクト）から離れた物理的環境の中の物理的空間の点に対応する、第２の部分に沿った点は、（例えば、図５ＡＲ～５ＡＳに示すように）物理的オブジェクトに近い物理的空間の点に対応する第２の部分に沿った点に対して、視覚的に強調をやめている。いくつかの実施形態では、物理的オブジェクトから「離れて」延びれば延びるほどそれぞれのガイドの第２の部分は漸進的に強調をやめる（例えば、影が付く）（例えば、第２の部分に沿った点は、物理的空間内で対応する点が、物理的オブジェクトから遠く離れれば離れるほど、漸進的に影が付く。別の言い方をすれば、いくつかのシナリオにおいて、それぞれのガイドの第２の部分は、注釈配置ユーザインタフェース内での物理的オブジェクトの表現から遠くに延びれば延びるほど、漸進的に影が付く）。
物理的オブジェクトにより占有されていない位置に対応するガイドの部分を、漸進的に視覚的に強調をやめることにより、強調をやめた部分が、ユーザが測定値を作成するのにさほど関心がない可能性がある領域又は向きを示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれの組の１つ以上のガイドを表示することは、（例えば、図５ＡＲ～５ＡＵに示すように）経時的にアンカー点から漸進的に延びる１つ以上のガイドを示すアニメーションを表示することを含む（９２４）。いくつかの実施形態では、アニメーションは、それぞれの組の１つ以上のガイドが最初に、それぞれの種類の特徴に対応するアンカー点に関する配置ユーザインタフェース要素の外観の変化と組み合わせて表示されるときに、再生される。いくつかの実施形態では、アニメーションが再生された後に、配置ユーザインタフェース要素が、それぞれの種類の特徴の表現の部分の上に維持されながら、それぞれの組の１つ以上のガイドの表示が（例えば、アニメーションなしで）維持される（例えば、１つ以上のカメラの移動により、配置ユーザインタフェース要素が、アンカー点を含まない１つ以上のカメラの視野の表現の異なる部分に表示されるまで）。
レチクルのフォーカスの点（場合によってはアンカー点である）から、経時的に漸進的に延びる１つ以上のガイドを示すアニメーションを表示することにより、１つ以上のカメラを移動して、ユーザが関心を持ち得る測定値を作成する向きを示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図９Ａ～図９Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、１０００、１１００、１２００、１３００、１４００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図９Ａ～図９Ｃに関して上述した方法９００にも、類似の様式で適用可能であることに留意されたい。例えば、方法９００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、ガイド、アニメーション、並びに注釈は、任意選択的に、本明細書で記載される他の方法（例えば、方法８００、１０００、１１００、１２００、１３００、１４００、１５００、及び１６００）を参照して本明細書で記載される、ユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、ガイド、アニメーション、並びに注釈の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０Ａ～１０Ｃは、いくつかの実施形態に係る、拡張現実環境内でのユーザ入力に応じて、動的位置調整ガイドを提供する方法１０００を示すフローダイヤグラムである。方法１０００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１０００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、方法１０００は、部分的には、以前に表示されなかった１つ以上のガイドを表示することで、注釈がレチクルにより示される位置に追加されるときにどのガイドが表示されるかを優れて変更し、追加されている注釈の前に対象となる可能性のある向きとは異なり得る、注釈の位置から関心を持つ、対象となる向きを識別する視覚的フィードバックを、ユーザに提供する。改善された視覚的フィードバックをユーザに提供し、更なるユーザの入力を必要とすることなく操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステム（１００２）は、表示装置を介して、注釈配置ユーザインタフェース（例えば、拡張現実測定アプリケーションのユーザインタフェース）を表示し、注釈配置ユーザインタフェースは、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される、視野の表現（例えば、視野の表現は、視野の中での物理的環境の変化に基づき、かつ／又は、物理的環境のどの一部が視野の中にあるかを変化させる、１つ以上のカメラの移動に基づき、更新されたライブビューである）；及び、（例えば、レチクルの点又は他のマーカーを介して）仮想注釈（例えば、測定値の表現）が、注釈配置入力の受信に応じて、視野の表現に配置される位置を示す、配置ユーザインタフェース要素（例えばレチクル５０４－２）を含む。
配置ユーザインタフェース要素が、（例えば、物理的環境内の第１の物理的位置に対応する）視野の表現の第１の位置（例えば、第１のアンカー点）を示す間に、コンピュータシステムは、（例えば、図５ＡＱに示すように）第１の注釈配置入力（例えば、視野の表現の第１の位置における、仮想測定点などの仮想注釈を追加する要求に対応する入力）を受信する（１００４）。
第１の注釈配置入力を受信したことに応じて（１００６）、コンピュータシステムは、（例えば、図５ＡＲに記載されているように）視野の表現の第１の位置において（例えば仮想）注釈（例えば、測定点）を表示し（１００８）、視野の表現の第１の位置から延びる１つ以上の第１のガイド（例えば、測定ガイド）を表示する（１０１０）。いくつかの実施形態では、１つ以上の第１のガイドは、（例えば、図５ＡＲに記載されているように）視野の表現内での注釈の落下位置に対応する、第１の物理的位置から物理的空間を通って延びる半直線（例えば、又は線若しくは線分）に沿った物理的環境内での物理的位置を示す。いくつかの実施形態では、配置ユーザインタフェース要素（例えばレチクル）が、（例えば、図５ＡＯ～５ＡＲに示すように）ガイドの半直線の閾値距離内にある物理的位置に対応する場合、配置ユーザインタフェース要素は、それぞれのガイド（例えば、「ガイドにスナップする」）に沿って位置を示すように制約される（例えば、配置ユーザインタフェース要素は、半直線の閾値距離内にある物理的位置に対応する視野の表現の位置を示す）
いくつかの実施形態では、配置ユーザインタフェース要素が、視野の表現の第１の位置を示す間に、第１の注釈配置入力を受信する前に、コンピュータシステムは、視野の表現の第１の位置から延びる１つ以上の第２のガイド（例えば、測定ガイド）（例えば、方法９００を参照して記載されている１つ以上のガイド）を表示し（１０１２）、第１の注釈配置入力を受信したことに応じて、コンピュータシステムは、１つ以上の第２のガイドの少なくともサブセットの表示を中止する。いくつかの実施形態では、１つ以上の第２のガイド全てが、第１の注釈配置入力に応じて、（例えば、図５ＡＵ～５ＡＶに示すように）表示が中止される（例えば、１つ以上の第１のガイドは、１つ以上の第２のガイドとは完全に異なっている）。いくつかの実施形態では、１つ以上の第２のガイドの第１サブセットの表示が中止され、第１の注釈配置入力を受信したことに応じて表示される１つ以上の第１のガイドは、（例えば、図５ＡＵ～５ＡＶに示すように）第１サブセットの表示が中止された後に表示されたままの、１つ以上の第２のガイドの第２サブセットである。
いくつかの実施形態では、第１の注釈配置入力を受信し、第１の位置にて注釈を、及び、第１の位置から延びる１つ以上の第１のガイドを表示した後、システムは１つ以上のカメラの移動を検出し、配置ユーザインタフェース要素は、（例えば、物理的環境の第２の物理的位置に対応する）視野の表現の中で、第１の位置とは異なる第２の位置（例えば、第１のアンカー点とは異なる第２のアンカー点）を示す。いくつかの実施形態では、配置ユーザインタフェース要素が第２の位置を示す間に、かつ、注釈配置入力を受信する前に、システムは、（例えば、図５ＡＳに示すように）第２の位置から延びる（例えば、１つ以上の第１のガイドに類似する、又は、１つ以上の第２のガイドに類似する）それぞれの組の１つ以上のガイドを表示する。いくつかの実施形態では、配置ユーザインタフェース要素が第２の位置を示す間に第２の注釈配置入力を受信したことに応じて、システムは、（例えば、図５ＡＵ～５ＡＶに示すように）第２の位置から延びる（例えば、１つ以上の第２のガイドに類似の、又は、１つ以上の第１のガイドに類似の）異なる組の１つ以上のガイドを表示する。
注釈を追加する前に表示された１つ以上のガイドを移動することで、取り除かれた、延びたガイドがユーザにとってもはや関心のない可能性があり、ユーザが、不必要なガイドを取り除くための入力を提供する必要なく、ユーザインタフェースが不必要なガイドで混乱することを避ける指示を示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供し、更なるユーザの入力を必要とすることなく操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の注釈配置入力を検出し、視野の表現の第１の位置から延びる１つ以上の第１のガイドを表示した後で（１０１４）、コンピュータシステムは、物理的環境に対する１つ以上のカメラの移動を検出し、物理的環境に対する１つ以上のカメラの移動を検出したことに応じて、コンピュータシステムは、（例えば、図５ＡＶ～５ＡＷに示すように）（例えば、１つ以上のカメラの移動方向に延びないガイドの表示を中止することを含む）１つ以上の第１のガイドのサブセットを表示することを中止する。
１つ以上のカメラの移動に応じて１つ以上のガイドを取り除くことにより、ユーザが、不必要なガイドを取り除くための入力の提供を必要とせず、（例えば、移動方向とは異なる向きに延びる、取り除かれたガイドにより）ユーザにとってもはや関心のない可能性の高いガイドを表示することを避ける。操作を（例えば自動的に）実施し、ユーザインタフェースでの混乱を低減することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的環境に対する１つ以上のカメラの移動は、第１の向きへの移動を含み（１０１６）、１つ以上の第１のガイドのサブセットの表示を中止することは、（例えば、図５ＡＴに示すように）第１の向きに延びないあらゆるガイドの表示を中止することを含む。例えば、物理的空間内で垂直線に対応する複数のガイドが表示され、１つ以上のカメラの移動が、垂直線のうちの１つに対応する向きへのものである場合において、その垂直線に関するガイドの表示は維持され、他の垂直線（単数又は複数）に対応するガイドの表示は中止される。
１つ以上のカメラの移動方向以外への向きに延びる１つ以上のガイドを取り除くことにより、ユーザが、不必要なガイドを取り除くための入力を提供する必要なく、ユーザにとってもはや関心のない可能性の高いガイドの表示を避ける。操作を（例えば自動的に）実施し、ユーザインタフェースでの混乱を低減することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、１つ以上のカメラの移動に従い、配置ユーザインタフェース要素は、第１の位置とは異なる第２の位置を示し（１０１８）、１つ以上の第１のガイドのサブセットの表示を中止することは、（例えば、図５ＡＲ～５ＡＳに示すように）第１の位置に対応し、第２の位置に対応しない、１つ以上の第１のガイドのうちのあらゆるガイドの表示を中止することを含む。
１つ以上のカメラの移動が、配置ユーザインタフェース要素をその位置から離して移動するときに、特定の位置から延びる１つ以上のガイドを取り除くことにより、ユーザが、不必要なガイドを取り除くための入力を提供する必要なく、ユーザにとってもはや関心のない可能性の高いガイドの表示を避ける。操作を（例えば自動的に）実施し、ユーザインタフェースでの混乱を低減することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の注釈配置入力を検出し、視野の表現の第１の位置から延びる１つ以上の第１のガイドを表示した後で、コンピュータシステムは、第１の向きへの移動を含む、物理的環境に対する１つ以上のカメラの移動を検出し（１０２０）、第１の向きへのへの１つ以上のカメラの移動の検出に応じて、１つ以上の第１のガイドのそれぞれのガイドが第１の向きに延びるという判定に従い、コンピュータシステムは、（例えば、図５ＡＳ～５ＡＵに示すように）それぞれのガイドの少なくとも一部の表示を維持する。
１つ以上のカメラの移動方向に延びる１つ以上のガイドの表示を続けることにより、関心のある可能性がある向きを識別する視覚的フィードバックをユーザに提供し、１つ以上のカメラを同じ向きにユーザが移動させ続けるのを補助する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれのガイドの少なくとも一部の表示を維持することは、（例えば、図５ＡＲ～５ＡＳに示すように）第１の位置から第１の向きに延びるそれぞれのガイドの部分（例えば、任意の部分）の表示を維持することと、第１の位置から第１の向きとは反対の向きに延びるそれぞれのガイドの部分（例えば、任意の部分）の表示を中止することと、を含む（１０２２）。例えば、第１のガイドは、第１の位置を含む線に従い、その線は、第１の位置から第１の向きに延びる第１の半直線、及び、第１の位置から、第１の半直線とは正反対（例えば、１８０度）の向きに延びる第２の半直線を含み、１つ以上のカメラの移動を検出したことに応じて、第１の半直線に対応する（例えば、これに重なり合う）第１のガイドの第１の部分は表示が続けられ、第２の半直線に対応する（例えば、これと重なり合う）第１のガイドの第２の部分は、表示が中止される。
１つ以上のカメラの移動方向に延びるガイドが表示される場合、（例えば、１つ以上のカメラの移動とは逆の半直線に沿って）１つ以上のカメラの移動方向とは反対に追加される注釈から延びるガイドの一部を取り除くことにより、ユーザが、不必要なガイドを取り除くための入力を提供する必要なく、ユーザにとってもはや関心のない可能性の高いガイド及びガイドの一部の表示を避ける。操作を（例えば自動的に）実施し、ユーザインタフェースでの混乱を低減することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１０Ａ～図１０Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１１００、１２００、１３００、１４００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図１０Ａ～図１０Ｃに関して上述した方法１０００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１０００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、ガイド、アニメーション、並びに注釈は、任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１１００、１２００、１３００、１４００、１５００、及び１６００）を参照して本明細書で記載される特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１Ａ～１１Ｅは、いくつかの実施形態に係る、拡張現実環境内の検視内にある物理的特徴の種類に基づき、自動的に注釈モードを変更する方法１１００を示すフローダイヤグラムである。方法１１００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１１００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、方法１１００は、レチクルが移動されると、レチクルが配置される異なる種類の物理的特徴に基づいて、注釈配置ユーザインタフェースの注釈モードを優れて変更し、これにより、（例えば、図５ＢＴ～５ＣＤに示すように）レチクルのフォーカスの点にある物理的特徴の種類についての視覚的フィードバックをユーザに提供し、ユーザが、どの注釈モードを使用するかを特定する入力を提供する必要なく、ユーザが、物理的特徴を、特定の種類の物理的特徴に関係する注釈で注釈するのを補助する。改善された視覚的フィードバックをユーザに提供し、更なるユーザの入力を必要とすることなく操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、表示装置を介して、注釈配置ユーザインタフェース（例えば、拡張現実測定プリケーションのユーザインタフェース）を表示し（１１０２）、注釈配置ユーザインタフェースは、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される、視野の表現（例えば、視野の表現は、視野の中での物理的環境の変化に基づき、かつ／又は、物理的環境のどの一部が視野の中にあるかを変化させる、１つ以上のカメラの移動に基づき、更新されたライブビューである）；及び、（例えば、図５ＢＴ～５ＢＺ、及び５ＣＧ～５ＣＨに示すように）仮想注釈（例えば、測定点又はセグメント）が、注釈配置入力を受信したことに応じて、視野の表現に配置される場所を示す、配置ユーザインタフェース要素（例えばレチクル）を含む。
注釈配置ユーザインタフェースを表示している間に、（例えば、図５ＢＴ～５ＢＺ、及び５ＣＧ～５ＣＨに示すように）コンピュータシステムは、物理的環境に対する１つ以上のカメラの移動を検出する（１１０４）。
物理的環境に対する１つ以上のカメラの移動を検出したことに応じて（１１０６）、コンピュータシステムは、（例えば、図５ＢＵ～５ＢＸに示すように）１つ以上のカメラの移動に基づき視野の表現を更新し、配置ユーザインタフェース要素が、物理的環境内にある第１の種類の物理的特徴（例えば３次元オブジェクト）の表現の少なくとも一部の上にあるという判定に従い、注釈配置ユーザインタフェースが、第１の種類の注釈の追加と関連する第１の注釈モード（長さ、幅、高さ、面積、及び／又は体積の測定値などの３次元オブジェクトの測定値の追加と関連した３次元測定モード）で稼働していることを示す、第１モードのインジケーション（例えば、現在の注釈モードを示す、配置ユーザインタフェース要素及び／又は選択インジケータの、モードに依存した外観）を表示する。いくつかの実施形態では、第１モードのインジケーションは、注釈配置ユーザインタフェースを第１の注釈モードに遷移することと組み合わされて表示される（例えば、第１の注釈モード以外のそれぞれの注釈モードから、及び任意選択的に、それぞれの注釈モードに対するそれぞれのモードインジケーションの表示を中止することと組み合わされて）。
第１モードのインジケーションを表示している間に、コンピュータシステムは、（例えば、図５ＢＸ～５ＢＹに示すように）物理的環境に対する１つ以上のカメラの後続の移動を検出する（１１０８）。
物理的環境に対する１つ以上のカメラの後続の移動を検出したことに応じて（１１１０）、コンピュータシステムは、（例えば、図５ＢＺ～５ＣＤに示すように）１つ以上のカメラの後続の移動に基づき視野の表現を更新し、配置ユーザインタフェース要素が、物理的環境内の第２の種類の物理的特徴の表現（例えば、３次元物理的オブジェクトの２次元（例えば平面又は平坦な）表面）の少なくとも一部の上にあるという判定に従い、注釈配置ユーザインタフェースが、第１の種類とは異なる第２の種類の注釈を追加することと関連する、第１の注釈モードとは異なる第２の注釈モードで稼働していることを示す、第２モードのインジケーション（例えば現在の注釈モードを示す配置ユーザインタフェース要素及び／又は選択インジケータの、注釈モードに依存した外観）を表示する（例えば、第２モードのインジケーションは、物理的オブジェクトの長さ、幅、及び／又は表面積の測定値などの、２次元オブジェクトの特徴の測定値の追加に関連する２次元測定モードを示す）（例えば、第２モードのインジケーションは、注釈配置ユーザインタフェースの、第１の注釈モードから第２の注釈モードへの遷移、及び、第１モードのインジケーションの表示の中止と組み合わせて表示される）。
いくつかの実施形態では、上述の種類の物理的特徴としては、３次元オブジェクト、２次元（例えば、平面、平坦）表面、１次元の特徴（例えば、直線状のオブジェクトの縁部）、フロアプランなど（例えば、図５ＢＵ～５ＢＸに示すテーブル、並びに、図５ＢＸ～５ＢＺ、及び５ＣＡ～５ＣＤに示す雑誌の物理的特徴）が挙げられる。いくつかの実施形態では、配置ユーザインタフェース要素が、物理的環境内の第３の種類の物理的特徴（例えば、１次元オブジェクト）の表現の少なくとも一部の上にある（例えば、その上に移動した）という判定に従い、注釈配置ユーザインタフェースが、（例えば、図５ＣＨ～５ＣＬに示すように）第３の種類の注釈の追加に関連する第３の注釈モード（例えば、物理的環境での線分の長さの測定値などの、１次元オブジェクトの特徴（例えば物理的オブジェクトの直線縁部）の測定値の追加と関連する１次元測定モード）で稼働しているというインジケーションが表示される。
いくつかの実施形態では、それぞれの種類の物理的特徴は３次元オブジェクトであり（１１１２）、配置ユーザインタフェース要素が３次元オブジェクトの表現の少なくとも一部の上にあるという判定に従い表示されるそれぞれのモードインジケーションは、（例えば、図５ＢＺに示すように）注釈配置ユーザインタフェースが、３次元オブジェクトの注釈（例えば、３次元物理的オブジェクトの、１つ以上の表面の長さ、幅、高さ、面積、及び／又は体積の測定値）の追加と関連するそれぞれの注釈モードで稼働していることを示す。
３次元オブジェクトの上に配置されているレチクルに従い、注釈モードを３次元オブジェクト注釈モードに自動的に変更することにより、ユーザが、３次元の特徴を注釈することが可能になり、どの注釈モードを使用するかを特定する入力をユーザが提供する必要なく、注釈が、フォーカスの点にある特定の種類の物理的特徴に確実に関連することを補助する。ユーザインタフェースが、追加で表示される制御により混乱することなく、又は、更なるユーザの入力を必要とすることなく、更なる制御オプションを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれの種類の物理的特徴は２次元表面であり（１１１４）、配置ユーザインタフェース要素が２次元表面の表現の少なくとも一部の上にあるという判定に従い表示されるそれぞれのモードインジケーションは、（例えば、図５ＣＡ～５ＣＤに示すように）注釈配置ユーザインタフェースが、２次元表面の注釈（例えば、物理的表面の長さ、幅、及び／又は面積の測定値）の追加に関連するそれぞれの注釈モードで稼働していることを示す。
２次元の特徴の上に配置されているレチクルに従い、注釈モードを２次元表面（例えば面積）注釈モードに自動的に変更することにより、ユーザが、２次元の特徴を注釈することが可能になり、どの注釈モードを使用するかを特定する入力をユーザが提供する必要なく、注釈が、フォーカスの点にある特定の種類の物理的特徴に確実に関連することを補助する。ユーザインタフェースが、追加で表示される制御により混乱することなく、又は、更なるユーザの入力を必要とすることなく、更なる制御オプションを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれの種類の物理的特徴は、１次元の特徴（例えば、２つの表面が交わる直線縁部などの線分）であり（１１１６）、配置ユーザインタフェース要素が１次元の特徴の表現の少なくとも一部の上にあるという判定に従い表示されるそれぞれのモードインジケーションは、（例えば、図５ＣＨ～５ＣＬに示すように）注釈配置ユーザインタフェースが、１次元の特徴の注釈（例えば、視野の表現内で、ユーザ入力により選択される一対の測定点に対応する物理的位置の距離の測定値（例えば、物理的環境内の線分の長さ））の追加と関連するそれぞれの注釈モードで稼働していることを示す。
１次元の特徴の上に配置されているレチクルに従い、注釈モードを１次元（例えば２地点）距離注釈モードに自動的に変更することにより、ユーザが、１次元の特徴を注釈することが可能になり、どの注釈モードを使用するかを特定する入力をユーザが提供する必要なく、注釈が、フォーカスの点にある特定の種類の物理的特徴に確実に関連することを補助する。ユーザインタフェースが、追加で表示される制御により混乱することなく、又は、更なるユーザの入力を必要とすることなく、更なる制御オプションを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、正投影モデリングモードを選択する要求に対応する入力を受信し（１１１８）、正投影モデリングモードを選択する要求に対応する入力の受信に応じて、コンピュータシステムは、注釈配置ユーザインタフェースが正投影モデリングモードで稼働していることを示すインジケーションを表示する。注釈配置ユーザインタフェースが正投影モデリングモードで稼働しているというインジケーションは、方法１５００を参照して、本明細書で更に詳細に記載される。いくつかの実施形態では、正投影モデリングモードは、物理的環境についての情報（例えば深度情報）がキャプチャされ、任意選択的にこれを使用して、物理的環境の正投影ビュー（例えば上部正投影ビュー、又はフロアプラン）を生成するモードである。いくつかの実施形態では、正投影モデリングモードを選択する要求に対応する入力は、正投影モデリングモードに対応するそれぞれのユーザインタフェース要素を選択する、又は、現在の（例えば、正投影モデリングモードではない）注釈モードから、次の、又は以前の注釈モード（例えば、かつ、正投影モデリングモードはそれぞれ、次の、又は以前の注釈モードである）に遷移することを要求するユーザ入力を含む。いくつかの実施形態では、正投影モデリングモードを選択する要求に対応する入力は、注釈配置ユーザインタフェースが、正投影モデリングモードと関連するある種類の物理的特徴（例えば、物理的環境の床）の表現の少なくとも一部の上にくるように、１つ以上のカメラを移動することを含む。
注釈配置ユーザインタフェースの正投影モデリングモードを提供し、注釈配置ユーザインタフェースが、その選択に応じて正投影モデリングモードで稼働しているインジケーションを表示することにより、ユーザに更なる制御オプション、及び、注釈配置ユーザインタフェースが稼働している現在の注釈モードについての改善された視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、注釈配置ユーザインタフェースは、第１及び第２の注釈モードを含む複数の注釈モードのそれぞれの注釈モードに各々が対応する、複数のユーザインタフェース要素を含み（１１２０）、第２モードのインジケーションを表示することは、第２の注釈モードに対応する複数のユーザインタフェース要素のそれぞれのユーザインタフェース要素の上に、選択インジケータ（例えば、図５ＣＡ及び５ＣＦの選択インジケータ５３７）を表示することを含む。いくつかの実施形態では、注釈配置ユーザインタフェースが第２の注釈モードで稼働していることを示す第２モードのインジケーションを表示している間に、コンピュータシステムは、第２の注釈モードとは異なる第３の注釈モードを選択する要求に対応するユーザ入力を受信する（例えば、第３の注釈モードは、第２の注釈モード以外の複数の注釈モードのうちのいずれか１つである）。いくつかの実施形態では、第３の注釈モードを選択する要求に対応するユーザ入力の受信に応じて、コンピュータシステムは、複数のユーザインタフェース要素内で、第３の注釈モードに対応する第３のユーザインタフェース要素の上に選択インジケータを表示する（ここで、第３のユーザ要素は、それぞれのユーザ要素とは異なる）（例えば、第３のユーザインタフェース要素は、それぞれのユーザインタフェース要素外の複数のユーザインタフェース要素のうちの任意の１つである）ことを含む、注釈配置ユーザインタフェースが第３の注釈モードで稼働していることのインジケーションを表示する。
いくつかの実施形態では、第３の注釈モードを選択する要求に対応するユーザ入力は、１つ以上のカメラの移動以外のユーザ入力である。いくつかの実施形態では、ユーザ入力は、第３のユーザインタフェース要素に対応するタッチ感知面上の位置におけるタッチ入力（例えばタップジェスチャ）を含む。いくつかの実施形態では、ユーザ入力は、（例えば、図７Ａ～７Ｄを参照して記載されているように）（例えば、複数の注釈モードの所定の順序に従い）複数の注釈モードにおける次の、又は以前の注釈モードへの遷移を要求する、（例えば、必ずしも第３のユーザインタフェース要素である必要はないが）注釈配置ユーザインタフェースに対応する位置におけるタッチ感知面を交差する移動を含むタッチ入力（例えばスワイプジェスチャ）を含む。いくつかの実施形態では、タッチ入力の第１の向きへの移動は、次のモードへの遷移の要求に対応する。いくつかの実施形態では、タッチ入力の、第１の向きとは反対の第２方向への移動は、以前の注釈モードへの遷移の要求に対応する。いくつかの実施形態では、ユーザ入力を受信したことに応じて、アニメーション化された遷移（例えば、注釈ユーザインタフェースを簡潔にぼやけさせる、かつ／又はぼかすこと）が表示され、第２の注釈モードから、ユーザが選択した第３の注釈モードへの遷移を示す。いくつかの実施形態では、ユーザ入力の受信に応じて注釈配置ユーザインタフェースから第３の注釈モードに遷移するに従い、配置ユーザインタフェース要素の外観が、第２の注釈モードに対応する外観から第３の注釈モードに対応する外観に変化する。
注釈配置ユーザインタフェースのそれぞれの注釈モードに各々対応し、注釈配置ユーザインタフェースを、対応するそれぞれの注釈モードにアクティベーション可能な複数のユーザインタフェース要素を表示することにより、ユーザが複雑なメニュー階層をナビゲートする必要なく、利用可能な注釈配置ユーザインタフェースの機能性に素早くかつ容易に、ユーザがアクセスできる。更なる制御オプションを提供し、操作を実施するのに必要な入力数が減少することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、注釈配置ユーザインタフェースは、第１及び第２の注釈モードを含む複数の注釈モードのそれぞれの注釈モードに各々が対応する、複数のユーザインタフェース要素を含み（１１２２）、第１モードのインジケーションを表示することは、注釈配置ユーザインタフェース要素（例えばレチクル５０４）を、第１の注釈モードと関連する第１の外観で表示することを含み、第２モードのインジケーションを表示することは、注釈配置ユーザインタフェース要素を、第２の注釈モードと関連する、第１の外観とは異なる第２の外観で表示することを含む（例えば、図５ＢＵ～５ＢＶ、５ＣＡ～５ＣＤ、及び５ＣＧ～５ＣＭは、３つの異なる注釈モードに対して３つの異なる外観を有するレチクル５０４を示す）。
異なる注釈モードに対して異なる外観で配置ユーザインタフェース要素を表示することにより、注釈配置ユーザインタフェースが稼働している現在の注釈モードについて、及び、注釈配置ユーザインタフェースの（例えば、レチクルにより示される）フォーカスの点における、及び測定され得る特徴の種類についての視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１モードのインジケーションを表示することは、（例えば、図５ＢＴに示すように）第１の注釈モードに対応する複数のユーザインタフェース要素の第１のユーザインタフェース要素の上に選択インジケータ（例えば選択インジケータ５３７）を表示することを含む（１１２４）。いくつかの実施形態では、注釈配置ユーザインタフェース要素が、第１の種類の物理的オブジェクトの表現の少なくとも一部の上にあるという判定の前に受信した、第１のユーザインタフェース要素を選択する要求、又は、注釈モードを第１の注釈モードに変更する要求に対応する、（例えば図５ＢＳに示す）ユーザ入力に応じて、選択インジケータが第１のユーザインタフェース要素の上に表示される。いくつかの実施形態では、選択インジケータは、注釈配置ユーザインタフェース要素が、第１の種類の物理的オブジェクトの表現の少なくとも一部の上にあるという判定に従い、（例えば、第１のユーザインタフェース要素を選択する要求に対応するユーザ入力を受信することなく）第１のユーザインタフェース要素の上に表示される。いくつかの実施形態では、注釈配置ユーザインタフェースが第４の注釈モード（例えば自動測定モード）で（例えば、ここでもまた）稼働していないという判定に従い、選択インジケータは、第１のユーザインタフェース要素の上に表示される。
いくつかの実施形態では、第２モードのインジケーションを表示することは、（例えば図５ＣＡに示すように）第２の注釈モードに対応する、複数のユーザインタフェース要素のうちの、第１のユーザインタフェース要素とは異なる第２のユーザインタフェース要素の上に選択インジケータを表示することを含む。いくつかの実施形態では、選択インジケータは、配置ユーザインタフェース要素が、第２の種類の物理的オブジェクトの表現の少なくとも一部の上にあるという判定に従い、（例えば、第２のユーザインタフェース要素を選択する要求に対応するユーザ入力を受信することなく）第２のユーザインタフェース要素の上に表示される。いくつかの実施形態では、注釈配置ユーザインタフェースが第４の注釈モード（例えば自動測定モード）で（例えば、ここでもまた）稼働していないという判定に従い、選択インジケータは、第２のユーザインタフェース要素の上に表示される。
注釈モードが変化すると、異なる注釈モードの注釈配置ユーザインタフェースを表現する異なるユーザインタフェース要素の上に選択インジケータを表示することにより、注釈配置ユーザインタフェースが稼働している現在の注釈モードについての視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１モードのインジケーションを表示することは、（例えば、自動測定モードアイコン６０５－１の上に選択インジケータ６３５がある、図６Ｂに示すように）第１の注釈モード及び第２の注釈モードとは異なる、第４の注釈モード（例えば、どの種類のオブジェクトが、配置ユーザインタフェース要素の位置における視野の表現の中にあるかに基づき、測定モードが（例えば、複数の注釈モードの他の注釈モードとの間で）自動的に変更される、自動測定モード）に対応する、複数のユーザインタフェース要素のうちの第４のユーザインタフェース要素の上に選択インジケータを表示することを含む（１１２６）。いくつかの実施形態では、第２モードのインジケーションを表示することは、第４の注釈モードに対応するユーザインタフェース要素（例えば、同じ自動測定モードに対応する、同じユーザインタフェース要素）の上に選択インジケータを表示することを含む。いくつかの実施形態では、第４の注釈モードは、（例えば、どの種類のオブジェクトが、配置ユーザインタフェース要素の位置における視野の表現の中にあるかに基づき）注釈モードが複数の注釈モードの中の他の注釈モードと自動的に変わるモードの操作であり、故に、第４の注釈モードでの操作は、第１の注釈モード又は第２の注釈モードなどの別の注釈モードにおける操作と同時であることができ、選択インジケータは、自動的に注釈モードを変更する間は（例えば、異なる注釈モードに対応する異なるユーザインタフェース要素がユーザにより手動で選択されるまで）、第４の注釈モードに対応するユーザインタフェース要素の上に表示されたままである。
特定の注釈モードの注釈配置ユーザインタフェースを表現する同じユーザインタフェース要素の上に選択インジケータの表示を維持しながら、異なる注釈モードに対して異なる外観で配置ユーザインタフェース要素を表示することにより、注釈配置ユーザインタフェースの（例えば、レチクルにより示される）フォーカスの点における、及び、測定され得る特徴の種類についての視覚的フィードバックもまた、ユーザに提供しながら、（例えば、選択インジケータにより示される）注釈配置ユーザインタフェースが稼働している現在の注釈モードが、複数の種類の注釈を追加することができるものであるという視覚的フィードバックをユーザに提供する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１１Ａ～１１Ｅにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１０００、１２００、１３００、１４００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図１１Ａ～図１１Ｅに関して上述した方法１１００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１１００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、注釈モード、並びにモードインジケーションは任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１０００、１２００、１３００、１４００、１５００、及び１６００）を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、特徴の種類、注釈モード、並びにモードインジケーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２Ａ～１２Ｃは、いくつかの実施形態に係る、注釈セッションの間に注釈配置ユーザインタフェースを使用して加えられた注釈の一覧を含む、セッション履歴を表示する方法１２００を示す。方法１２００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１２００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、方法１２００は、システムが、現在の注釈セッションの間に注釈配置ユーザインタフェースに追加された全ての注釈のリスト（例えばスクロール可能なリスト）を提示し、ユーザが、複雑なメニュー階層をナビゲートする必要なく、又は、各注釈を個別に配置して双方向作用させる必要なく、ユーザが、一緒に注釈を確認し、注釈を管理（例えば名称変更、削除など）することを可能にする（例えば図５ＡＺに示すような）セッション履歴ユーザインタフェースを提供する。操作を実施するのに必要な入力数を減少させながら、ユーザインタフェースが多数の表示される制御で混乱することなく、更なる制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、注釈配置ユーザインタフェース（例えば、拡張現実測定アプリケーションのユーザインタフェース、又は、イメージ確認アプリケーションなどの別のアプリケーションの拡張現実測定モードのユーザインタフェース）を表示する要求に対応する第１の入力（例えば、図５ＡＹに示すような、測定リストボタン５０６上での入力５３４）を受信する（１２０２）。
第１の入力を受信したことに応じて、コンピュータシステムは、表示装置を介して、注釈配置ユーザインタフェースを表示し（１２０４）、注釈配置ユーザインタフェースは、１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、１つ以上のカメラの視野の表現であって、視野の表現は、視野の中での変化に基づき、経時的に更新される、視野の表現（例えば、視野の表現は、視野の中での物理的環境の変化に基づき、かつ／又は、物理的環境のどの一部が視野の中にあるかを変化させる、１つ以上のカメラの移動に基づき、更新されたライブビューである）、（例えば、レチクルの点又は他のマーカーを介して）仮想注釈（例えば、測定値の表現）が、注釈配置入力の受信に応じて、視野の表現に配置される位置を示す、インタフェース要素（例えばレチクル）；及び、（例えば、アクティベーションして現在の注釈セッションの間に作成される注釈のリストを表示可能な）セッション履歴ユーザインタフェース要素を含む（例えば、図５Ｃ～５ＡＹのいずれかに示すような）。
注釈配置ユーザインタフェースを表示する間（例えば、表示装置の更新速度、及び／又は１つ以上のカメラの視野の変化に基づき、注釈配置ユーザインタフェースを連続して更新することを含む、注釈配置ユーザインタフェースを同時に表示する間）、コンピュータシステムは、視野の表現を注釈する複数の要求に対応する１組の入力を受信し（１２０６）、１組の入力を受信したことに応じて、コンピュータシステムは、第１の注釈及び第２の注釈を、１つ以上のカメラの視野の表現に追加する。いくつかの実施形態では、第１の注釈（例えば、第１の測定値の第１の表現）及び第２の注釈（例えば、第２の測定値の第２の表現）は、同時に表示される。いくつかの実施形態では、第１の注釈は、第２の注釈が表示される前に表示が中止される。いくつかの実施形態では、第１の注釈は第２の注釈とは別個である（例えば、第１の注釈は第２の注釈と接続していない、かつ／又は、第１の注釈は３次元の物理的環境の第１の部分と関連している、及び、第２の注釈は、３次元の物理的環境の第１の部分とは異なる３次元の物理的環境の第２の部分と関連している）（例えば、図５Ｅ～５ＡＸは、取得されている測定値を示す）。
第１の注釈及び第２の注釈を、１つ以上のカメラの視野の表現に加えた後で（又は、いくつかの実施形態では、物理的環境の第１の部分及び第２の部分を測定した後で、及び任意選択的に、第１の測定値の第１の表現、及び／又は第２の測定値の第２の表現を表示した後で）（及び任意選択的に、注釈配置ユーザインタフェースの表示を続けながら）、コンピュータシステムは、（例えば図５ＡＹ～５ＡＺに示すように）セッション履歴ユーザインタフェース要素のアクティブ化に対応する入力を受信する（１２０８）。
いくつかの実施形態では、セッション履歴ユーザインタフェース要素のアクティブ化に対応する入力を受信したことに応じて、コンピュータシステムは、（例えば、注釈配置ユーザインタフェースの少なくとも一部の上に）（例えば、図５ＡＺに示すように）第１の注釈の表現及び第２の注釈の表現を同時に表示することを含む、第１の注釈及び第２の注釈を含む注釈のリストの少なくとも一部を表示する（１２１０）。いくつかの実施形態では、注釈のリスト（例えば、又はその一部）は、注釈配置ユーザインタフェースの表示を続けながら表示される（例えば、リストは注釈配置ユーザインタフェース内で、又は、注釈配置ユーザインタフェースに部分的に重なり合うユーザインタフェース内で表示される）。いくつかの実施形態では、リストは、注釈配置ユーザインタフェースの表示を置き換えるユーザインタフェース内で表示される。
いくつかの実施形態では、システムは、（例えば、物理的環境の第１の部分に対応する視野の表現の第１の部分を測定する第１の要求を含み、物理的環境の第２の部分に対応する視野の表現の第２の部分を測定する第２の要求を含む）視野の表現を測定する複数の要求に対応する１組の入力を受信する（例えば、図５Ｅ～５ＡＸは、取得されている測定値を示す）。いくつかの実施形態では、１組の入力を受信したことに応じて、システムは、任意選択的に、物理的環境第１の部分の第１の測定値の第１の表現を表示する（例えば、視野の表現に追加する）物理的環境の第１の部分を測定し、任意選択的に、物理的環境の第２の部分の第２の測定値の第２の表現を表示する、物理的環境の第２の部分を測定する。いくつかの実施形態では、第１の測定値の第１の表現及び第２の測定値の第２の表現は同時に表示される。いくつかの実施形態では、第１の測定値の第１の表現は、第２の測定値の第２の表現が表示される前に表示が中止される。いくつかの実施形態では、第１の測定値の第１の表現は第２の測定値の第２の表現とは別個である。いくつかの実施形態では、第１の部分及び第２の部分を測定した後で、及び任意選択的に、第１の測定値の第１の表現及び／又は第２の測定値の第２の表現を表示した後で（及び任意選択的に、注釈配置ユーザインタフェースの表示を続けながら）、システムは、セッション履歴ユーザインタフェース要素のアクティブ化に対応する入力を受信し、これに応じて、システムは、第１の測定値及び第２の測定値を含む測定値のリストの少なくとも一部（例えば、一部又は全て）を表示する。いくつかの実施形態では、測定値のリストの少なくとも一部を表示することは、（例えば、図５ＡＺに示すように）第１の測定値の表現（例えば、第１の測定値に対応し、第１の測定値の第１の表現を含む第１のリスト要素）、及び、第２の測定値の表現（例えば、第２の測定値に対応し、第２の測定値の第２の表現を含む第２のリスト要素）を同時に表示することを含む。
いくつかの実施形態では、注釈のリストの表示される部分は、（例えば、図５ＡＺに示すように）注釈配置ユーザインタフェースの一部の上に（例えば、リストユーザインタフェースパネル内に）表示される（１２１２）。いくつかの実施形態では、注釈のリストの表示される部分は、注釈のリスト全体を含む。いくつかの実施形態では、注釈のリストの表示される部分は、注釈のリスト内の、部分的な１組の注釈を含み、リスト内での追加の注釈は、リストをスクロールすることで確認可能である（例えば、表示されている注釈のリストをスクロール要求に対応する、上方又は下方ドラッグジェスチャなどの入力に応じて、追加の注釈が表示され、対応する数の表示されている注釈の表示が中止される）。いくつかの実施形態では、注釈のリストの少なくとも一部を表示することにより、ディスプレイ上での注釈配置ユーザインタフェースの表示が置き換わる。
現在の注釈セッションの間に注釈配置ユーザインタフェースに追加されている注釈のリストを、注釈配置ユーザインタフェースの一部の上に提示することにより、注釈配置ユーザインタフェースを使用するために、ユーザが注釈のリストを出る必要なく、ユーザが、（例えば、背景の１つ以上のカメラのライブビューにより）注釈配置ユーザインタフェースの少なくとも一部を確認し続け、かつこれと双方向作用することも可能にしながら、ユーザが、注釈のリストを確認し、これと双方向作用することが可能となる。操作を実施するのに必要な入力数を減少させる更なる制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、注釈のリスト内のそれぞれの注釈は、物理的環境内の物理的特徴に対応し（１２１４）、注釈のリストの表示される部分の中に表示されるそれぞれの注釈の表現は、物理的特徴を記載する文字ラベルを含み、この例を図５ＡＺに示す。いくつかの実施形態では、文字ラベルの文字は、１つ以上のカメラの視野の表現の上で実施される特徴及びオブジェクトの認識（例えば、１つ以上のカメラの視野の表現の中の物理的特徴の表現の上で実施されるオブジェクト認識を含む）に基づき、システムにより定性的に（例えば自動的に）判定される。いくつかの実施形態では、注釈のリスト内の各リスト項目は、それぞれの物理的特徴に対応し、表示される場合、（例えば、図５ＡＺ～５ＢＡに示すように）対応する物理的特徴を記載する文字ラベルを含む。
注釈された物理的特徴の説明を注釈のリストの中に提供することにより、任意選択的に、ユーザが情報を特定する必要なくシステムにより作成された物理的特徴についての判定に基づき、ユーザが注釈した物理的特徴についての情報を含む視覚的フィードバックが、ユーザに提供される。ユーザに改善された視覚的フィードバックを提供し、任意選択的に、更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴は物理的オブジェクトであり（１２１６）、物理的特徴を記載する文字ラベルは、（例えば、図５ＡＺ～５ＢＡに示すように）物理的オブジェクトをそれぞれの種類のオブジェクト（例えば椅子、テーブル、ランプなど）に分類する。
注釈された物理的特徴の説明を分類することにより、任意選択的に、ユーザが情報を特定する必要なくシステムにより作成された物理的特徴についての判定に基づき、ユーザが注釈した物理的特徴についての情報を含む視覚的フィードバックが、ユーザに提供される。ユーザに改善された視覚的フィードバックを提供し、任意選択的に、更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれの注釈は物理的特徴の測定値に対応し（１２１８）、それぞれの注釈の表現は、（例えば、図５ＡＺ～５ＢＡに示すような）測定値の数値を含む。いくつかの実施形態では、測定値の数値は、物理的特徴及び物理的環境についての深度情報を使用して物理的特徴を測定するシステムにより定量的に（例えば自動的に）判定される。いくつかの実施形態では、それぞれの注釈の表現内での文字ラベルは、任意選択的に、物理的特徴の表現上で実施されるオブジェクト認識に基づく、測定値を、ある種類の測定値（例えば、高さ、幅、深さ、角度、面積、体積など）に分類することを含み、これらの例を図５ＡＺ～５ＢＡに示す。
物理的特徴の測定値を物理的特徴の注釈の一部として提供することにより、任意選択的に、ユーザが情報を特定する必要なくシステムにより作成された物理的特徴についての判定に基づき、ユーザが注釈した物理的特徴についての情報を含む視覚的フィードバックが、ユーザに提供される。ユーザに改善された視覚的フィードバックを提供し、任意選択的に、更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、注釈のリストの表示される部分におけるそれぞれの注釈の表現に対応する位置において、第１の入力（例えばタップジェスチャ）を受信し（１２２０）、第１の入力を受信したことに応じて（例えば、及び、入力が、タップジェスチャなどの特定の種類のジェスチャであるという判定に従い）、コンピュータシステムは、（例えば、図５ＢＡ～５ＢＢを参照して記載されているように）他の注釈の表現を表示すること（例えば、注釈のリスト内の注釈の任意の他の表示表現の表示を中止すること）なく、それぞれの注釈の表現を表示する。いくつかの実施形態では、他の注釈の表現の表示は、（例えば、図５ＢＡ～５ＢＢを参照して記載されているように）第１の入力を受信したことに応じてそれぞれの注釈の表現を表示している間に維持される（例えば、任意選択的に、それぞれの注釈についての追加の情報を含む、それぞれの注釈の表現は、注釈のリストの表示される部分以外の注釈ユーザインタフェースの異なる部分の中で、又はその上で表示され、注釈のリストの表示される部分は任意選択的に維持される）。
他の注釈の表現を表示することなく、注釈のリストからの単一の注釈の表現を表示することにより、気を逸らすことなく、単一の注釈についての情報が提供され、単一の注釈のみと双方向作用するのが容易になり、任意選択的に、ユーザに提示される単一の注釈についての、更なる双方向作用オプションが可能となる。ユーザに改善された視覚的フィードバックを提供し、追加で表示される制御を有するユーザインタフェースを混乱させることなく、追加の制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、それぞれの注釈の表現は、それぞれの注釈（例えば、それぞれの注釈の名前、又は、それぞれの注釈が対応する物理的特徴の説明）を記載する文字ラベルを含む（１２２２）。いくつかの実施形態では、他の注釈の表現を表示せずに、それぞれの注釈の表現を表示している間に、コンピュータシステムは、それぞれの注釈について記載する文字ラベルに対応する位置において、第２の入力（例えば、第２のタップジェスチャ）を受信し、第２の入力を受信したことに応じて（例えば、及び、第２の入力が、タップジェスチャなどの特定の種類のジェスチャであるという判定に従い）、コンピュータシステムは、（例えば、図５ＢＢ～５ＢＧを参照して記載されているように）文字ラベルの文字を編集する（例えば、文字ラベルの現在の文字を表示する文字編集領域を表示し、任意選択的に、キーボードユーザインタフェースを表示する）ために、１組のユーザインタフェース要素を表示する。
ユーザが、注釈のために文字ラベルを編集することができることにより、ユーザが、注釈がユーザインタフェース内でラベルされる方法を制御するようになり、後のレビュー時に注釈をユーザにどれがより良く知らせるかについての注釈に、ユーザが好む、又はより簡単に理解できる名称を割り当てることが可能となる。（例えば、任意選択的に、ラベルの選択時のユーザインタフェース要素を編集する文字を表示し、かつ任意選択的に、ユーザが編集を終えた後でユーザインタフェース要素を編集する文字を隠すことにより）ユーザに改善された視覚的フィードバックを提供し、追加で表示される制御を有するユーザインタフェースを混乱させることなく、追加の制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、他の注釈の表現を表示せずに、それぞれの注釈の表現を表示している間に、コンピュータシステムは、それぞれの注釈に対応する位置で、（例えば、上方ドラッグジェスチャなどのそれぞれの注釈と双方向作用するための追加のオプションを表示する要求に対応する）第３の入力を受信し（１２２４）、第３の入力を受信したことに応じて（例えば、及び、第３の入力が特定の種類のジェスチャ（例えば、第２の入力とは異なる種類のジェスチャ）であるという判定に従い）、コンピュータシステムは、（例えば、図５ＢＨ～５ＢＪに示すように）（例えば、それぞれの注釈の表現が表示されるユーザインタフェースの部分を拡大し、拡大部分の中で追加のユーザインタフェース要素を表示する）それぞれの注釈に対する追加のオプションに対応する、１組のユーザインタフェース要素を表示する。
いくつかの実施形態では、それぞれの注釈の表現は、それぞれの注釈に対応する物理的特徴の１つ以上の測定値を含み、それぞれの注釈に対する追加のオプションは、追加の測定値を含む。例えば、対応する物理的特徴は３次元物理的オブジェクトであり、それぞれの注釈の表現は、物理的オブジェクトの長さ、幅、及び／又は高さの測定値を含み、追加のオプションは、物理的オブジェクトの１つ以上の表面の面積、及び／又は物理的オブジェクトの体積の測定値を含む。いくつかの実施形態では、追加のオプションは、それぞれの注釈と双方向作用するためのオプションを含み、それぞれの注釈についての情報を共有するためのオプションを含み、これらとしては例えば、それぞれの注釈についての情報をコピーするためのユーザインタフェース要素、それぞれの注釈についての情報を含むメッセージの送信を開始するためのユーザインタフェース要素（例えばＳＭＳ／ＭＭＳ、Ｅメールなど）、及び／又は、それぞれの注釈についての情報を含むファイルの（例えば、近隣のシステムへの）無線伝送を開始するためのユーザインタフェース要素が挙げられる。いくつかの実施形態では、他の注釈の表現の表示は、第３の入力を受信したことに応じてそれぞれの注釈と双方向作用するための追加のオプションに相当する１組のユーザインタフェース要素を表示している間に維持される（例えば、それぞれの注釈の表現、及び／又は、追加の双方向作用オプションは、注釈のリストの表示される部分ではなく、注釈ユーザインタフェースの異なる部分の中で、又はその上で表示され、注釈のリストの表示される部分は任意選択的に維持される）。
単一の注釈の表示表現に対応する入力に応じて注釈と双方向作用するための追加のオプションを提供することにより、リスト内の他の注釈から気を逸らすことなく、単一の注釈用の追加のオプションが提供され、単一の注釈のみと双方向作用することが容易になり、同時に、リスト内に他の注釈の表現もまた表示されている間に、追加のオプションでユーザインタフェースが混乱することも回避される。追加で表示される制御を有するユーザインタフェースを混乱させることなく、追加の制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、注釈のリスト内でのそれぞれの注釈の表現に対応する位置において、第１の種類のジェスチャ（例えば、スワイプジェスチャ）である入力を受信し（１２２６）、第１の種類のジェスチャである入力を受信したことに応じて、コンピュータシステムは、（例えば、図５ＢＭ～５ＢＯを参照して上述されるように）注釈のリストの表示される部分から、それぞれの注釈の表現を取り除く。
特定の種類のジェスチャである入力に応じて注釈の表現を取り除くことにより、注釈を削除するための専用のユーザインタフェース要素の表示を必要とすることなく、又は、ユーザが、複雑なメニュー階層をナビゲートする必要なく、もう欲されていない、又は必要とされていない注釈を、ユーザが速やかに削除することができる。操作を実施する前に必要な入力数を減少させ、追加で表示される制御を有するユーザインタフェースを混乱させることなく、追加の制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、注釈配置ユーザインタフェースは、１つ以上の第３の注釈が、１つ以上のカメラの視野の表現に追加される、前の（例えば第２の）注釈セッションに関連して注釈配置ユーザインタフェースを表示した後で開始される注釈セッション（例えば、第１の注釈セッション）に関連して表示される（１２２８）。いくつかの実施形態では、第１の注釈及び第２の注釈を含む注釈のリストは、前の注釈セッションの間に追加された１つ以上の第３の注釈を含まない。いくつかの実施形態では、現在の注釈セッションが終了するとき、及び／又は新しい注釈セッションが開始するときに、現在の注釈セッションの間に追加される注釈のリストはクリアされる。いくつかの実施形態では、注釈配置ユーザインタフェースの表示を中止すること（例えば、注釈配置ユーザインタフェースが関連付けられたアプリケーションのユーザインタフェースであるときに、アプリケーションを閉じること）により、現在の注釈セッションが終了する。いくつかの実施形態では、注釈配置ユーザインタフェースの表示を開始すること（例えば、関連付けられたアプリケーションを再開すること）により、（例えば、図５ＢＱを参照して上述するように）新規の注釈セッションが開始される。
前の注釈セッションの間に追加された注釈を表示することなく、既に関係ない、又は正確でない場合がある古い注釈についての情報を提供しない、整った方法で、現在の注釈セッションの間に追加された注釈のみを、注釈のリスト内に表示することにより、作成された最近の注釈についての（及び、場合によっては、物理的環境を示す情報の連続した、及び／又は局在化したキャプチャを必要とする視覚的路程測定における制限により、正確なままである測定値といったデータについての）情報がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１２Ａ～図１２Ｃにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１０００、１１００、１３００、１４００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図１２Ａ～図１２Ｃに関して上述した方法１２００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１２００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、注釈、文字ラベル、並びに測定値は任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１０００、１１００、１３００、１４００、１５００、及び１６００）を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、注釈、文字ラベル、並びに測定値の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１３Ａ～１３Ｄは、いくつかの実施形態に係る、物理的表面に沿って経路を測定し、物理的表面の形状及び湾曲を考慮に入れる方法１３００を示すフローダイヤグラムである。方法１３００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１３００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、方法１３００は、視野の表現内の、ユーザが特定した点又は位置に対応する、物理的環境内の異なる物理的位置間の距離を測定し、異なる物理的位置が平坦でない物理的表面上に位置する場合、物理的位置間の測定値は、物理的表面の形状を自動的に考慮に入れるため、ユーザが物理的環境をより正確に測定するのを補助する、改善された測定機能性が提供される。更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、表示装置を介して、注釈配置ユーザインタフェース（例えば、拡張現実測定アプリケーションのユーザインタフェース）であって、注釈配置ユーザインタフェースが（例えば、図６Ａに示すような）１つ以上のカメラの視野の表現を含み、視野の表現は、１つ以上のカメラの視野の中にある３次元物理的環境の一部の表現を含む、注釈配置ユーザインタフェースを表示する（１３０２）。視野の表現は、１つ以上のカメラの視野の中での変化に基づき、経時的に更新される（例えば、視野の表現は、視野の中での物理的環境の変化に基づき、かつ／又は、物理的環境のどの一部が視野の中にあるかを変化させる、１つ以上のカメラの移動に基づき、更新されたライブビューである）。
いくつかの実施形態では、コンピュータシステムは、視野の表現の第１の位置から、視野の表現の第１の位置とは異なる第２の位置までを測定する要求に対応する、１つ以上の第１の入力を受信し（１３０４）、（例えば、図６Ｃ～６Ｈに示すように）視野の表現の第１の位置は、物理的環境の（例えば、検出された）物理的表面上の第１の物理的位置に対応し、視野の表現の第２の位置は、物理的表面上の、第１の物理的位置とは異なる第２の物理的位置に対応する。
いくつかの実施形態では、１つ以上の第１の入力を受信したことに応じて、コンピュータシステムは、表示装置を介して、物理的表面が平坦な表面でない（例えば、物理的表面が少なくとも部分的に曲線状である、及び／又は２つ以上の交差する表面を含む）という判定に従い、（例えば、図６Ｂ～６Ｈを参照して上述するように）第１の測定値の表現を表示するときに、物理的表面の（例えば、第１の物理的位置から第２の物理的位置までの経路に沿った、第１の物理的位置と第２の物理的位置の間の）形状を考慮に入れることを含む、視野の表現の第１の位置から、視野の表現の第２の位置までの第１の測定値の表現を表示する（１３０６）（例えば、第１の測定値の表現は、第１の物理的位置から第２の物理的位置までの経路の長さを含む）。
いくつかの実施形態では、第１の測定値の表現は、物理的表面に対応する（例えば、一致する）疑似的表面を測定する。いくつかの実施形態では、第１の測定値の表現は、（例えば、本明細書で記載される方法論及びセンサのいずれかを使用して入手される、物理的表面についての深度情報を含む）物理的環境についての深度情報に従って成約される測定値セグメントを含む。いくつかの実施形態では、物理的表面が平坦な表面でないという判定に従い、測定は、（例えば、図６Ｄを参照して上述するような）物理的環境内の非直線経路に対応する経路に従う。いくつかの実施形態では、物理的表面が平坦な表面であるという判定に従い、測定は、物理的環境内の直線経路に（例えば、平坦な経路に沿って）従う。いくつかの実施形態では、第１の測定値の表現は、（例えば、図６Ｅ～６Ｈを参照して上述するように）第１の測定値について記載するラベル（例えば、物理的表面に沿って制約される第１の測定値の長さを示すラベル）を含む。いくつかの実施形態では、物理的表面の形状は、システムの１つ以上の深度センサを使用して入手した深度情報などの、物理的環境を示す情報から判定される。
いくつかの実施形態では、第１の測定値の表現を表示すること（１３０６）は、物理的環境内の、第１の物理的位置から第２の物理的位置に延びる第１の経路の表現を表示すること（１３０８）（例えば、測定値セグメントを表示すること）を含み、物理的表面が平坦な表面でないという判定に従い、第１の経路の表現は、（例えば、図６Ｂ～６Ｈを参照して上述するように）第１の物理的位置と第２の物理的位置の間の物理的表面の形状に基づき判定される形状を有する（例えば、第１の経路は、３次元空間内の物理的表面の湾曲に基づき、物理的表面の形状に従う）。
物理的表面が平坦でない場合、ユーザが特定した複数の点の間の物理的表面の形状に基づいて判定される形状を有する経路の表現を表示することを含む、物理的位置に対応する、ユーザが特定した複数の点の間の測定値の経路の表現を表示することにより、ユーザに、測定経路を示す視覚的フィードバック、及び、適用可能な場合、測定経路が直線でない（例えば、測定経路が平坦でない表面に沿っている）ことを示す視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の経路は、（例えば、図６Ｂ～６Ｈを参照して記載するように）第１の物理的位置と第２の物理的位置の間の物理的表面の形状に一致する（１３１０）（例えば、これを追跡する、又はこれに従う）。いくつかの実施形態では、第１の経路は、第１の物理的位置と第２の物理的位置の間の物理的表面に沿った最短経路であると（例えばシステムにより）判定された経路である。いくつかの実施形態では、第１の経路は、第１の物理的位置から第２の物理的位置への直接経路（例えば、物理的空間を通る最短経路）の、物理的表面への投影である。
特に、物理的表面が平坦でない場合に、ユーザが特定した複数の点の間の測定の経路を、ユーザが特定した複数の点の間の物理的表面の形状に一致させることにより、（例えば、図６Ｂ～６Ｈを参照して記載するように）ユーザに、測定経路が、平坦ない物理的表面に沿っており、測定値が物理的表面の不規則な形状を考慮に入れていることを示す視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、第１の経路の表現の表示の一部として、又はこれと組み合わせて）第１の経路の表現に沿った間隔にて、１つ以上の縮尺マーカーを表示し（１３１２）、ここで、物理的表面が平坦な表面でないという判定に従い、１つ以上の縮尺マーカーが表示される間隔は、物理的表面の形状を考慮する（例えば、縮尺マーカーは、第１の物理的位置と第２の物理的位置の間の物理的表面に沿って規則的な間隔を示す第１の経路の表現に沿った間隔にて表示されるが、物理的表面の形状（例えば湾曲）によって、縮尺マーカーが表示される間隔は、表示されるユーザインタフェース内で不規則に間隙を介しているように見える場合がある）。いくつかの実施形態では、物理的表面が平坦な表面であるという判定に従い、縮尺マーカーは、第１の経路の表現に沿った規則的な間隔で表示される（例えば、間隔は、第１の位置と第２の位置の間の物理的表面に沿った規則的な間隔を示し、規則的に間隙を介しているようにも見える）。いくつかの実施形態では、（例えば、それぞれの組の縮尺マーカーの）１つ以上の縮尺マーカーは、（例えば、図５Ｏ及び８Ａ～８Ｆを参照して記載される）例えば、方法８００を参照を参照して記載されるように、１つ以上のカメラが、物理的表面に沿った第１の経路から閾値範囲の距離の中にあるという判定に従い、表示される。
ユーザが特定した複数の点の間の測定値の経路の表現に沿って縮尺マーカーを表示すること、及び、例えば、わずかに不規則に間隙を介した間隔で縮尺マーカーを表示することにより、ユーザが特定した複数の点の間の物理的表面の形状を考慮に入れるような方法で縮尺マーカーを表示することにより、測定値の程度（例えば長さ）についての追加の詳細、及び、測定経路が直線でないというインジケーションがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、視野の表現の第１の位置から、視野の表現の第３の位置までを測定する要求に対応する１つ以上の第２の入力を受信し（１３１４）、ここで、第３の位置は、第１の位置及び第２の位置とは異なり、物理的環境の物理的表面上の第３の物理的位置に対応する。いくつかの実施形態では、１つ以上の第２の入力を受信したことに応じて、コンピュータシステムは、表示装置を介して、視野の表現の第１の位置から視野の表現の第３の位置までの、第２の測定値の表現を表示する。いくつかの実施形態では、第２の測定値の表現を表示することは、物理的環境内に、第１の経路とは異なる第２の経路の表現を表示することを含み、第２の経路は、第１の物理的位置から第３の物理的位置に延び、第１の物理的位置と第３の物理的位置の間の物理的表面の形状に一致し、第２の経路の表現の形状は、第１の経路の表現の形状とは異なる。
第２の対の物理的位置の間にある第２の経路の表現の形状とは異なる形状を有する、第１の対の物理的位置の間にある第１の経路の表現を表示することにより、経路が異なる経路であること、経路の少なくとも１つが、平坦でない物理的表面に沿っていること、及び、２つの経路の測定値が、経路が従う対応する物理的表面（単数又は複数）の不規則な形状を考慮に入れることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、１つ以上の第１の入力は、注釈配置ユーザインタフェースが第１のモード（例えば、曲線状の測定モード）で稼働している間に受信される（１３１６）（例えば、物理的表面の形状を考慮に入れることは、注釈配置ユーザインタフェースが第１のモードで稼働しているという判定、及び、物理的表面が平坦な表面ではないという判定に従い、実施される）。いくつかの実施形態では、コンピュータシステムは、視野の表現の第１の位置から、視野の表現の第２の位置までを測定する要求に対応する１つ以上の第３の入力を受信し、１つ以上の第３の入力を受信したことに応じて、１つ以上の第３の入力が、第１のモードとは異なる第２のモード（例えば、直線測定モード）で注釈配置ユーザインタフェースが稼働している間に受信されたという判定に従い、コンピュータシステムは、表示装置を介して、物理的表面の形状を考慮に入れることなく、第３の測定値の表現を表示する。いくつかの実施形態では、物理的表面の形状を考慮しない第３の測定値の値は、（例えば、物理的表面が平坦な表面でない場合に）物理的表面の形状を考慮する第１の測定値の値とは異なる。いくつかの実施形態では、１つ以上の第３の入力が、注釈配置ユーザインタフェースが第１のモード（例えば、曲線状の測定モード）で稼働している間に受信されたという判定に従い、物理的表面の形状を考慮に入れる測定値の表現が表示される。
直線でない経路（例えば曲線状の経路）に沿った測定を可能にし、測定値が、直線である経路に沿って作成される操作モードとは異なる別個の操作モードを提供することにより、ユーザに、より多くの測定機能性が提供され、異なるモードに対して、測定値の異なる種類の表現（例えば、直線測定モードにあるときの、表面形状を考慮しない測定値の表現とは対象的に、曲線状の測定モードにあるときの、表面形状を考慮に入れる測定値の表現）を表示することにより、現在の操作モード、及び、測定経路が直線であるか否かを示す視覚的フィードバックがユーザに提供される。更なる制御オプション、及び改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、１つ以上の第１の入力は、視野の表現の中で第１の位置を選択する入力、及び、視野の表現の中で第２の位置を選択する入力からなる（１３１８）。いくつかの実施形態では、１つ以上の第１の入力は、視野の表現の中で第１の位置を選択する入力、及び、物理的表面の形状を特定する入力を含むことなく、視野の表現の中で第２の位置を選択する入力を含む。いくつかの実施形態では、１つ以上の第１の入力は、注釈モードを曲線状の測定モードに遷移する要求に対応する入力を受信した後、及び、注釈配置ユーザインタフェースが曲線状の測定モードで稼働している間に受信される。いくつかの実施形態では、物理的表面の形状は、（例えば、物理的表面の形状についての情報をユーザが提供する必要なく）１つ以上の深度センサを使用するシステムにより入手した、物理的環境を示す情報（例えば深度情報）に基づき、システムにより判定される。
物理的表面の形状を特定することをユーザが必要とすることなく、ユーザが特定した複数の点の間の物理的表面の形状を考慮に入れる、ユーザが特定した２つの点の間の測定値の表現を表示することにより、ユーザが、より迅速かつ正確に物理的環境を測定するのを補助する、測定機能性が提供される。１組の状態が、操作を実施するのに必要な入力数を減少させる方法で満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の測定値は、第１の物理的位置から第２の物理的位置への経路を測定し（１３２０）、経路の一部は、物理的環境内の第１の物理的位置及び第２の物理的位置を通過する直線に沿った向きとは異なる（例えば、これに対して垂直な）第１の向きに、少なくとも部分的に延びる。いくつかの実施形態では、経路は、直線と、その直線に対して垂直な線とを含む平面における２次元であり、経路はその平面の中で、直線の片側を（例えば、垂直線と直線の交点から延びる、垂直線の第１の半直線（半線）の向きを）向いている。いくつかの実施形態では、物理的表面は、第１の物理的位置と第２の物理的位置の間で凹状である（例えば、第１の物理的位置と第２の物理的位置の間の直線線分が、例えば空気により、物理的表面の上を通過する）。
経路が、物理的位置を通過する直線から曲線状に離れる場合、物理的位置に対応するユーザが特定した複数の点の間の測定値の経路の表現を表示することにより、測定経路が直線でないことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の測定値は、第１の物理的位置から第２の物理的位置への経路を測定し（１３２２）、経路の一部は、物理的環境内の第１の物理的位置及び第２の物理的位置を通過する直線（例えば、図６Ｆにおいて、曲線状のガイド６４２に沿って延びる経路）に対して垂直な第２の向きに延びる。いくつかの実施形態では、経路は、直線と、その直線に対して垂直な線とを含む平面における２次元であり、経路は、経路の端点においてのみ直線と交わる。いくつかの実施形態では、物理的表面は、第１の物理的位置と第２の物理的位置の間で凸状である（例えば、第１の物理的位置と第２の物理的位置の間の直線線分は、その外面が物理的表面を含む物理的オブジェクトを通って、物理的表面の下を通過する）。
経路が、物理的位置を通過する直線から曲線状に離れる場合、物理的位置に対応するユーザが特定した複数の点の間の測定値の経路の表現を表示することにより、測定経路が直線でないことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の測定値は、第１の物理的位置から第２の物理的位置への経路を測定し（１３２４）、経路は、少なくとも部分的に、物理的環境内で第１の物理的位置及び第２の物理的位置を通過する直線に対して垂直な第１の向きに、及び、少なくとも部分的に、直線に垂直であり、第１の向きと反対の第２の向きに延びる（例えば、図６Ｈに示すように）。いくつかの実施形態では、経路は、直線と、その直線に対して垂直な線とを含む平面における２次元であり、経路は、その直線の両側の平面の中にある（例えば、経路は、３つ以上の点（例えば、経路の終点、及び少なくとも１つ他の点）において、直線と交わる、又は交差する））。いくつかの実施形態では、第１の物理的位置と第２の物理的位置の間の物理的表面は、部分的に凸状であり、部分的に凹状である（例えば、第１の物理的位置と第２の物理的位置の間の直線線分の１つ以上の部分は、その外面が物理的表面を含む物理的オブジェクトを通って、物理的表面の下を通過し、直線線分の１つ以上の部分は、物理的表面の上を通過する）。
経路が、物理的位置を通過する直線から曲線状に離れる場合、物理的位置に対応するユーザが特定した複数の点の間の測定値の経路の表現を表示することにより、測定経路が直線でないことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図６Ｄに示すように）物理的表面の形状を示す視野の表現の上の（例えば、視野の表現内での、物理的表面の表現の上の）ガイドを表示する（１３２６）。いくつかの実施形態では、ガイドは、物理的表面が平坦な表面ではないという判定に従い表示される。方法９００を参照して本明細書に記載するように、いくつかの実施形態では、ガイドは、視野の表現の中での第１の位置を示す注釈ユーザインタフェースの配置ユーザインタフェース要素に応じて（例えば、第１の位置への配置ユーザインタフェース要素の移動、及び／又は、第１の位置への配置ユーザインタフェース要素のスナップに基づき）表示される。方法１０００を参照して本明細書に記載するように、いくつかの実施形態では、ガイドは、視野の表現内の第１の位置において注釈する（例えば、測定値を追加する）要求に対応する入力（例えば、配置ユーザインタフェース要素が第１の位置を示す間に受信する注釈配置入力）に応じて表示される。
特に、物理的表面が平坦でない場合に、物理的表面の形状を示すガイドを表示することにより、物理的表面の形状だけでなく、フォーカスの現在点から開始する、又はこれを含む注釈又は測定の、可能性のある形状もまた示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、注釈配置ユーザインタフェースは、（例えば、レチクルの点又は他のマーカーを介して）仮想注釈（例えば、測定点、又は他の測定値の表現）が、注釈配置入力の受信に応じて、視野の表現に配置される位置を示す、注釈配置ユーザインタフェース要素（例えばレチクル）を含む（１３２８）。注釈配置ユーザインタフェース要素が視野の表現の中のそれぞれの位置を示す間、視野の表現の中のそれぞれの位置が、平坦な表面ではない物理的表面上のそれぞれの物理的位置に対応するという判定に従い、配置ユーザインタフェース要素は、（例えば、図６Ｂ～６Ｇに示すように）物理的表面の形状を示す（例えば、配置ユーザインタフェース要素の外観は、例えば、配置ユーザインタフェース要素が物理的表面に投影される、又はこの上に投影されるように見えるように、物理的表面の形状に基づく（例えば、これに一致する、又はこの輪郭を示す））。
特に、物理的表面が平坦でない場合に、物理的表面の形状を示す外観を有する配置ユーザインタフェース要素を表示することにより、（例えば、配置ユーザインタフェース要素により示されるように）物理的表面の形状だけでなく、フォーカスの現在点から開始する、又はこれを含む注釈又は測定の、可能性のある形状もまた示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１３Ａ～１３Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１４００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図１３Ａ～図１３Ｄに関して上述した方法１３００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１３００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、物理的表面、経路、注釈モード、注釈、測定値の表現、縮尺マーカー、並びにガイドは任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１４００、１５００、及び１６００）を参照して本明細書で記載される、ユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、物理的表面、経路、注釈モード、注釈、測定値の表現、縮尺マーカー、並びにガイドの特性の１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１４Ａ～１４Ｄは、いくつかの実施形態に係る、以前にキャプチャしたメディアに表現される物理的特徴を測定する方法１４００を示すフローダイヤグラムである。方法１４００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１４００の一部の操作が、任意選択的に、組み合わされ、及び／又は、一部の動作の順序が、任意選択的に変えられる。
本明細書に記載されるように、方法１４００は、以前にキャプチャしたメディア（例えば、写真、又はビデオのフレームなどの画像）の表現を表示する要求に応じて、以前にキャプチャしたメディア内に表現される１つ以上の物理的特徴の測定値を（例えば、自動的に）を表示し、これにより、いくつかの実施形態では、ユーザが、測定値の表示を要求する任意の（以前にキャプチャしたメディア自体の表現の表示を要求する入力以外の）入力のユーザによる提供を必要とすることなく、画像内でキャプチャされた物理的特徴の寸法についての情報がユーザに提供される。必要な入力数を減少させる方法で、又は、更なるユーザ入力を全く必要とすることなく、操作を実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、表示装置を介して、（例えば、図６Ｋに示すように）コンピュータシステム上で実行するアプリケーションの第１のユーザインタフェースを表示する（１４０２）。
アプリケーションの第１のユーザインタフェースを表示している間に、コンピュータシステムは、（例えば、図６Ｌ～６Ｍを参照して記載されているように）第１の以前にキャプチャしたメディア（例えば、静止画像）の、注釈された表現を表示するためのアプリケーションの第２のユーザインタフェースを表示する要求に対応する１つ以上の入力を受信する（１４０４）。いくつかの実施形態では、アプリケーションはメディア（例えば画像又は動画）検視アプリケーションであり、第１のユーザインタフェースは、メディア検視ユーザインタフェースである。いくつかの実施形態では、１つ以上の入力は、メディア検視アプリケーションのユーザインタフェース内に注釈ユーザインタフェースを表示する要求（例えば、メディア検視アプリケーションの、測定モードなどの注釈モードを可能にする要求）に対応する。
第１の以前にキャプチャしたメディアの、注釈された表現を表示するために、第２のユーザインタフェースを表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、第１の以前にキャプチャしたメディア（例えば静止画像）の注釈された表現を表示することであって、第１の以前にキャプチャしたメディアの注釈された表現が、第１の以前にキャプチャしたメディアがキャプチャされた３次元の物理的環境の第１の部分の表現を含む、表示することと、第１の以前にキャプチャしたメディアの表現が、測定可能な物理的環境内の、１つ以上の第１の物理的特徴に対応する１つ以上の領域を含むという判定に従い（例えば、物理的環境内の物理的特徴についての深度情報を含む、又はこれと関連している、以前にキャプチャしたメディアに基づき）、（例えば、図６Ｍ～６Ｐ、６Ｒ～６Ｓ、６Ｖ、６Ｗ、及び６Ｙに示すように）１つ以上の第１の物理的特徴の測定値の１つ以上の表現を（例えば自動的に）表示することと、を含む、第２のユーザインタフェースを表示することを含む（１４０６）。
いくつかの実施形態では、（例えば、第２のユーザインタフェースを表示する要求とは別個の）１つ以上の物理的特徴を測定する要求に対応するユーザ入力が受信されているか否かに関係なく、システムは、測定値の１つ以上の表現を表示する。いくつかの実施形態では、それぞれの物理的特徴が測定可能であると判定することは、システムの１つ以上の深度センサを使用してそれぞれの物理的特徴について入手し、任意選択的に、それぞれの物理的特徴の表現を含む、以前にキャプチャした対応するメディアに含まれる、又はこれと関連している深度情報などの、それぞれの物理的特徴を示す情報に基づき、それぞれの物理的特徴がシステムにより測定可能であると判定することを含む。いくつかの実施形態では、それぞれの物理的特徴が測定不可能であると判定することは、それぞれの物理的特徴の表現を含む、以前にキャプチャした対応するメディアに含まれている、又はこれと関連付けられている深度情報などの、それぞれの物理的特徴を示す不十分な情報（例えば、不完全な、忠実性を欠いている、又はこれらを合わせて欠いている情報）に基づき（例えば、これが原因で）、それぞれの物理的特徴がシステムにより測定不可能であると判定することを含む。
いくつかの実施形態では、測定値の１つ以上の表現を表示することは、（例えば、１つ以上の物理的特徴の第１の物理的特徴の）第１の測定値の第１の表現と、（例えば、１つ以上の物理的特徴の第２の物理的特徴の）第２の測定値の第２の表現と、を同時に表示することを含む（１４０８）（例えば、図６Ｍ～６Ｐ、６Ｓ、６Ｖ、６Ｗ、及び６Ｙに示すように）。いくつかの実施形態では、測定値の１つ以上の表現を表示することは、以前にキャプチャしたメディアの表現を注釈するために第２のユーザインタフェースを表示する要求に対応する１つ以上の入力を受信したことに応じて、（例えば、第１及び第２の測定値を含む）複数（例えば、２つ、３つ、４つ、５つ、又はそれより多く）の測定値のそれぞれの表現を同時に表示することを含む。
測定値の複数の表現を同時に表示することにより、ユーザが、各測定値を個別に順に表示し検視する要求する入力を提供する必要なく、画像の複数の様相（例えば、画像内にキャプチャされた複数の物理的特徴）の寸法についての情報がユーザに提供される。必要な入力数を減少させる方法で、又は、更なるユーザ入力を全く必要とすることなく、操作を実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の以前にキャプチャしたメディアの表現が、測定を可能にする情報が入手できない（例えば、以前にキャプチャしたメディアが、物理的特徴についての深度情報を含まない、又はこれと関連していない）物理的環境内における、１つ以上の第１の物理的特徴に対応する１つ以上の領域を含むという判定に従い、コンピュータシステムは、（例えば、図６Ｕ～６Ｖを参照して記載されるように）測定不可能な１つ以上の物理的特徴の測定値の１つ以上（例えば任意）の表現を表示することを取り止める（１４１０）。
（例えば、物理的特徴に対して利用可能な深度情報が不十分であることにより）システムが測定不可能なそれらの物理的特徴に対する測定値の表現の表示を取り止めることにより、ユーザインタフェースを混乱させ、システムが適切に作成可能であった測定値の表現から気を逸らすであろう不正確な情報をユーザに提供することを回避する。改善された視覚的フィードバックをユーザに提供し、ユーザインタフェースの混乱を低下させることにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の以前にキャプチャしたメディアの表現は、（図６Ｋ～６Ｙを参照して上述するように）それぞれの物理的特徴の表現を含む（１４１２）。いくつかの実施形態では、コンピュータシステムは、それぞれの物理的特徴を測定する要求に対応するユーザ入力を受信し、ユーザ入力を受信したことに応じて、それぞれの物理的特徴に対応する測定値の表現の表示を中止する（例えば、それぞれの物理的特徴を測定する要求に対応するユーザ入力を無視する）。いくつかの実施形態では、物理的特徴を測定する要求に対応するユーザ入力が無視される。
物理的特徴を測定することを要求するユーザ入力に応じて以前にキャプチャしたメディアの表現内に、物理的特徴に対する測定値の表現を追加することを中止することにより、（例えば、測定可能な全ての物理的特徴に対する測定値が、既に自動的に表示されている実施形態において）要求された物理的特徴がシステムにより測定不可能であるというフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図６Ｐ～６Ｒを参照して上述するように）第２の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信する（１４１４）。いくつかの実施形態では、１つ以上の入力は、第１の以前にキャプチャしたメディアの表現を表示することから、第２の以前にキャプチャしたメディアの表現を表示することに切り替える要求に対応する。いくつかの実施形態では、１つ以上の入力は、第２の以前にキャプチャしたメディアの表現に対応するユーザインタフェース要素（例えばサムネイル画像）の選択を含む。いくつかの実施形態では、１つ以上の入力は、以前にキャプチャしたメディアのリスト又は集合の中の、以前にキャプチャしたメディアの次の、又は以前の以前にキャプチャしたメディアにナビゲートすることと関連するジェスチャを含む（第２の以前にキャプチャしたメディアの表現は、リスト又は集合の中の、次の、又は以前の表現である）。
いくつかの実施形態では、第２の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、第２の以前にキャプチャしたメディアの表現であって、第２の以前にキャプチャしたメディアの表現は、３次元の物理的環境の第１の部分（例えば、第１のメディアの表現の中でキャプチャされた同じ部分）の表現を含む、第２の以前にキャプチャしたメディアの表現と、第２の以前にキャプチャしたメディアの表現は、測定可能な物理的環境内の複数の物理的特徴に対応する複数の領域であって、複数の物理的特徴が、測定可能な第１の以前にキャプチャしたメディアの１つ以上の第１の物理的特徴、及び、測定可能な少なくとも１つの追加の物理的特徴を含む複数の領域と、を表示する（例えば、第２の以前にキャプチャしたメディアは、物理的環境についてのより多くの情報を含む、又はこれらと関連している）。いくつかの実施形態では、第２の以前にキャプチャしたメディアは、（例えば、図６Ｍ～６Ｐ、及び６Ｒ～６Ｓに示すように）第１の以前にキャプチャしたメディアよりも多くの、測定可能な物理的特徴の表現を含む。
いくつかの実施形態では、第２の以前にキャプチャしたメディア内でキャプチャされた測定可能な物理的特徴は、第１の以前にキャプチャしたメディアの測定可能な物理的特徴のスーパーセットである。いくつかの実施形態では、測定可能な物理的特徴に対応する、第２の以前にキャプチャしたメディアの表現の中の領域の数は、測定可能な物理的特徴に対応する、第１の以前にキャプチャしたメディアの表現の中の領域の数より多い。いくつかの実施形態では、第１の以前にキャプチャしたメディアよりも、第２の以前にキャプチャしたメディアにて、物理的環境についてのより多くの情報が入手可能である、可能性のある理由としては、室内での照明の改善、物理的環境内での物理的オブジェクト又は縁部などの、特徴のより高い解像度、又は高い視認性を可能にする、１つ以上のカメラ又は深度センサの位置の変化、１つ以上のカメラ又は深度センサを不明瞭化する要素の除去などが挙げられる。
いくつかの実施形態では、第２の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、（例えば、図６Ｒ～６Ｓに示すように）（例えば、複数の物理的特徴の各々の測定値のそれぞれの表現を表示することにより）複数の物理的特徴の測定値の、複数の表現を表示する。
（例えば、より多くの深度情報を含むことにより）測定可能なより多くの物理的特徴をキャプチャするメディアの表現の表示に切り替えるときに、より多くの数の物理的特徴に対する、測定値のより多くの表現を表示することにより、物理的特徴についてより多くの情報を含むメディアの異なる表現が表示されているという視覚的フィードバックがユーザに提供され、ユーザが、追加情報の表示を要求する入力を提供する必要なく、メディアの、現在の表示表現にてキャプチャされた特定の物理的特徴の寸法についての追加情報が、ユーザに提供される。更なるユーザ入力を必要とすることなく、改善された視覚的フィードバックを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図６Ｓ～６Ｔを参照して上述するように）第３の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信する（１４１６）。いくつかの実施形態では、１つ以上の入力は、以前にキャプチャしたメディア（例えば、第１又は第２の以前にキャプチャしたメディア）の現在の表示表現を表示することから、第３の以前にキャプチャしたメディアの表現を表示することに切り替える要求に対応する。いくつかの実施形態では、１つ以上の入力は、第３の以前にキャプチャしたメディアの表現に対応するユーザインタフェース要素（例えばサムネイル画像）の選択を含む。いくつかの実施形態では、１つ以上の入力は、以前にキャプチャしたメディアのリスト又は集合の中の、以前にキャプチャしたメディアの次の、又は以前の以前にキャプチャしたメディアにナビゲートすることと関連するジェスチャを含む（第３の以前にキャプチャしたメディアの表現は、リスト又は集合の中の、次の、又は以前の表現である）。
いくつかの実施形態では、第３の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、第３の以前にキャプチャしたメディアの表現であって、第３の以前にキャプチャしたメディアの表現は、３次元の物理的環境の第１の部分（例えば、第１のメディアの表現及び第３のメディアの表現の中でキャプチャされた同じ部分）の表現を含む、第３の以前にキャプチャしたメディアの表現を表示し、第３の以前にキャプチャしたメディアの表現は、測定可能な、１つ以上の第１の物理的特徴とは異なる、物理的環境内の１つ以上の第２の物理的特徴に対応する１つ以上の領域を含む（例えば、第３の以前にキャプチャしたメディアは、第１の以前にキャプチャしたメディアとは異なる物理的環境についての情報を含む、又はこれと関連している）（例えば、図６Ｍ～６Ｐ、及び６Ｖ～６Ｗに示すように）。
いくつかの実施形態では、第３の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、（例えば、図６Ｖ～６Ｗに示すように）（例えば、１つ以上の第２の物理的特徴の各々の測定値のそれぞれの表現を表示することにより）１つ以上の第２の物理的特徴の測定値の１つ以上の表現を表示する。いくつかの実施形態では、１つ以上の第２の物理的特徴は、１つ以上の第１の物理的特徴の中にない、少なくとも１つの物理的特徴を含む。いくつかの実施形態では、１つ以上の第１の物理的特徴は、１つ以上の第２の物理的特徴の中にない、少なくとも１つの物理的特徴を含む。いくつかの実施形態では、１つ以上の第２の物理的特徴は、１つ以上の第１の物理的特徴の中にもある少なくとも１つの物理的特徴を含む。いくつかの実施形態では、第１の以前にキャプチャしたメディアよりも、第３の以前にキャプチャしたメディアにて、物理的環境について異なる情報が入手可能である、可能性のある理由としては、室内での照明の変化、物理的環境内での物理的オブジェクト又は縁部などの、特徴の異なる解像度、又は視認性を可能にする、１つ以上のカメラ又は深度センサの位置の変化、１つ以上のカメラ又は深度センサを不明瞭化する要素の追加又は除去などが挙げられる。
測定可能な異なる物理的特徴をキャプチャするメディアの表現の表示に切り替えるとき、異なる物理的特徴に対して、測定値の異なる表現を表示することにより、物理的特徴について異なる情報を含むメディアの異なる表現が表示されているという視覚的フィードバックがユーザに提供され、ユーザが、異なる情報の表示を要求する入力を提供する必要なく、メディアの、現在表示されている表現にてキャプチャされた特定の物理的特徴の寸法についての情報が、ユーザに提供される。更なるユーザ入力を必要とすることなく、改善された視覚的フィードバックを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、第４の以前にキャプチャしたメディアの表現を表示する要求に対応する１つ以上の入力を受信する（１４１８）。いくつかの実施形態では、第４の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、第４の以前にキャプチャしたメディアの表現であって、第４の以前にキャプチャしたメディアの表現は、３次元の物理的環境の第１の部分（例えば、第１のメディアの表現の中でキャプチャされた同じ部分）の表現を含む、第４の以前にキャプチャしたメディアの表現を表示し、第４の以前にキャプチャしたメディアの表現は、測定可能な、第１の以前にキャプチャしたメディアの１つ以上の物理的特徴のサブセットに対応する１つ以上の領域を含む（例えば、第４の以前にキャプチャしたメディアは、物理的環境についてのより少ない情報を含む、又はこれらと関連している）。いくつかの実施形態では、第４の以前にキャプチャしたメディアは、第１の以前にキャプチャしたメディアよりも、測定可能な物理的特徴のより少ない表現を含む。いくつかの実施形態では、測定可能な物理的特徴に対応する、第４の以前にキャプチャしたメディアの表現の中の領域の数は、測定可能な物理的特徴に対応する、第１の以前にキャプチャしたメディアの表現の中の領域の数より少ない。
いくつかの実施形態では、第４の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、１つ以上の物理的特徴のサブセットの測定値の１つ以上の表現を表示する（例えば、第４のメディアに関しては、第１のメディアよりも、測定値のより少ない表現が表示される）。いくつかの実施形態では、第１の以前にキャプチャしたメディアよりも、第４の以前にキャプチャしたメディアにて、物理的環境についてより少ない情報が入手可能である、可能性のある理由としては、室内での照明の減少、物理的環境内での物理的オブジェクト又は縁部などの、特徴の低い解像度、又はより少ない視認性を可能にする、１つ以上のカメラ又は深度センサの位置の変化、１つ以上のカメラ又は深度センサを不明瞭化する要素の追加又は除去などが挙げられる。
測定可能なより少ない物理的特徴をキャプチャするメディアの表現の表示に切り替えるとき、より少数の物理的特徴に対する、測定値のより少ない表現を表示することにより、物理的特徴についてより少ない情報を含むメディアの異なる表現が表示されているという視覚的フィードバックがユーザに提供され、ユーザが情報の表示を要求する入力を提供する必要なく、メディアの、現在表示されている表現にてキャプチャされた特定の物理的特徴の寸法についての情報が、ユーザに提供される。更なるユーザ入力を必要とすることなく、改善された視覚的フィードバックを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図６Ｗに示すように）第５の以前にキャプチャしたメディアの表現を表示する要求に対応する１つ以上の入力を受信する（１４２０）。いくつかの実施形態では、第５の以前にキャプチャしたメディアの表現を表示する要求に対応する、１つ以上の入力を受信したことに応じて、コンピュータシステムは、第５の以前にキャプチャしたメディアの表現であって、第５の以前にキャプチャしたメディアの表現は、３次元の物理的環境の、第１の部分とは異なる第２の部分の表現（又は、いくつかの実施形態では、第１のメディアでキャプチャされたものとは異なる３次元環境の表現）を含む、第５の以前にキャプチャしたメディアの表現を表示し（例えば、第５の以前にキャプチャしたメディアの表現は、物理的環境の第１の部分の表現を含まない）、第５の以前にキャプチャしたメディアの表現が、測定可能な物理的環境の第２の部分内の１つ以上の物理的特徴に対応する１つ以上の領域を含む、という判定に従い、コンピュータシステムは、（例えば、図６Ｙに示すように）物理的環境の第２の部分の中の、１つ以上の物理的特徴の測定値の１つ以上の表現を表示する。いくつかの実施形態では、物理的環境の第２の部分の中の物理的特徴の測定値は、物理的環境の第１の部分の中の物理的特徴の測定値とは異なっている。
測定可能な異なる物理的特徴をキャプチャするメディアの表現の表示に切り替えるとき、特に、メディアが物理的環境の異なる部分（又は、異なる物理的環境を合わせて）キャプチャする場合、異なる物理的特徴に対して、測定値の異なる表現を表示することにより、物理的特徴について異なる情報を含むメディアの異なる表現が表示されているという視覚的フィードバックがユーザに提供され、ユーザが、異なる情報の表示を要求する入力を提供する必要なく、メディアの、現在表示されている表現にてキャプチャされた特定の物理的特徴の寸法についての情報が、ユーザに提供される。更なるユーザ入力を必要とすることなく、改善された視覚的フィードバックを（例えば自動的に）提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の以前にキャプチャしたメディアの表現（１４２２）は、写真（例えば静止画像）又は動画（例えば、一続きの画像を含む）のうちの１つである。
例えば、以前にキャプチャした写真又は動画と関連する、又はこの中に含まれる、キャプチャされた深度情報に基づき、以前にキャプチャした写真及びビデオで表現される１つ以上の物理的特徴の測定値を表示することにより、ユーザが、追加の詳細を具体的にキャプチャする入力を提供する必要なく、写真及び動画についての更なる詳細が、ユーザに提供される。改善された視覚的フィードバックをユーザに提供し、操作を実施するのに必要な入力数が減少することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、アプリケーションは、メディア（例えば画像及び／又は動画）検視アプリケーションであり（１４２４）、アプリケーションの第１のユーザインタフェースは、第１の以前にキャプチャしたメディアを検視するためのユーザインタフェースであり、１つ以上の入力は、メディア検視アプリケーションの注釈（例えば測定）モードを可能にする要求に対応する（例えば、メディア検視アプリケーションの第１のユーザインタフェースに表示される注釈モードユーザインタフェース要素のアクティブ化）。
メディア検視アプリケーション内のメディアの表現を検視するためのユーザインタフェースからアクセス可能な、メディアの注釈された表現を検視又は表示するためのユーザインタフェースを提供することにより、デフォルトでより多くの詳細情報を表示することなく、検視されているメディアの表現についての、より多くの詳細情報を確認するオプションが、ユーザに提供される。更なる制御オプションを提供して、ユーザインタフェースが、過剰の詳細で混乱するのを緩和することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、アプリケーションは、注釈アプリケーション（例えば測定値アプリケーション）であり（１４２６）、第１のユーザインタフェースは、コンピュータシステムの１つ以上のカメラの視野の表現（例えば、１つ以上のカメラの視野の中での変化を反映するように更新された、ライブビューである視野の表現）に、注釈（例えば測定値の表現）を追加するためのユーザインタフェースであり、１つ以上の入力は、第１の以前にキャプチャしたメディアの表現を表示するための要求に対応する（例えば、以前にキャプチャしたメディアの表現は、例えば、第１のユーザインタフェース内で表示され、以前にキャプチャしたメディアに対応するユーザインタフェース要素の選択により、注釈アプリケーションの第１のユーザインタフェースからアクセス可能である）。いくつかの実施形態では、注釈アプリケーションの第１のユーザインタフェースに表示されるメディアキャプチャユーザインタフェース要素のアクティブ化に応じて、以前にキャプチャしたメディアがキャプチャされた。
注釈アプリケーション内の１つ以上のカメラの視野の表現を注釈するために、ユーザインタフェースからアクセス可能なメディアの注釈された表現を検視又は表示するためのユーザインタフェースを提供することにより、ユーザが、注釈アプリケーションを出て、個別のメディア検視アプリケーションを起動する必要なく、同じ注釈アプリケーション内で、視野以前に注釈された表現などの、メディアの、以前にキャプチャされ、以前に注釈された表現を再訪問するオプションがユーザに提供される。操作を実行するのに必要な入力数を減少させることにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１４Ａ～図１４Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１３００、１５００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図１４Ａ～図１４Ｄに関して上述した方法１４００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１４００を参照して上述したアプリケーション、ユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、メディア、注釈、並びに測定値の表現は任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１３００、１５００、及び１６００）を参照して本明細書で記載される、アプリケーション、ユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、メディア、注釈、並びに測定値の表現の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１５Ａ～図１５Ｄは、いくつかの実施形態に係る、物理的環境をスキャンして、物理的環境をモデリングするための深度情報をキャプチャする方法１５００を示すフローダイヤグラムである。方法１５００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１５００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、物理的環境が、キャプチャされた深度情報に対してスキャンされると、方法１５００は物理的環境の表現を表示して深度情報がキャプチャされた物理的環境の一部の表現の上に完全に重なり合ったスキャンの程度のインジケーションを表示し、深度情報が追加の部分に対してキャプチャされると、物理的環境のそれらの追加の部分の表現に重なり合うインジケーションを更新する。その上に重なり合ったインジケーションを有する、スキャンされた部分の表現、及び、スキャンされていない物理的環境の部分の表現を含む物理的環境の表現を表示することにより、（例えば、図７Ｈ～７Ｊに示すように）ユーザを物理的環境内に向けさせるのを補助し、物理的環境のどの部分がスキャンされ、どの部分がスキャンされていないかについてのフィードバックをユーザに提供し、これにより、ユーザが、どの向き（単数又は複数）に移動して、又はどの向き（単数又は複数）に変えて、深度情報キャプチャプロセスを進行させるべきかが知らされる。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、ユーザインタフェース（例えば、拡張現実測定アプリケーションのユーザインタフェース）の第１領域に、１つ以上のカメラの視野の表現であって、１つ以上のカメラが３次元の物理的環境にあり、視野の表現が、（例えば図７Ａに示すように）１つ以上のカメラの視野の中にある物理的環境の第１のそれぞれの部分の第１視野（例えば第１の人の斜視図）を含む、１つ以上のカメラの視野の表現を表示する（１５０２）。
コンピュータシステムは、物理的環境の第１のそれぞれの部分の第１サブセットを示す深度情報をキャプチャする（１５０４）（例えば、第１サブセットは、物理的環境の第１のそれぞれの部分の一部又は全てを含むことができる）。
いくつかの実施形態では、コンピュータシステムは、視野の表現の上に、第１サブセットの表現を含む視野の表現の少なくとも第１の部分の上に重ねられた第１のインジケーションを表示することと（例えば、視野の表現の第１の部分は、深度情報がキャプチャされている第１サブセットを含む、物理的環境の部分（単数又は複数）に対応する）、（例えば、物理的環境の表現の第２の部分の上にある）重なった第１のインジケーションなしで、（例えば、深度情報がキャプチャされていない物理的環境の部分（単数又は複数）に対応する）視野の表現の少なくとも第２の部分を表示することと、を含む、（例えば、第１サブセットを示す深度情報が、第１サブセットを示す深度情報のキャプチャに従いキャプチャされていることを示すことを含む）深度情報がキャプチャされている物理的環境の第１のそれぞれの部分の程度を示す、第１のインジケーションを表示する（１５０６）。いくつかの実施形態では、第１のインジケーションは、境界が、深度情報がキャプチャされている（例えば、システムの１つ以上のカメラ及び／又は１つ以上の深度センサによりスキャンされている）物理的環境の程度を示す領域（例えば連続した領域）である。いくつかの実施形態では、第１のインジケーションは、（例えば、図７Ｈ～７Ｍを参照して記載されているように）視野の表現の第１の部分が部分的に目に見えるように（例えば、第１のインジケーションの重なり合い「を通して」下にある、及び目に見えるかのように）、部分的に透明（例えば半透明）である。
いくつかの実施形態では、コンピュータシステムは、視野を移動させて、物理的環境の第２のそれぞれの部分を含める、１つ以上のカメラの移動を検出する（１５０８）。いくつかの実施形態では、第２のそれぞれの部分は、物理的環境の第１のそれぞれの部分とは異なる。いくつかの実施形態では、第２のそれぞれの部分は、（例えば図７Ｈ～７Ｉに示すように）物理的環境の第１のそれぞれの部分と部分的に重なり合う。
いくつかの実施形態では、１つ以上のカメラの移動を検出したことに応じて（１５１０）、コンピュータシステムは、１つ以上のカメラの視野の表現を更新して、物理的環境の第２のそれぞれの部分の第１視野（例えば、第１の人の斜視図）を含めるようにし、物理的環境の第２のそれぞれの部分の第２サブセットを示す深度情報をキャプチャし（例えば、第２サブセットは、物理的環境の第２のそれぞれの部分のいくつか又は全てを含む）、視野の表現の第２の部分に重なり合った第１のインジケーションを表示することであって、視野の表現の第２の部分が、第２サブセットの表現を含む、表示することを含む、視野の更新された表現の上に表示される、第１のインジケーションを更新し、深度情報がキャプチャされた物理的環境の第２のそれぞれの部分の程度を示す（例えば、第１のインジケーションは更新されて、第２サブセットに関する深度情報がキャプチャされていることを示す）（例えば、視野の表現の第２の部分は、深度情報がキャプチャされている第２サブセットを含む、物理的環境の部分（単数又は複数）に対応する）（例えば、図７Ｈ～７Ｉに示すように）。いくつかの実施形態では、１つ以上のカメラの移動の後で、視野の表現の第１の部分が（例えば完全に、又は部分的に）表示されたままである場合、第１のインジケーションは、（例えば図７Ｈ～７Ｉに示すように）視野の表現の第１及び第２の部分の両方の上に表示される。いくつかの実施形態では、第１のインジケーションを更新することは、深度情報が、物理的環境の追加の部分に対してキャプチャされると、（例えば、図７Ｈ～７Ｉ、７Ｍ、７Ｑ、７Ｓ、及び７Ｘに示すように）第１のインジケーションを漸進的に拡張するアニメーションを表示して、視野の表現の中の物理的環境の追加の部分の表現を覆うことを含む。
いくつかの実施形態では、コンピュータシステムは、視野の表現の中に、（例えば、図７Ｈ～７ＡＢに示すように）深度情報がキャプチャされていない物理的環境の１つ以上の部分の１つ以上の表現を表示する（１５１２）。いくつかの実施形態では、（例えば、図７Ｈ～７Ｒ、及び７Ｘ～７ＡＡを参照して記載するように）物理的環境のそれぞれの部分に関して深度情報がキャプチャされないとき、又は、キャプチャされた深度情報が不十分である（例えば、不完全である、かつ／又は忠実性を欠いている）とき、深度情報は、物理的環境のそれぞれの部分に関してはキャプチャされない。いくつかの実施形態では、視野の表現が、深度情報がキャプチャされていない物理的環境の１つ以上の部分の１つ以上の表現を含むという判定に従い、コンピュータシステムは、１つ以上の部分の表現の上に重なり合った第１のインジケーションなしで、１つ以上の部分の表現を表現する。例えば、方法１５００の操作１５０６を参照して上述するように、視野の表現の上に、深度情報がキャプチャされた物理的環境の第１のそれぞれの部分の程度を示す第１のインジケーションを表示するとき、第１のインジケーションは、深度情報がキャプチャされている物理的環境の部分（単数又は複数）に対応する視野の表現の少なくとも第１の部分に重なり合い、深度情報がキャプチャされていない物理的環境の部分（単数又は複数）に対応する視野の表現の少なくとも第２の部分に重なり合っていない。同様に、いくつかの状況において、第１のインジケーションを更新して、深度情報がキャプチャされている物理的環境の第２のそれぞれの部分の程度を示した後で、第１のインジケーションは、（例えば、図７Ｈ～７Ｒ、及び７Ｘ～７ＡＢを参照して示すように）深度情報がキャプチャされている物理的環境の部分（単数又は複数）に対応する視野の更新された表現の少なくとも第１の部分に重なり合い、深度情報がキャプチャされていない物理的環境の部分（単数又は複数）に対応する視野の更新された表現の少なくとも第２の部分に重なり合っていない（例えば、視野の更新された表現の少なくとも第２の部分は、第１のインジケーションが重なり合わず表示される）。
スキャンされていない物理的環境の部分の表現を表示することにより、ユーザが、物理的環境部のこれらの部分をプレビューし、これらの部分をスキャンするか否かを率直に判断することが可能となり、これらは、これらの部分が既にスキャンされた後まで、物理的環境の部分の表現が保留された場合だと、可能ではない場合がある。これにより、ユーザを物理的環境内に向けさせるのを補助する視覚的フィードバックが提供され、スキャンを続けるか否かを判断する能力を通して、ユーザがスキャンのより多くの制御を行えるようになる。ユーザに改善された視覚的フィードバックを提供し、追加で表示される制御を有するユーザインタフェースを混乱させることなく、追加の制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、第１のインジケーションの１つ以上の縁部を滑らかにする（１５１４）。例えば、深度情報がキャプチャされた物理的環境の部分が不規則な（例えば、ぎざぎざな、又は粗い）縁部を有する場合でも、第１のインジケーションは（例えば、図７Ａ～７ＡＢを参照して記載するように）滑らかな縁部と共に表示される。
第１のインジケーションの縁部を滑らかにすることにより、フィードバックを過剰に詳細にせず、故に気を逸らすことなく、物理的環境のどの部分がスキャンされているのかについてのフィードバックがユーザに提供され、ユーザがどの向き（単数又は複数）に移動して、又はどの向き（単数又は複数）に変えて、深度情報キャプチャプロセスを進行させるべきかが、ユーザに知らせられる。（例えば、第１のインジケーションのぎざぎざの、又は粗い縁部により）ユーザインタフェースを混乱させずに、ユーザに改善された視覚的フィードバックを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１のインジケーションは（例えば、図７Ｈに示すように）連続した領域である（１５１６）（例えば、及び視野の表現とユーザインタフェースの連続した領域に重なり合っている）。例えば、深度情報が、物理的環境の一部の、少なくとも最も外側（例えば縁部）領域に関してキャプチャされる場合、キャプチャされた部分の中央の１つ以上領域に関して深度情報が欠落している場合でも、第１のインジケーションは、物理的環境の部分全体の表現の上に重なり合っている（例えば、第１のインジケーションは連続しており、拡張して縁部領域を覆う）。
第１のインジケーションを連続した領域として提示することにより、フィードバックを過剰に詳細にせず、故に気を逸らすことなく、物理的環境のどの部分がスキャンされているのかについてのフィードバックがユーザに提供され、ユーザがどの向き（単数又は複数）に移動して、又はどの向き（単数又は複数）に変えて、深度情報キャプチャプロセスを進行させるべきかが、ユーザに知らせられる。物理的環境の１つ以上の部分に関する深度情報が不十分である場合、第１のインジケーション内で、対応する穴又は隙間を表示する代わりに、アラートが代替的に提供され（例えば、操作１５３８を参照して本明細書に記載するように）、１つ以上のカメラを、深度情報が完全にキャプチャされていない物理的環境の部分に向けてリダイレクトさせるように促すことができる。（例えば、第１のインジケーションにおける切れ目により、あるいは、ぎざぎざの、又は粗い縁部により）ユーザインタフェースを混乱させずに、ユーザに改善された視覚的フィードバックを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、１つ以上のカメラの移動を検出する前に（及び、任意選択的に、物理的環境の第１のそれぞれの部分の第１サブセットを示す深度情報をキャプチャする前、及び／又は１つ以上のカメラの視野の表現を表示する前に）、コンピュータシステムは、ユーザに、１つ以上のカメラを物理的環境の回りで移動させるように促す命令を表示する（１５１８）。いくつかの実施形態では、命令は、物理的環境の表現の回りを移動するユーザの表現のアニメーションを含む。いくつかの実施形態では、命令は、（例えば、図７Ｒに示すように）ユーザに、自身の回りの物理的環境を移動するように命令する文字を含む。
ユーザに、１つ以上のカメラを物理的環境の回りで移動させて、（例えば、任意選択的に、正投影モデリングモードに遷移する際に）物理的環境についての深度情報をキャプチャすることを促す命令を表示することにより、ユーザに、深度情報キャプチャプロセスを進めるのに必要なアクションを実施するように促す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図７Ｇを参照して記載されているように）アクティブ化されたときに、１つ以上のカメラが位置する物理的環境を示す（例えば、１つ以上のカメラの視野の中にある物理的環境の１つ以上の部分を示す）深度情報のキャプチャを開始する第１のユーザインタフェース要素（例えば、キャプチャ、又はスキャン開始ユーザインタフェース要素）を表示する（１５２０）。いくつかの実施形態では、第１のユーザインタフェース要素は、ユーザに、１つ以上のカメラを物理的環境の回りで移動させるように促す命令を表示している間に表示される。いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェース要素をアクティブにする入力を受信し、第１のユーザインタフェース要素をアクティブにする入力を受信した後で（例えば、受信に応じて）、コンピュータシステムは、物理的環境を示す深度情報をキャプチャし、ここで、深度情報をキャプチャすることは、１つ以上のカメラの移動に従い、第１サブセットを示す深度情報をキャプチャすることと、第２サブセットを示す深度情報をキャプチャすることと、を含む。
アクティブ化されたときに、周囲の物理的環境についての深度情報のキャプチャを開始する第１のユーザインタフェース要素を表示することにより、ユーザが、複雑なメニュー階層をナビゲートする必要なく、深度情報キャプチャプロセスの際に、ユーザがすぐに制御を行える。操作を実施するのに必要な入力数を減少させる更なる制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、アクティブ化されたときに、深度情報がキャプチャされている物理的環境の部分の正投影ビューを（例えば、生成して）表示することを開始する、第２のユーザインタフェース要素（例えば、図７ＡＢにおけるスキャン停止ボタン７０４－２などの、キャプチャ、又はスキャン終了ユーザインタフェース要素を表示する（１５２２）。いくつかの実施形態では、第２のユーザインタフェース要素は、物理的環境を示す深度情報をキャプチャする間に（例えば、第１のユーザインタフェース要素の表示及びアクティブ化の後に）表示される。いくつかの実施形態では、コンピュータシステムは、第２のユーザインタフェース要素をアクティブにする入力を受信し、第２のユーザインタフェース要素をアクティブにする入力を受信した後で（例えば、受信に応じて）、コンピュータシステムは、物理的環境（の、例えば少なくとも一部）の正投影ビューを表示する。いくつかの実施形態では、コンピュータシステムは、第２のユーザインタフェース要素をアクティブにする入力に応じて、例えば、正投影ビューを表示する前に、物理的環境を示すキャプチャされた深度情報に基づき、物理的環境の正投影ビューを生成する。いくつかの実施形態では、第２のユーザインタフェース要素のアクティブ化により、深度情報のキャプチャが終了する（例えば、キャプチャ開始ユーザインタフェース要素の後続のアクティブ化、又は、それぞれのアプリケーションの異なるモードへの遷移まで）。
アクティブ化されたときに、キャプチャされた深度情報に基づき周囲の物理的環境の正投影ビューの表示をもたらし、かつ任意選択的に、深度情報キャプチャセッションの終了をもたらす、第２のユーザインタフェース要素を表示することにより、ユーザが、複雑なメニュー階層をナビゲートする必要なく、キャプチャされた深度情報に基づく正投影ビューが表示される深度情報キャプチャプロセス内での点を、ユーザがすぐに制御を行える。操作を実施するのに必要な入力数を減少させる更なる制御オプションを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１のインジケーションを表示する（１５２４）コンピュータシステムは、視野の表現の中で検出された、１組の所定の特徴の種類（例えば、１組の所定の特徴の種類は、物理的オブジェクトの縁部を含む）の物理的特徴の表現に重なり合った第１のインジケーションの一部を、視覚的に強調することを含む（例えば、上に第１のインジケーションが表示される領域内の、オブジェクトの縁部などの、１つ以上の特定の種類の特徴の表現は、オブジェクトの表面などの、他の種類の特徴の表現に対して、視覚的に強調される）。いくつかの実施形態では、視覚的強調は、（例えば、図７Ｈ～７Ｉ、及び７Ｎを参照して記載されているように）（例えば、特徴が識別された後で、経時的にフェードアウトする、簡潔な強調表示又はフラッシュを伴い）所定の期間表示される。
特定の種類の物理的特徴の表現に重なり合った第１のインジケーションの一部を視覚的に強調することにより、ユーザが特に関心を持ち得る、物理的特徴についての深度情報がキャプチャされたというフィードバックがユーザに提供され、場合によっては、物理的環境内でオブジェクトにぶつからずにに、スキャン中に物理的環境の回りをユーザがナビゲートするのもまた補助する。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、物理的特徴の表現に重なり合った第１のインジケーションの一部を視覚的に強調することは、第１のインジケーションの部分を所定の期間（例えば、０．５～２．０秒、又は０．５～５．０秒の時間周期）、強調表示することを含む（１５２６）。
物理的環境のキャプチャされた表現内での切れ目に基づく、物理的環境でのエッジ検出の性質、及び、得られる、物理的縁部に対応する、キャプチャされた深度情報での切れ目の可能性により、キャプチャした深度情報に基づき、第１のインジケーションを重なり合いとして表示することにより、第１のインジケーションにて欠陥及び切れ目がもたらされる可能性がある。所定の（例えば、最初の手短な）時間周期の間、縁部の表現に重なり合った第１のインジケーションの部分を強調すること（例えば、及び任意選択的に滑らかにすること）により、フィードバックを過剰に詳細にせず、故に気を逸らすことなく、ユーザが特に関心を持ち得る、物理的特徴についての深度情報がキャプチャされたというフィードバックがユーザに提供される。（例えば、第１のインジケーションにおける切れ目により）ユーザインタフェースを混乱させずに、ユーザに改善された視覚的フィードバックを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図７Ｈ～７Ｉを参照して記載するように）経時的に、第１のインジケーションの一部の視覚的強調を漸進的に中止する（１５２８）。いくつかの実施形態では、視覚的強調は、所定の期間表示され、その後、物理的特徴の表現に重なり合った第１のインジケーションの一部が、第１のインジケーションの他の部分に対して視覚的に強調されていないように、取り除かれる（例えば、漸進的に衰える）。
第１のインジケーションの視覚的に強調された部分の視覚的強調を、経時的に漸進的に低下させることにより、ユーザが関心を既に持っていない可能性のある物理的特徴の表現の視覚的強調の継続、及び、ユーザインタフェースでの視覚的強調の蓄積が避けられる。更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を実施することにより、かつ、ユーザインタフェースでの混乱を低下させることにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、ユーザインタフェースは、（例えば、コンピュータシステム上で実行する）それぞれのアプリケーションのユーザインタフェースであり（１５３０）、第１のインジケーションを表示すること（例えば、操作１５０６）、１つ以上のカメラの移動を検出すること（例えば、操作１５０８）、及び、１つ以上のカメラの移動の検出に応じて、視野の表現を更新し、第２サブセットを示す深度情報をキャプチャし、第１のインジケーションを更新すること（例えば、操作１５１０）は、それぞれのアプリケーションが、それぞれのアプリケーションの複数のモードの第１のモード（例えば、正投影モデリングモード）にて稼働している間に実施される。いくつかの実施形態では、正投影モデリングモードにおいて、システムは、物理的環境を示す情報（例えば深度情報）をキャプチャし、任意選択的に、キャプチャした情報から、物理的環境の正投影ビューを生成する。いくつかの実施形態では、生成した正投影ビューは平面正投影ビュー（例えばフロアプラン）であり、正投影モデリングモードはフロアプランモードである。いくつかの実施形態では、視野の表現を表示すること、及び、第１サブセットを示す深度情報をキャプチャすること（例えば、操作１５０４）もまた、それぞれのアプリケーションが第１のモードで稼働している間に実施される。いくつかの実施形態では、それぞれのアプリケーションの複数のモードは、正投影モデリングモードに加えて、（例えば、図５Ｃ及び７Ａを参照して上述するように）１次元注釈（例えば、測定）モード、２次元注釈モード、３次元注釈モード、及び／又は自動注釈モードを含む。
特に、それぞれのアプリケーションが、そのモードに対応する、表示されるユーザインタフェース要素のアクティブ化により、深度情報キャプチャモードに遷移する実施形態において、それぞれのアプリケーションの一部として物理的環境を示す深度情報をキャプチャするための操作モードを提供することにより、ユーザが、複雑なメニュー階層をナビゲートする必要なく、ユーザが、システムの深度情報キャプチャ能力に素早くかつ容易にアクセスできる。更なる制御オプションを提供し、操作を実施するのに必要な入力数が減少することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、ユーザインタフェースの第２領域に、物理的環境（の、例えば少なくとも一部）の第２のビュー（例えば、上視図又はフロアプラン図とも呼ばれる、平面正投影ビュー）の表現を表示し（１５３２）、物理的環境の第１のそれぞれの部分の第１サブセットを示す深度情報をキャプチャするに従い、第２のビューの表現は、（例えば、第２のビューの表現に第１サブセットの表現を表示することにより）第１サブセットがキャプチャされていることを示す深度情報を示すことを含む、深度情報がキャプチャされている物理的環境の程度を示し、及び、１つ以上のカメラの移動の検出に応じて、コンピュータシステムは、物理的環境（の、例えば、少なくとも一部）の第２のビュー（例えば、平面正投影ビュー）を更新し、（例えば、第２のビューの表現を更新して、第１サブセットの表現に加えて第２サブセットの表現を含めることにより）第１サブセット及び第２サブセットを示す深度情報がキャプチャされていることを示すことを含む、深度情報がキャプチャされている物理的環境の程度を示す（例えば、図７Ｈ～７Ｉに示すように）。
いくつかの実施形態では、ユーザインタフェースの第２領域は、ユーザインタフェースの第１領域と少なくとも部分的に重なり合う（例えば、第２のビューの表現は、ユーザインタフェースの第１領域の少なくとも一部の上に表示される）。いくつかの実施形態では、システムは、ユーザインタフェースの第２領域に、１つ以上のカメラの現在の位置（いくつかの実施形態では、システムの現在の位置である）のインジケーション（例えば表現）を表示し、ここで、現在の位置のインジケーションは任意選択的に、１つ以上のカメラが移動すると更新される。いくつかの実施形態では、システムは、ユーザインタフェースの第２領域に、１つ以上のカメラの現在の視野のインジケーション（例えば表現）を表示し、現在の視野のインジケーションは任意選択的に、１つ以上のカメラが移動すると更新される。
１つ以上のカメラが物理的環境の回りで移動すると、深度情報がキャプチャされている物理的環境の程度を反映するように更新される物理的環境の第２のビューの表現を表示することにより、第１視野及び第１のインジケーションによりユーザに提供されるフィードバックを補助する、スキャンの程度についてのフィードバックがユーザに提供される。例えば、第１視野が、第１の人の斜視図（例えば、１つ以上のカメラの視野のライブビュー）を含み、第２のビューが、１つ以上のカメラが移動すると地図に精密に示される物理的環境の平面正投影ビューを含む場合、第２のビューは、第１視野により伝達されていない場合がある、１つ以上のカメラの視野の外側にある物理的環境の部分についての情報を提供する。第２のビューが、物理的環境内での１つ以上のカメラの位置及び視野を示すいくつかの実施形態では、第２のビューは、ユーザがどの向き（単数又は複数）に移動して、又はどの向き（単数又は複数）に変えて、深度情報キャプチャプロセスを進行させるべきかについても、ユーザに示す。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、１つ以上のカメラの移動は、それぞれの量（例えば、回転のそれぞれの数の角度）により、それぞれの軸（例えば偏揺れ軸）を中心にする、１つ以上のカメラの回転を含む（１５３４）。１つ以上のカメラの移動を検出したことに応じて、コンピュータシステムは、（例えば、ユーザインタフェースの第２領域内で）（例えば、図７Ｉに示すように）物理的環境の第２のビューの表現をそれぞれの量で回転させる。
物理的環境の第２のビューの表現を回転させて、１つ以上のカメラのそれぞれの軸（例えば偏揺れ軸）を中心に１つ以上のカメラを回転させることにより、第２のビューの特定の向き（例えば、正のｙ方向、すなわちユーザインタフェース内の「上向き」）が、第１視野の特定の向き（例えば、１つ以上のカメラが面する、ｚ軸がユーザインタフェース「の中に」沿っている「前」向きに対応する向き）と、連続して相関しているという点において、第２のビューを、ユーザの参照フレームに向けられるナビゲーションビューとして提供し、これにより、ユーザが物理的環境をナビゲートするのを補助する視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、１つ以上のカメラの移動は、偏揺れ軸を中心とした、１つ以上のカメラのそれぞれの量（例えば、回転のそれぞれの数の角度）での回転を含み（１５３６）、１つ以上のカメラの移動を検出したことに応じて、（例えば、図７Ｊに示すように）（例えば、物理的環境の第２のビューの表現を第１の度数回転することなく、物理的環境の第２のビューの表現を表示することにより）コンピュータシステムはユーザインタフェース内で、物理的環境の第２のビューの向きを維持する（例えば、接触させたままとする）。
物理的環境の第２のビューの表現の向きを（例えば、回転させることなく）維持することで第２のビューが、固定された向きのマップビューとして提供され、第２のビューの表現が、１つ以上のカメラの現在の視野のインジケーションを含むいくつかの実施形態では、視野のインジケーションを（例えば、第２のビューの表現の代わりに）回転させることにより、物理的環境内での固定された参照方向（例えば、北などの基線方向）に対するユーザの向きを示す視覚的フィードバックが、ユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では（例えば、１つ以上のカメラの移動の検出に応じて）、コンピュータシステムは、１つ以上のカメラの位置又は移動についての情報を含む１つ以上のアラートを表示する（１５３８）。いくつかの実施形態では、１つ以上のアラートは、（例えば、図７Ｌ、７Ｎ、７Ｐ、７Ｒ、７Ｔ－７Ｕ、７Ｗ、及び７Ｚを参照して記載するように）本明細書で記載されるアラートのうちの１つ以上を含む。
いくつかの実施形態では、１つ以上のアラートは、１つ以上のカメラから、１つ以上のカメラの視野の中にあるオブジェクト（例えば、１つ以上のカメラの視野の中心などの、所定の位置にあるオブジェクト）までの距離が、（例えば図７Ｗを参照して記載されているように）閾値距離の外にある（例えば、１つ以上のカメラが、視野の中のオブジェクトに対して近すぎる、又は遠すぎる）ことを示すアラートを含む。いくつかの実施形態では、視野の中のオブジェクトに対して１つ以上のカメラが近すぎることに基づき、エラー状態が生じたという判定に従い、（例えば、図７Ｗを参照して記載されるように）１つ以上のカメラが、視野の中のオブジェクトに近すぎることを示す（例えば、ユーザに、１つ以上のカメラをオブジェクトから離して移動するように促す）アラートが表示される。いくつかの実施形態では、視野の中のオブジェクトに対して１つ以上のカメラが遠すぎることに基づき、エラー状態が生じたという判定に従い、１つ以上のカメラが、視野の中のオブジェクトに遠すぎることを示す（例えば、ユーザに、１つ以上のカメラをオブジェクトに近づけて移動するように促す）アラートが表示される。
いくつかの実施形態では、１つ以上のアラートは、（例えば、図７Ｐを参照して記載されているように）１つ以上のカメラの移動速度が閾値速度の外にある（例えば、１つ以上のカメラの移動が速すぎて、物理的環境についての正確な深度情報をキャプチャすることができない）ことを示すアラートを含む。いくつかの実施形態では、閾値速度より速く移動する１つ以上のカメラに基づき、エラー状態が生じたという判定に従い、（例えば、図７Ｐに示すように）１つ以上のカメラが速く移動しすぎている（例えば、ユーザに、１つ以上のカメラの移動を遅くするように促す）アラートが表示される。
いくつかの実施形態では、１つ以上のアラートは、（例えば、７Ｔ及び７Ｚを参照して記載するように）１つ以上のカメラが、物理的環境（の、例えばサブセット）の所定の部分の中にとどまる必要がある（例えば、１つ以上のカメラは、１つ以上のカメラの現在位置から上又は下の階といった、異なるレベルの物理的環境に移動する必要がある、及び／又は、１つ以上のカメラは、物理的環境が内部空間である場合、外に移動してはならない）ことを示すアラートを含む。いくつかの実施形態では、１つ以上のカメラが物理的環境の中にとどまる必要があることを示すアラートは、１つ以上のカメラが、（例えば、図７Ｚを参照して記載されているように）階段吹き抜け又は戸口などの、物理的環境の境界に接近いるという判定に従い（例えば、１つ以上のカメラが境界を超えて移動してはならないことを警告するために）表示される。
いくつかの実施形態では、１つ以上のアラートは、１つ以上のカメラの視野が、物理的環境内の１つ以上の反射表面（例えば１つ以上の鏡）から逸れる必要があることを示すアラートを含む。いくつかの実施形態では、１つ以上のカメラが鏡から逸れる必要があることを示すアラートは、（例えば、図７Ｎを参照して記載されるように）１つ以上のカメラの視野が鏡を含むという判定に従い表示される。
いくつかの実施形態では、１つ以上のアラートは、１つ以上のカメラの視野の中のオブジェクトが、（例えば、図７Ｋ～７Ｌを参照して記載されているように）（例えば、物理的環境の壁及び床などの、物理的環境の固定要素に対して、閾値移動量未満で）実質的に静置されたままである必要があることを示すアラートを含む。いくつかの実施形態では、１つ以上のカメラの視野の中のオブジェクトが、静置されたままである必要があることを示すアラートは、（例えば、図７Ｋ～７Ｌを参照して記載されるように）１つ以上のカメラの視野の中の１つ以上のオブジェクトが移動したという判定に従い表示される。
いくつかの実施形態では、１つ以上のアラートは、（例えば、図７Ｒを参照して記載されているように）（例えば、それぞれの部分に関する深度情報が完全に、又は十分にキャプチャされていないという判定に従い）以前の位置における、１つ以上のカメラの視野の中にあった物理的環境のそれぞれの部分に対する、少なくともいくつかの深度情報がキャプチャされていない、１つ以上のカメラの以前の位置に、１つ以上のカメラが（例えば、現在の深度情報キャプチャセッションの間に）移動する（例えば、戻る）必要があることを示すアラートを含む。
いくつかの実施形態では、１つ以上のアラートは、（例えば、現在の深度情報キャプチャセッションに対して）物理的環境を示す深度情報のキャプチャが開始したときに、１つ以上のカメラが位置した初期位置に、１つ以上のカメラが移動する（例えば、戻る）必要があることを示すアラートを含む。いくつかの実施形態では、システムが複数のカメラを含む場合、１つ以上のカメラの「位置」とは、複数のカメラの各々のそれぞれの位置を含む、１組の位置（例えば、特定のカメラ配置）を意味する。いくつかの実施形態では、初期位置は、例えば、第１のユーザインタフェース要素（例えば、スキャン開始ユーザインタフェース要素）の、最も近い以前のアクティブ化に応じて、１つ以上のカメラが、深度情報キャプチャの最も近い開始時に位置していた位置である。
１つ以上のカメラの位置又は移動についての情報を含む１つ以上のアラートを提供することにより、ユーザが、深度情報キャプチャプロセスの間に、キャプチャされた深度情報の正確性を改善するようにガイドされる。改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図７Ｔ～７Ｕを参照して記載されているように）物理的環境内の第１の空間（例えば第１の部屋）と、第１の空間とは異なり、これに隣接する、物理的環境内の第２の空間（例えば、第２の、隣接する部屋）との境界を示すユーザ入力を受信する（１５４０）。いくつかの実施形態では、（例えば、第２のユーザインタフェース要素のアクティブ化に応じて）第１の空間と第２の空間との境界を示すユーザ入力を受信した後で表示される、物理的環境の正投影ビューは、（例えば、図７Ｓ～７Ｕを参照して記載されるように）第１の空間と第２の空間との境界のインジケーションを含む。
いくつかの実施形態では、生成した正投影ビューは、（例えば、図７Ｕ～７Ｖを参照して記載されるように）第２の空間（例えば、又は、物理的環境内の任意の他の空間）の表現を含むことなく、第１の空間の境界まで拡張する物理的環境の表現である。いくつかの実施形態では、第１の空間と第２の空間との境界を示すユーザ入力を受信した後で、１つ以上のカメラは第２の空間の周りを移動し、システムは、第２の空間の一部である物理的環境の少なくとも一部を示す深度情報をキャプチャする。いくつかの実施形態では、（例えば、第２の空間の少なくとも一部をスキャンした後の、第２のユーザインタフェース要素のアクティブ化の後に表示される）生成された正投影ビューは、第１の空間に隣接した第２の空間の少なくとも一部の表現を含み、任意選択的に、第１の空間と第２の空間との境界を示す。より一般的には、いくつかの実施形態では、生成した正投影ビューは、物理的環境内の隣接する物理的空間の境界を定める（例えば、物理的環境は建物の内部であり、生成した正投影ビューは、スキャンされた建物の中の隣接する部屋又は空間の境界及び／又は入口を定めるフロアプランである）。
深度情報がキャプチャされている物理的環境の中の異なる空間どうしの境界を示すユーザ入力を受け入れることにより、深度情報がキャプチャされている物理的環境の程度を、ユーザが制御を行え、キャプチャされた深度情報に基づき後で生成された物理的環境のモデルのどこに、境界が示されるはずかを、ユーザが特定することが可能となり、加えて、物理的環境内の異なる特徴の相対位置を、システムが正確に判定することも補助する。更なる制御オプション、及び改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１５Ａ～図１５Ｄにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１３００、１４００、及び１６００）に関して本明細書に記載される他のプロセスの詳細はまた、図１５Ａ～図１５Ｄに関して上述した方法１５００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１５００を参照して上述したユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、物理的環境のビュー、注釈アプリケーションモード、並びにアラートは任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１３００、１４００、及び１６００）を参照して本明細書で記載されるユーザインタフェース、ユーザインタフェース要素、その中の物理的環境及び特徴及びオブジェクト、物理的環境のビュー、注釈アプリケーションモード、並びにアラートの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１６Ａ～１６Ｅは、いくつかの実施形態に係る、環境の略図を確認し、これと相互作用させる方法１６００を示すフローダイヤグラムである。方法１６００は、表示装置（例えば、ディスプレイ（任意選択的にタッチ感知式）、プロジェクタ、ヘッドマウントディスプレイ、ヘッドアップディスプレイなど、例えば、タッチスクリーン１１２（図１Ａ）、ディスプレイ３４０（図３Ａ）、又は表示生成コンポーネント（単数又は複数）３０４（図３Ｂ））、１つ以上のカメラ（例えば、光センサ（単数又は複数）１６４（図１Ａ）又はカメラ（単数又は複数）３０５（図３Ｂ））、及び任意選択的に、１つ以上の深度検知デバイス、例えば深度センサ（例えば、フライト時間センサ２２０（図２Ｂ）などの、１つ以上の深度センサ）を備えるコンピュータシステム（例えば、ポータブル多機能デバイス１００（図１Ａ）、デバイス３００（図３Ａ）、又はコンピュータシステム３０１（図３Ｂ））にて実施される。方法１６００における一部の動作は、任意選択で組み合わされ、及び／又は、一部の動作の順序は、任意選択で変更される。
本明細書に記載されるように、表示されている略図の一部が変化しても（例えば、略図がズーム又は移動されても）、メトリックに対応する特徴の表現が、略図に少なくとも部分的に配置されたままであり続けるのであれば、方法１６００は、環境の略図におけるメトリックの表現を移動する。こうすることにより、ユーザが、少なくとも部分的にビューから移動したメトリックの表現を、手動で再配置又は再表示する必要なく、方法はユーザに、略図の、任意のそれぞれの表示される部分において少なくとも部分的に見える特徴を記載する情報（例えば、対応するメトリックの表現）を、継続して提供する。更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
コンピュータシステムは、環境の略図の第１の部分を表示し（１６０２）、略図の第１の部分は、環境内の第１の特徴の第１の表現（例えば、床又は部屋）、及び、第１の特徴（例えば、床面積の寸法）に対応し、環境の略図の第１の部分の中の第１の位置（例えば、物理的環境内の第１の物理的位置に対応する、正投影ビューの第１の部分の中の第１の位置）にて表示される、第１のメトリック表現を含む。いくつかの例を図７ＡＣに示す。
コンピュータシステムは、（図７ＡＤ～７ＡＦを参照して記載されているように）環境の略図の第２の部分を表示する要求（例えば、略図をズームイン若しくはズームアウト、及び／又はスクロール（例えば、水平移動）するといった、１つ以上の変換を実施する要求）に対応する第１の入力を受信する（１６０４）。
第１の入力を受信したことに応じて、コンピュータシステムは、環境の略図の第２の部分（例えば、略図の第１の部分において略図の１つ以上の変換を実施した結果に対応する、略図の第２の部分）を表示し（１６０６）、第１の特徴の第１の表現の一部が、環境の略図の第２の部分に表示され、環境の略図の第２の部分が第１の位置を含まない（例えば、第１の物理的位置が物理的環境の正投影ビューの第２の部分に含まれない）という判定に従い、コンピュータシステムは、（例えば、図７ＡＫ～７ＡＭに示すように）環境の略図の第２の部分内の第２の位置にて、第１のメトリックの表現を表示する。いくつかの実施形態では、略図は、斜視図（例えば、図７Ｉに示すようなライブ又はシミュレーションした、一人称カメラビュー）とは異なる、（例えば、図７ＡＫに示すような）環境の正投影ビューである。いくつかの実施形態では、第１の特徴の第１の表現の一部が、略図の第２の部分に表示されるという判定、及び、略図の第２の部分が第１の位置を含むという判定に従い、コンピュータシステムは、略図の第２の部分の中の第１の位置における、第１のメトリックの表現を表示する。
いくつかの実施形態では、環境の略図は、物理的環境の正投影ビュー（例えば、上視図又はフロアプランビューとも呼ばれる、平面正投影ビュー）であり（１６０８），正投影ビューは、１つ以上のカメラの視野表現（例えば、１つ以上のカメラが移動すると更新される視野の表現）に基づいて生成され、物理的環境の１つ以上の主たる特徴（例えば、壁、床、天井、扉、窓などの、構造上移動できない特徴）の表現を含む。いくつかの実施形態では、物理的環境の正投影ビューは、物理的環境を示す深度情報に基づき生成され、例えば方法１５００を使用してキャプチャされる。
システムの１つ以上のカメラの視野の表現に基づき、物理的環境の正投影ビューである略図を表示することにより、ユーザが、物理的環境（の、例えばパラメータ及び寸法）についての情報を手動で入力する必要なく、システムの１つ以上のカメラが、システムにより入手した物理的環境についての情報に基づき配置される物理的環境のモデリングが可能となる。更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、略図の第１の部分は、（例えば、第１の特徴の第１の表現とは異なる）環境内の第２の特徴の第２の表現、及び、第２の特徴に対応し、環境の略図の第１の部分の（例えば、第１の位置とは異なる）第３の位置にて表示される（例えば、第１のメトリックとは異なる）第２のメトリックの表現を更に含む（１６１０）（例えば、第１の特徴の第１の表現、及び、第１のメトリックの表現と同時に表示される）。いくつかの実施形態では、略図の第１の部分は、環境内の特徴の、任意数のそれぞれの表現、及び、対応するメトリックの表現を含む。いくつかの実施形態では、略図の第１の部分は、（例えば、方法１５００の操作１５２２を参照して本明細書に記載されているように）略図を表示する要求に対応する入力に応じて表示され、対応するメトリックの表現を有する、特徴の複数の表現は、（例えば、図７ＡＢ～７ＡＣを参照して記載されているように）略図を表示する要求に対応する入力以外の、追加の入力を必要とすることなく、略図の第１の部分に同時に表示される。
複数のメトリックの表現を同時に表示することにより、ユーザが、各特徴についての情報を別々に、又は順に表示する要求を必要とすることなく、ユーザに、環境内の複数の特徴についての情報が提供される。操作を実行するのに必要な入力数を減少させることにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の入力を受信したことに応じて、第２の特徴の第２の表現の一部が、環境の略図の第２の部分に表示され、環境の略図の第２の部分が第３の位置を含む、という判定に従い、コンピュータシステムは、（例えば、図７ＡＫ～７ＡＭを参照して記載されているように）環境の略図の第２の部分の第３の位置において、第２のメトリックの表現を表示する（１６１２）。いくつかの実施形態では、環境の略図の表示を第１の部分から第２の部分に移動させることにより、（例えば、第１の特徴の対応する第１の表現の少なくとも一部が、略図の第２の部分のビューの中に少なくとも部分的にある間、）あるメトリック（例えば、第１のメトリック）の表現が少なくとも部分的にビューの外側に移動されるものの、１つ以上の他のメトリック（例えば第２のメトリック）の表現がビューの、少なくとも部分的に外側への移動は生じない（例えば、第２のメトリックの表現、及び、第２の特徴の、対応する第２の表現は、略図の第２の部分のビューの中に完全にある）。したがって、少なくとも部分的にビューの外側に移動したメトリック（例えば、第１のメトリック）の表現は、ビューの中にとどまるように（例えば、第１の位置から第２の位置に）移動するものの、他のメトリック（単数又は複数）（例えば、第２のメトリック）は、同じ位置（単数又は複数）（例えば、第３の位置）のままであり、依然としてビューの中に（例えば、完全にビューの中に）ある（例えば、図７ＡＫ～７ＡＮに示すように）。
略図の表示される部分に、少なくとも部分的に見えるままである第１の特徴の第１の表現に対応する、第１のメトリックの表現を移動させて、メトリックの表現がビューの中に完全にとどまったままにすることにより、ユーザが、第１のメトリックの表現を手動で再配置又は再表示する必要なく、別様においては少なくとも部分的にビューの外側に移動しているであろう、第１の特徴についての情報がユーザに提供される。更に、略図に対して、対応する特徴が略図内に提示されたままであり、少なくとも部分的にビューの外側に移動していない、第２のメトリックの表現の位置を維持することにより、略図の部分が、メトリックの過剰な移動なく表示される変化の視覚的フィードバックが、ユーザに提供される。１組の状況が満たされているときに、更なるユーザ入力を必要とすることなく操作を（例えば自動的に）実施し、改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１の入力を受信したことに応じて、第２の特徴の第２の表現の一部が、環境の略図の第２の部分に表示され、環境の略図の第２の部分が第３の位置を含まない、という判定に従い、コンピュータシステムは、環境の略図の第２の部分の第４の位置において、第２のメトリックの表現を表示する（１６１４）。いくつかの実施形態では、環境の略図の表示を第１の部分から第２の部分に移動させることにより、略図の第２の部分の中で少なくとも部分的にビューの中にある（例えば、とどまっている）、特徴の表現（例えば、第１の特徴及び第２の特徴）に対応する、複数のメトリック（例えば、第１のメトリック及び第２のメトリック）の表現が、少なくとも部分的にビューの外に移動される。したがって、メトリック（例えば第１及び第２のメトリック）の表現は、（例えば、略図の第２の部分内で、少なくとも部分的にビューの中にある特徴の対応する表現に従い）、ビューの中にある（例えば、とどまる）ように（例えば、それぞれ第１の位置から第２の位置、及び第３の位置から第４の位置に）移動する。
略図の表示される部分の中で、少なくとも部分的にビューの中にとどまる特徴の表現に対応する、複数のメトリックの表現を移動させて、メトリックの表現が完全にビューの中にとどまるようにすることにより、別様において少なくとも部分的にビューの外側に移動しているであろう各メトリックの表現を、ユーザが手動で再配置又は再表示することを必要とすることなく、ユーザに特徴についての情報が提供される。更なるユーザの入力を必要とせず、１組の条件が満たされたときに操作を（例えば自動的に）実施することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、又はいくつかの状況においては、略図の第１の部分は、（例えば、第１の特徴の第１の表現、及び第２の特徴の第２の表現とは異なる）環境内の第３の特徴の第３の表現、並びに、環境の略図内の、第３の特徴に対応し、第１の部分の（例えば、第１の位置及び第３の位置とは異なる）第５の位置にて表示される、（例えば、第１のメトリック及び第２のメトリックとは異なる）第３のメトリックの表現を更に含む（１６１６）。第３の特徴の第３の表現の一部が、環境の略図の第２の部分で表示され、環境の略図の第２の部分が第５の位置を含むという判定に従い、コンピュータシステムは、環境の略図の第２の部分の第５の位置において、第３のメトリックの表現を表示する。
いくつかの実施形態では、又はいくつかの状況においては、環境の略図の表示を第１の部分から第２の部分に移動させることにより、略図の第２の部分の中で少なくとも部分的にビューの中にある特徴（例えば、第１及び第２の特徴）に対応する、いくつかのメトリック（例えば、第１及び第２のメトリック）の表現が、少なくとも部分的にビューの外に移動されるものの、略図の第２の部分の中で少なくとも部分的にビューの中にある１つ以上の他の特徴（例えば第３の特徴）に対応する、１つ以上の他のメトリック（例えば第３のメトリック）の表現は、少なくとも部分的にビューの外に移動されない（例えば、第３の位置における第３のメトリックの表現は、略図の第２の部分の中で完全にビューの中にとどまる）。したがって、少なくとも部分的にビューの外に移動したメトリック（例えば、第１及び第２のメトリック）の表現は、ビューの中に（例えば完全に）あるように移動するものの、少なくとも部分的にビューの外に移動していないメトリック（例えば第３のメトリック）の表現は、依然としてビューの中にある同じ位置（単数又は複数）にとどまる（例えば、図７ＡＫ～７ＡＭは、環境の略図の表示の偏移に応じて移動した、ソファの長さのメトリックを示すものの、コーヒーテーブルの長さのメトリックは、環境の略図の偏移前にそうであったように、環境に対して同じ位置にとどまり続ける）。
略図の表示される部分の中で、少なくとも部分的にビューの中にとどまる特徴の表現に対応する、複数のメトリックの表現を移動させて、メトリックの表現が完全にビューの中にとどまるようにすることにより、別様において少なくとも部分的にビューの外側に移動しているであろう各メトリックの表現を、ユーザが手動で再配置又は再表示することを必要とせずに、ユーザに特徴についての情報が提供される。更に、対応する特徴が略図内で提示されたままであり、少なくとも部分的にビューの外に移動していない１つ以上の他のメトリックの表現のそれぞれの位置を、略図に対して維持することにより、略図の部分が、メトリックの過剰な移動なく表示される変化の視覚的フィードバックが、ユーザに提供される。１組の条件が満たされているときに、更なるユーザ入力を必要とすることなく操作を（例えば自動的に）実施し、改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、略図の第１の部分は、第１の縮尺（例えば、本明細書において更に詳述するように、ズーム縮尺又は描画縮尺）にて表示され（１６１８）、略図の第１の部分の第１の位置にて表示される、第１のメトリックの表現は、第１の文字サイズにて表示される文字を含み、第１の入力は、略図の縮尺を変更する要求に対応する、ズーム入力（例えば、システムのタッチ感知面などの入力装置を通して受信する、つまみ又は脱つまみジェスチャ）を含み、第１の入力を受信したことに応じて、略図の第２の部分が、第１の縮尺とは異なる第２の縮尺で表示され、略図の第２の部分の第２の位置にて表示される、第１のメトリックの表現は、第１の文字サイズで表示される文字を含む。いくつかの実施形態では、略図の縮尺を変更する要求に対応する、ズーム入力（例えば、システムのタッチ感知面などの入力装置を通して受信する、つまみ又は脱つまみジェスチャ）を受信したことに応じて、システムは、（例えば、図７ＡＤ～７ＡＦに示すように）（例えば、略図がズームされると、略図内での文字以外の要素の縮尺を変更し、メトリックの表現の一部である文字ラベルなどの、略図内での文字の縮尺を維持して）略図に表示される文字の縮尺を変更することなく、略図の縮尺を変更する。
環境の略図をズームする間に文字を固定サイズにて維持することにより、ユーザインタフェースにて表示される情報量を最適化しながら、文字の可読性が向上する。例えば、略図がズームインするにつれて、文字サイズが比例して大きくなることは、テキストが部分的にビューの外にズームされる（例えば、文字が大きすぎてユーザインタフェース内に適合できない）結果をもたらし得、かつ／又は、これは、略図の大きな割合を占め、略図内での他の要素（例えば、環境内での特徴の表現）の表示を不明瞭化する、若しくは妨げる。別の例において、略図がズームアウトするにつれて、文字サイズが比例して小さくなることにより、略図をズームアウトすることでビューにもたらされた、略図要素の中でもとりわけ、小さくて読めない、又は、識別するのが困難な文字がもたらされ得る。読解可能な文字を維持して、ユーザインタフェースの混乱を回避することにより、ユーザに改善された視覚的フィードバックを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、又はいくつかの状況においては、略図の第１の部分は、第１の縮尺で表示され（１６２０）、第１の縮尺に対応する第１の線の厚さにて表示される１つ以上の線（例えば、文字とは異なる描画線）を含み、第１の入力は、略図の縮尺を変更する要求に対応する、ズーム入力（例えば、システムのタッチ感知面などの入力装置を通して受信する、つまみ又は脱つまみジェスチャ）を含み、第１の入力を受信したことに応じて、略図の第２の部分が、第１の縮尺とは異なる第２の縮尺で表示される。第２の縮尺に対応する第２の線の厚さが閾値の線の厚さを超える（例えば、最大の線の厚さより大きい、又は、最小の線の厚さより小さい）という判定に従い、略図の第２の部分における１つ以上の線は、（例えば最大でも）閾値の線の厚さにて表示され（例えば、略図の第２の部分の線は、閾値の線の厚さより大きくは表示されない）、第２の線の厚さが閾値の線の厚さを超えないという判定に従い、略図の第２の部分における１つ以上の線は、第２の線の厚さにて表示される。
いくつかの実施形態では、略図の縮尺を変更する要求に対応する、ズーム入力（例えば、システムのタッチ感知面などの入力装置を通して受信する、つまみ又は脱つまみジェスチャ）を受信したことに応じて、システムは、略図の規模を変更する（略図の縮尺の変更に従い（例えば、これに比例して）略図内の線の、線の厚さを変更することを含む）。いくつかの実施形態では、線の厚さの変更は、閾値の線の厚さに限定されない（例えば、ズームアウトするとき、線の厚さを減少させることにより、最小の線の厚さ未満の線の厚さが得られ、線の厚さは、閾値の最小の線の厚さまでしか減少せず、別の例において、ズームインするときに、線の厚さが増加することで、最大の線の厚さを超える線の厚さがもたらされる場合、線の厚さは、閾値の最大の線の厚さまでしか増加しない）。
環境の略図をズームする間に線の厚さを再設計することにより、概して直観的なズーム経験がもたらされ、線の厚さを閾値厚さ（例えば、閾値の最大の線の厚さと、閾値の最小の線の厚さとの間の所定の範囲）に限定することにより、ユーザインタフェースに表示される情報量を最適化しながら、略図の可読性が改善される。例えば、略図がズームインするにつれて、無制限に線の厚さを比例して増加させることにより、略図の多くの部分を占める不必要な太線が生じ、略図内での他の要素（例えば環境内での特徴の他の表現、及び／又は特徴を説明する文字）の表示が不明瞭化する、又は妨げられる可能性がある。別の例において、略図がズームアウトするにつれて、線の厚さを比例して減少させることにより、略図をズームアウトすることでビューにもたらされた、略図要素の中でもとりわけ、薄すぎてはっきりと見えない、又は、識別するのが困難な線がもたらされ得る。略図の可読性を向上し、ユーザインタフェースの混乱を回避することで、改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、略図の第１の部分は、所定の組の描画縮尺の、第１の描画縮尺にて表示される（１６２２）。いくつかの実施形態では、それぞれの描画縮尺は、略図内の単位長さ（例えば１インチ）により表現されている、環境内のそれぞれの距離（例えば、長さが何フィートであるか）を特定する。あるいは、いくつかの実施形態において、それぞれの描画縮尺は、環境内での単位距離（例えば、長さが１フィート）を表現する、略図内のそれぞれの長さ（例えば、１インチのそれぞれの分数）を特定する。いくつかの実施形態では、それぞれの描画縮尺にて、略図のそれぞれの部分を表示している間に、それぞれの描画縮尺のインジケーションが表示される。いくつかの実施形態では、それぞれの描画縮尺の表示されるインジケーションは、略図のズーム縮尺が変更されると更新される。
いくつかの実施形態では、第１の入力は、略図の縮尺を変更する要求に対応するズーム入力を含み、第１の入力を受信したことに応じて、ズーム入力が、略図の縮尺を、所定の組の描画縮尺における第２の描画縮尺の閾値内（例えば、それぞれの縮尺が第２の描画縮尺に等しいか否かに関係なく）（例えば、所定の組の描画縮尺からの第２の描画縮尺を含み（例えば、これを中心にし）、所定の組の描画縮尺の任意の他の縮尺を含まない、縮尺の範囲内）にある、それぞれの縮尺に変更する要求に対応するという判定に従い、コンピュータシステムは、（例えば、略図の縮尺を第２の描画縮尺にスナップして）第２の描画縮尺にて、略図の第２の部分を表示する。
いくつかの実施形態では、又はいくつかの状況においては（例えば、ズーム入力における移動量に基づき）、第２の描画縮尺は第１の描画縮尺である。いくつかの実施形態では、第２の描画縮尺は第１の描画縮尺とは異なる。いくつかの実施形態では、略図の要求されたそれぞれの縮尺が、所定の組の描画縮尺内のそれぞれの描画縮尺の閾値の外にある場合、システムは、それぞれの描画縮尺にて略図を表示する（例えば、略図の縮尺が、所定の組から描画縮尺にスナップされていない、所定の組の連続した描画縮尺間でのある範囲の縮尺が存在する）。いくつかの実施形態では、所定の組の描画縮尺は、略図の長さと、対応する、環境内で表現された距離との整数比（例えば、単純な分数）（例えば、環境内で整数のフィート数を表現する、略図における１インチ、環境内で整数のメートル数を表現する、略図内での１センチメートル、又は、環境内で１フィートを表現する１インチの単純な分数（例えば１／２、１／４、１／６など）など）に対応する描画縮尺を含む。いくつかの実施形態では、所定の組の描画縮尺は、略図の長さと、対応する、環境内で表現された距離との整数比（例えば、単純な分数）に対応する描画縮尺のみを含む。
略図のズーム縮尺を、（例えば、略図の長さと、環境内での対応する表現された距離との整数比又は単純な分数に対応する）所定の描画縮尺にスナップすることにより、環境の略図を検視するのに有用なズーム縮尺を示す視覚的フィードバックがユーザに提供され、ユーザが、より素早くかつ容易に、所定の描画縮尺のうちの１つを選択するのを補助する。改善された視覚的フィードバックをユーザに提供し、操作を実施するのに必要な入力数及び／又は程度が減少することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、コンピュータシステムは、略図のそれぞれの部分に、（例えば、扉又は固定具などの、所定の種類の特徴である）環境内のそれぞれの特徴の表現を表示し（１６２４）、ここで、それぞれの特徴の表現の視覚的性質（例えば向き）は、（例えば、図７ＡＮ～７ＡＯを参照して記載されているように）それぞれの特徴の性質（例えば、環境内での扉の向き）の第１の値に対応する、第１の値（例えば、扉の向きは、第１の向きに開いているものとして表示され、このような開口は、隣接する部屋に対して外向きである）を有する。いくつかの実施形態では、コンピュータシステムは、それぞれの特徴の表現の選択に対応する入力（例えば、それぞれの特徴の表現に対応する、タッチ感知面上での、ある位置におけるタップ入力などの、それぞれの特徴の表現に向けられる入力）を受信し、それぞれの特徴の表現の選択に対応する入力を受信したことに応じて、コンピュータシステムは、第１の値とは異なる第２の値を有する視覚的性質を有するそれぞれの特徴の表現を表示し（例えば、扉の表現の向きを変えて第２の向きに開け（例えば、隣接する部屋に対して内向きへの開口））、ここで、それぞれの特徴の表現の視覚的性質の第２の値は、それぞれの特徴の性質の第２の値に対応する。
いくつかの実施形態では、所定の種類のそれぞれの特徴の表現は、少なくとも簡潔に、視覚的に強調され、それらが（例えば、その選択に対応する入力により）編集可能であることを示す。いくつかの実施形態では、それぞれの特徴の表現に対応する異なる種類の入力に対応して、システムは、視覚的性質の値を変更してそれぞれの特徴の表現を（例えば自動的に）修正する代わりに、それぞれの特徴の表現を編集するためのユーザインタフェースを表示する。いくつかの実施形態では、所定の種類の特徴であるそれぞれの特徴の表現ではなく、文字領域の選択に応じて、システムは、（例えば、図７ＡＨ～７ＡＪを参照して記載されているように）文字領域の視覚的性質の値を（例えば自動的に）変更するのではなく、文字領域で文字を編集するためのユーザインタフェースを表示する。
特徴の表示表現の、向きを変更するなどの、視覚的性質の値を修正して、特徴の表現を選択する（例えば、ユーザからの）入力に応じて、環境内での特徴の対応する性質（例えば向き）の異なる値を反映することにより、環境内の特徴が、略図内でどのように表現されるかの制御が行えるようになり、環境の略図が正確に、環境内の特徴を描写する。更なる制御でユーザインタフェースを混乱させることなく更なる制御オプションを提供し、操作を行うのに必要な入力数を減少させることにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、略図は、略図を説明する文字ラベル（例えば、表題欄などの、文字領域）を含み（１６２６）、方法は、略図の表示される部分が、文字ラベルを表示するための略図内の規定の位置を含むか否かに関係なく、略図の表示される部分に重なり合った文字ラベルを表示する。いくつかの実施形態では、略図全体が表示されるときに、文字ラベルは規定の位置で表示される。いくつかの実施形態では、（例えば、略図をズームする、変換する、回転する、又は別の方法で変換する要求に対応する入力に応じて）表示される略図の部分が変化すると、（例えば、図７ＡＨ～７ＡＪを参照して記載されるように）略図のどの部分が表示されるかに関係なく、文字ラベルは、任意選択的に、略図のそれぞれの部分が表示される表示装置又はユーザインタフェースに対して所定の位置において、略図のそれぞれの表示される部分にて表示される、又はこれに重なり合う。
略図のどの部分が表示されるか、及び、表示される部分が、文字ラベルの規定の表示位置を含むか否かに関係なく、略図全体を説明する文字ラベル（例えば表題欄）を連続して表示することにより、文字ラベルにより伝達する情報を得るために、別様において、複雑なメニュー階層をナビゲートする必要があり得る、追加の入力をユーザが提供する必要なく、どの略図（又はその一部）が表示されているかについて知らせる視覚的フィードバックがユーザに提供される。更なるユーザ入力を必要とすることなく、ビュー内で文字ラベル（例えば表題欄）を維持することにより、改善された視覚的フィードバックをユーザに提供することで、文字ラベルにより伝達される情報を検視するのに必要な入力数を減少させることにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、環境の略図（例えば、略図の任意の表示される部分）は、機械的描写スタイル（例えば、線がきれいかつくっきりと描かれており、文字が印刷用フォントを使用して表示される、正式な工業用描写）である第１の描写スタイルで表示される（１６２８）。いくつかの実施形態では、ユーザ入力を通して略図に対して提供される、手描き又は手書き要素（例えば文字など）は、オブジェクト及び／又は文字認識を試用して、機械的描写スタイルの要素に変換される（例えば、ユーザの手の動きに従う手書き文字は印刷用フォントに変換され、手書き文字の代わりに機械的描写スタイルの略図にて表示される）。いくつかの実施形態では、コンピュータシステムは、手描きスタイルである第２の描画スタイル（例えば、線及び文字が、手描きされたかのように見え（例えば、ユーザの手の動きに厳密に従い）、任意選択的に、鉛筆を使用して描画されたかのように様式化される、くだけたラフスケッチ）で略図を表示する要求に対応する入力を受信する。いくつかの実施形態では、第２の描画スタイルで略図を表示する要求に対応する入力は、第２の描画スタイルに対応し、アクティブ化されたときに、第２の描画スタイルに表示されている略図をもたらす、ユーザインタフェース要素のアクティブ化を含む。いくつかの実施形態では、ユーザインタフェース要素のアクティブ化は、第１の描写スタイルと第２の描画スタイルとの描画スタイルをトグルする。いくつかの実施形態では、第２の描画スタイルで略図を表示する要求に対応する入力を受信したことに応じて、コンピュータシステムは、第２の描画スタイルで略図（例えば、又は略図の一部）を表示する。
手描きスタイルで略図を表示することにより、略図の手描き版の情報が、（例えば、正式な機械的描写スタイルにより提案され得る）所定の正確性基準を満たすよりも適切であることをユーザに伝達する視覚的フィードバックが提供される。改善されたフィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの双方向作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、第１のメトリックを含む（１６３０）第１の１組の（例えば１つ以上の）メトリックの表現の表示が可能となり、第２の１組の（例えば１つ以上の）メトリックの表現のディスプレイへの表示は不可能である。いくつかの実施形態では、コンピュータシステムは、第２の１組のメトリックの表現の表示を可能にする要求に対応する入力を受信し、第２の１組のメトリックの表現を表示する要求に対応する入力の受信に応じて、コンピュータシステムは、（例えば図７ＡＲ～７ＡＴを参照して記載されるように）第２の１組のメトリックの各々のメトリックに対して、それぞれのメトリックの表現を表示する。いくつかの実施形態では、第１の１組のメトリックの表現の表示は既定で可能であり、不可能にすることはできない。いくつかの実施形態では、第２の１組のメトリックの表現の表示は、（例えば図７ＡＲ～７ＡＴを参照して記載されるように）ユーザ入力により可能にする、又は不可能にすることができる。いくつかの実施形態では、（例えば、図７ＡＲ～７ＡＴを参照して記載されているように）第２の１組のメトリックの表現を表示する要求に対応する入力は、第２の１組のメトリックに対応するユーザインタフェースのアクティブ化を含む（例えば、ユーザインタフェース要素のアクティブ化は、第２の１組のメトリックの表現の表示をトグルによりオンオフで切り替える）。
既定でユーザに表現される必要がない追加のメトリック（例えば、環境の追加の寸法）が、システムに利用可能となる、又はシステムにより判定可能である場合、追加のメトリックの表示を可能にする（例えばユーザからの）入力に応じて、追加のメトリックを表示することにより、要求されたときのみユーザに追加のメトリックが提示され、ユーザインタフェースが、別様においてあまりに多くの情報で混乱するのを回避する。ユーザインタフェースを不必要に混乱させることなく、ユーザの制御下にて改善された視覚的フィードバックを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、略図のそれぞれの表示される部分は、環境内の角部（例えば、環境内の２つ以上の壁がゼロ以外の角度で交わる箇所）の表現を含む（１６３２）。いくつかの実施形態では、角部が直角を形成する（例えば、角部の角度測定が９０度又は２７０度である）という判定に従い、コンピュータシステムは、角部の角度測定の表示を取り止め、角部が直角を形成しない（例えば、角部が、９０度又は２７０度以外の鋭角若しくは鈍角、又は優角を形成する）という判定に従い、コンピュータシステムは、角部の角度測定を表示する。いくつかの実施形態では、メトリック（例えば角度測定）は、直角でない略図の表示される部分にて表現される各々の角部に対して表示される。いくつかの実施形態では、（例えば、図７ＡＴを参照して記載されているように）角度メトリックは、第２の１組のメトリックの一部であり、第２の１組のメトリックの表現の表示が可能であるときに表示され、既定で表示される第１の１組のメトリックの一部ではない。
追加の（例えば、環境内の角部に対応する角度などの、特定の種類の）メトリックが入手可能である、又はシステムにより判定可能である場合、追加のメトリックのサブセットのみ（例えば、直角ではない角度のみに対する角度値）の表現を表示することにより、表示表現のないメトリックが既存の、又は標準的な値（例えば、壁が交わる角度に対して９０又は２７０度）を有することもまた示唆しながら、メトリックのサブセットの値をユーザに知らせる視覚的フィードバックが提供され、これにより、表示されるもの以上に追加情報が伝達される。ユーザインタフェースの混乱を低下させる方法で、改善された視覚的フィードバックをユーザに提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
いくつかの実施形態では、環境は、１個以上の家具を含む（１６３４）（例えば、略図は、環境内の１個以上の家具を表現するデータを含む、又はこれと関連している）。いくつかの実施形態では、コンピュータシステムは、環境内で家具の表現の表示を（例えばオン又はオフに）トグルする要求に対応する入力を受信し、環境内で家具の表現の表示をトグルする要求に対応する入力を受信したことに応じて、１個以上の家具の表現が略図に表示されるという判定に従い、コンピュータシステムは、略図内での、１個以上の家具の表現の表示を中止し（例えば、家具の表現の表示を止め）、１個以上の家具の表現が略図に表示されないという判定に従い、コンピュータシステムは、（例えば、図７ＡＨ～７ＡＪに従って記載されるように）略図内に、１個以上の家具の表現を表示する（例えば、家具の表現の表示のスイッチを入れる）。
既定で必ずしも表示される必要のない、略図の追加の要素（特定の種類の特徴、例えば、家具、又はより一般的には、複数の所定の部類の家具における、それぞれの部類の特徴の要素である特徴などの、環境内での表現）の表示が利用可能である場合、追加の要素の表示を可能にする（例えばユーザからの）入力に応じて、追加の要素を表示することにより、要求されたときのみユーザに追加の要素が提示され、ユーザインタフェースが、別様においてあまりに多くの情報で混乱するのを回避する。ユーザインタフェースを不必要に混乱させることなく、ユーザの制御下にて改善された視覚的フィードバックを提供することにより、システムの操作性が向上し、ユーザとデバイスのインタフェースがより効率的となり（例えば、ユーザが意図する結果を達成することを補助することにより、そして、システムの操作時／システムとの相互作用時にユーザの失敗を減らすことにより）、これによって更に、ユーザがデバイスをより素早く、そして効率的に使用することが可能となって、デバイスの電力使用が低下し電池寿命が向上する。
図１６Ａ～図１６Ｅにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１３００、１４００、及び１５００）に関して本明細書に記載される他のプロセスの詳細はまた、図１６Ａ～図１６Ｅに関して上述した方法１６００にも、類似の様式で適用可能であることに留意されたい。例えば、方法１６００を参照して上述したユーザインタフェース、その中の環境（例えば物理的環境）及び特徴及びオブジェクト、並びにメトリック（例えば測定値）は任意選択的に、本明細書で記載される他の方法（例えば、方法８００、９００、１０００、１１００、１２００、１３００、１４００、及び１５００）を参照して本明細書で記載される、ユーザインタフェース、その中の環境（例えば物理的環境）及び特徴及びオブジェクト、並びにメトリック（例えば測定値）の特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (11)

  1. 方法であって、
    表示装置及び１つ以上のカメラを備えるコンピュータシステムにおいて、
    前記表示装置を介して、
    前記１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、前記１つ以上のカメラの視野の表現であって、前記視野の前記表現は、前記１つ以上のカメラの前記視野の中での変化に基づき、経時的に更新される、表現と、
    仮想注釈が、注釈配置入力を受けることに応じて、前記視野の前記表現内に配置されるであろう位置を示す、配置ユーザインタフェース要素と、
    を含む、注釈配置ユーザインタフェースを表示することと、
    前記注釈配置ユーザインタフェースを表示する間に、前記物理的環境に対する前記１つ以上のカメラの移動を検出することと、
    前記物理的環境に対する前記１つ以上のカメラの前記移動を検出したことに応じて、
    前記１つ以上のカメラの前記移動に基づき、前記視野の前記表現を更新することと、
    前記配置ユーザインタフェース要素が、前記物理的環境内の第１の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    注釈配置入力に応じて、前記配置ユーザインタフェース要素の前記外観を変更して、前記第１の種類の特徴に対応するアンカー点に配置されるであろう注釈を示すことと、
    前記第１の種類の特徴の前記表現の少なくとも一部に対応する、第１の１組の、１つ以上のガイドを表示することと、
    前記配置ユーザインタフェース要素が、前記物理的環境内の、前記第１の種類の特徴とは異なる第２の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    注釈配置入力に応じて、前記配置ユーザインタフェース要素の前記外観を変更して、前記第２の種類の特徴に対応するアンカー点に配置されるであろう注釈を示すことと、
    前記第２の種類の特徴の前記表現の少なくとも一部に対応する、前記第１の１組の、１つ以上のガイドとは異なる、第２の１組の、１つ以上のガイドを表示することと、
    を含む、方法。
  2. 前記アンカー点が前記物理的環境内の１つ以上の縁部に位置するとの判定に従い、前記表示されたそれぞれの組の１つ以上のガイドは、前記１つ以上の縁部の各縁部に対して、前記それぞれの縁部に沿って前記アンカー点から延びるそれぞれのガイドを含む、請求項１に記載の方法。
  3. 前記アンカー点が、少なくとも、前記物理的環境内の第１の検出された表面と、前記物理的環境内の第２の検出された表面とが交わる箇所に位置するとの判定に従い、前記表示されたそれぞれの組の１つ以上のガイドは、少なくとも、前記アンカー点から、前記第１の検出された表面に垂直な向きに延びる第１のガイドと、前記アンカー点から、前記第２の検出された表面に垂直な向きに延びる第２のガイドとを含む、請求項１又は２に記載の方法。
  4. 前記物理的環境に対する前記１つ以上のカメラの前記移動を検出したことに応じて、
    前記配置ユーザインタフェース要素は、注釈配置入力を受信したことに応じて、仮想注釈が配置されるであろう前記視野の前記表現内の、それぞれの位置を示す、前記配置ユーザインタフェース要素が、前記第１の種類の特徴及び前記第２の種類の特徴とは異なる、前記物理的環境内の第３の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    前記第３の種類の特徴から垂直方向に対応する前記視野の前記表現内での向きに、前記それぞれの位置から延びるガイドを表示することを含む、請求項１から３のいずれか一項に記載の方法。
  5. それぞれの組の１つ以上のガイドを表示することは、前記それぞれの組における各ガイドに対して、前記それぞれのガイドの第２の部分に対して、前記それぞれのガイドの第１の部分を視覚的に強調することを含み、前記第１の部分は、前記物理的環境内で物理的オブジェクトにより占められる物理的空間内での位置に対応し、前記第２の部分は、前記物理的環境内で物理的オブジェクトにより占められない物理的空間内での位置に対応する、請求項１から４のいずれか一項に記載の方法。
  6. それぞれのガイドの前記第２の部分は、前記それぞれのガイドの前記第１の部分から第１の距離にある第１の点、及び、前記それぞれのガイドの前記第１の部分から、前記第１の距離より大きい第２の距離にある第２の点を含み、
    前記第２の点は前記第１の点に対して視覚的に強調をやめている、請求項５に記載の方法。
  7. それぞれの組の１つ以上のガイドを表示することは、経時的に前記アンカー点から漸進的に延びる前記１つ以上のガイドを示すアニメーションを表示することを含む、請求項１から６のいずれか一項に記載の方法。
  8. コンピュータシステムであって、
    表示装置と、
    １つ以上のカメラと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    前記表示装置を介して、
    前記１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、前記１つ以上のカメラの視野の表現であって、前記視野の前記表現は、前記１つ以上のカメラの前記視野の中での変化に基づき、経時的に更新される、表現と、
    仮想注釈が、注釈配置入力を受けることに応じて、前記視野の前記表現内に配置されるであろう位置を示す、配置ユーザインタフェース要素と、
    を含む、注釈配置ユーザインタフェースを表示させ、
    前記注釈配置ユーザインタフェースを表示する間に、前記物理的環境に対する前記１つ以上のカメラの移動を検出させ、
    前記物理的環境に対する前記１つ以上のカメラの前記移動を検出したことに応じて、
    前記１つ以上のカメラの前記移動に基づき、前記視野の前記表現を更新させ、
    前記配置ユーザインタフェース要素が、前記物理的環境内の第１の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    注釈配置入力に応じて、前記配置ユーザインタフェース要素の前記外観を変更して、前記第１の種類の特徴に対応するアンカー点に配置されるであろう注釈を示させ、
    前記第１の種類の特徴の前記表現の少なくとも一部に対応する、第１の１組の、１つ以上のガイドを表示させ、
    前記配置ユーザインタフェース要素が、前記物理的環境内の、前記第１の種類の特徴とは異なる第２の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    注釈配置入力に応じて、前記配置ユーザインタフェース要素の前記外観を変更して、前記第２の種類の特徴に対応するアンカー点に配置されるであろう注釈を示させ、
    前記第２の種類の特徴の前記表現の少なくとも一部に対応する、前記第１の１組の、１つ以上のガイドとは異なる、第２の１組の、１つ以上のガイドを表示させる
    命令を含む、コンピュータシステム。
  9. 前記１つ以上のプログラムは、請求項２から７のいずれか一項に記載の方法を実施するための命令を含む、請求項８に記載のコンピュータシステム。
  10. 表示装置及び１つ以上のカメラを含むコンピュータシステムにより実行されるときに、前記コンピュータシステムに、
    前記表示装置を介して、
    前記１つ以上のカメラの視野の中にある３次元の物理的環境の一部の表現を含む、前記１つ以上のカメラの視野の表現であって、前記視野の前記表現は、前記１つ以上のカメラの前記視野の中での変化に基づき、経時的に更新される、表現と、
    仮想注釈が、注釈配置入力を受けることに応じて、前記視野の前記表現内に配置されるであろう位置を示す、配置ユーザインタフェース要素と、
    を含む、注釈配置ユーザインタフェースを表示させ、
    前記注釈配置ユーザインタフェースを表示する間に、前記物理的環境に対する前記１つ以上のカメラの移動を検出させ、
    前記物理的環境に対する前記１つ以上のカメラの前記移動を検出したことに応じて、
    前記１つ以上のカメラの前記移動に基づき、前記視野の前記表現を更新させ、
    前記配置ユーザインタフェース要素が、前記物理的環境内の第１の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    注釈配置入力に応じて、前記配置ユーザインタフェース要素の前記外観を変更して、前記第１の種類の特徴に対応するアンカー点に配置されるであろう注釈を示させ、
    前記第１の種類の特徴の前記表現の少なくとも一部に対応する、第１の１組の、１つ以上のガイドを表示させ、
    前記配置ユーザインタフェース要素が、前記物理的環境内の、前記第１の種類の特徴とは異なる第２の種類の特徴の表現の少なくとも一部の上にあるとの判定に従い、
    注釈配置入力に応じて、前記配置ユーザインタフェース要素の前記外観を変更して、前記第２の種類の特徴に対応するアンカー点に配置されるであろう注釈を示させ、
    前記第２の種類の特徴の前記表現の少なくとも一部に対応する、前記第１の１組の、１つ以上のガイドとは異なる、第２の１組の、１つ以上のガイドを表示させる
    命令を備える、プログラム。
  11. 前記コンピュータシステムにより実行されるときに、前記コンピュータシステムに、請求項２から７のいずれか一項に記載の方法を実施させる命令を更に備える、請求項１０に記載のプログラム。
JP2022005328A 2020-02-03 2022-01-17 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース Active JP7041327B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062969647P 2020-02-03 2020-02-03
US62/969,647 2020-02-03
US17/018,980 2020-09-11
US17/018,980 US11138771B2 (en) 2020-02-03 2020-09-11 Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
JP2020159788A JP2021125215A (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020159788A Division JP2021125215A (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP7041327B1 JP7041327B1 (ja) 2022-03-23
JP2022059612A true JP2022059612A (ja) 2022-04-13

Family

ID=75845997

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2020159789A Active JP7139394B2 (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2020159788A Withdrawn JP2021125215A (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2020159787A Withdrawn JP2021125214A (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2022005328A Active JP7041327B1 (ja) 2020-02-03 2022-01-17 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2022005327A Active JP7041326B1 (ja) 2020-02-03 2022-01-17 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2022142210A Pending JP2022188033A (ja) 2020-02-03 2022-09-07 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2020159789A Active JP7139394B2 (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2020159788A Withdrawn JP2021125215A (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2020159787A Withdrawn JP2021125214A (ja) 2020-02-03 2020-09-24 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022005327A Active JP7041326B1 (ja) 2020-02-03 2022-01-17 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
JP2022142210A Pending JP2022188033A (ja) 2020-02-03 2022-09-07 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース

Country Status (5)

Country Link
US (6) US11138771B2 (ja)
JP (6) JP7139394B2 (ja)
KR (3) KR102628335B1 (ja)
AU (5) AU2020239675B2 (ja)
DK (3) DK202070604A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858754B2 (en) 2012-06-14 2018-01-02 Bally Gaming, Inc. System and method for augmented reality gaming
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN113508361A (zh) * 2019-05-06 2021-10-15 苹果公司 用于呈现计算机生成现实文件的设备、方法和计算机可读介质
USD947222S1 (en) * 2019-07-15 2022-03-29 Atlas Copco Airpower, Naamlooze Vennootschap Display panel with graphical user interface for a compressor or an electrical generator
USD969837S1 (en) * 2019-12-31 2022-11-15 Daikin Manufacturing Company, L.P. Display screen with a graphical user interface for an HVAC control device
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US20220269889A1 (en) * 2020-04-14 2022-08-25 Google Llc Visual tag classification for augmented reality display
US11605187B1 (en) * 2020-08-18 2023-03-14 Corel Corporation Drawing function identification in graphics applications
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11587249B2 (en) * 2020-09-24 2023-02-21 Eagle Technology, Llc Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery
US11747468B2 (en) 2020-09-24 2023-09-05 Eagle Technology, Llc System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods
US11417119B2 (en) * 2020-10-06 2022-08-16 Wipro Limited Method and system for navigating vehicles based on road conditions determined in real-time
BE1028937B1 (nl) * 2020-12-22 2022-07-19 Rods&Cones Holding Bv Contactloos configureren van een videoconferentie in steriele omgevingen
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US20220319059A1 (en) * 2021-03-31 2022-10-06 Snap Inc User-defined contextual spaces
USD1013716S1 (en) * 2021-04-01 2024-02-06 Instasize, Inc. Display screen or portion thereof with a graphical user interface
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
FR3123984A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de localisation d’au moins un point d’une pièce réelle sur une maquette numérique
US20230019933A1 (en) * 2021-07-15 2023-01-19 Watershed Informatics, Inc. User interface controls for visual software modification
US20230048501A1 (en) * 2021-08-16 2023-02-16 Apple Inc. Visualization of a knowledge domain
USD1018580S1 (en) * 2021-10-13 2024-03-19 Degussa Bank AG Display screen with financial institution graphical user interface
USD1021939S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution navigation interface
USD1021940S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution communication interface
US11966555B2 (en) * 2022-01-07 2024-04-23 Charles Allan Wolford Method and apparatus for increasing measurement accuracy using a camera enabled portable computing device
US20230260415A1 (en) * 2022-02-17 2023-08-17 The United States Of America, As Represented By The Secretary Of The Navy Remote expert method and system utilizing quantitative quality assurance in mixed reality
WO2023220071A2 (en) * 2022-05-10 2023-11-16 Apple Inc. Systems, methods, and graphical user interfaces for scanning and modeling environments

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013152527A (ja) * 2012-01-24 2013-08-08 Toyota Motor Corp 車両用操作装置
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法
JP2014007516A (ja) * 2012-06-22 2014-01-16 Olympus Imaging Corp 撮影機器及び撮影方法
WO2014157340A1 (ja) * 2013-03-29 2014-10-02 日本電気株式会社 サイズ測定装置及びサイズ測定方法
US20160065839A1 (en) * 2014-09-02 2016-03-03 Lg Electronics Inc. Display device and method of controlling therefor
CN107018292A (zh) * 2015-09-14 2017-08-04 奥林巴斯株式会社 摄像操作引导装置以及摄像操作引导方法
JP2017536618A (ja) * 2014-11-25 2017-12-07 マイクロソフト テクノロジー ライセンシング，エルエルシー ウェアラブル可視化デバイスのための仮想測定ツール
US20180218513A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
WO2018198319A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US20190051054A1 (en) * 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
JP2019148899A (ja) * 2018-02-26 2019-09-05 京セラ株式会社 電子機器、制御方法およびプログラム
US20190339058A1 (en) * 2018-05-07 2019-11-07 Apple Inc. Devices and Methods for Measuring Using Augmented Reality

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072810B2 (en) 2001-06-08 2006-07-04 Tata Consultancy Services Limited Method and apparatus for pattern based generation of graphical user interfaces (GUI)
US6882874B2 (en) * 2002-02-15 2005-04-19 Datex-Ohmeda, Inc. Compensation of human variability in pulse oximetry
US7412658B2 (en) 2002-11-14 2008-08-12 Sap Ag Modeling system for graphic user interface
AU2003299716A1 (en) 2002-12-17 2004-07-14 Dale Richard Waters Crib shield system and other breathable apparatus
CN100375124C (zh) 2003-12-17 2008-03-12 中国科学院自动化研究所 一种骨架化物体重建方法
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP2008217590A (ja) * 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
GB0707216D0 (en) 2007-04-14 2007-05-23 Livesey Carl Interactive shopping platform
JP4858375B2 (ja) 2007-04-19 2012-01-18 富士ゼロックス株式会社 情報処理装置及びプログラム
CN101334277B (zh) 2007-06-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 点镭射自动对焦扫描影像量测系统及方法
WO2009088053A1 (ja) * 2008-01-09 2009-07-16 Nikon Corporation 測定装置および方法、並びに、プログラム
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
US9875013B2 (en) 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US8677259B2 (en) 2009-04-28 2014-03-18 Stipple Inc. System and method for annotating multimedia objects
US8244462B1 (en) 2009-05-21 2012-08-14 Google Inc. System and method of determining distances between geographic positions
US8365081B1 (en) 2009-05-28 2013-01-29 Amazon Technologies, Inc. Embedding metadata within content
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
WO2011029209A2 (en) 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
CN102726051B (zh) 2009-09-11 2016-02-03 迪斯尼实业公司 3d视频中的虚拟插件
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
JP2011118834A (ja) * 2009-12-07 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5018980B2 (ja) 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
US20110252405A1 (en) 2010-04-10 2011-10-13 Ilan Meirman Detecting user interface defects in a software application
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US20110279445A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
EP2537141B1 (en) * 2010-06-10 2016-03-30 Sartorius Stedim Biotech GmbH Assembling method, operating method, augmented reality system and computer program product
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
KR101074678B1 (ko) 2011-03-03 2011-10-18 배상모 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법
CN103460256B (zh) 2011-03-29 2016-09-14 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
WO2013008649A1 (ja) 2011-07-11 2013-01-17 Kddi株式会社 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
KR101824413B1 (ko) 2011-08-30 2018-02-02 삼성전자주식회사 휴대단말기의 동작 모드 제어 방법 및 장치
US9696897B2 (en) 2011-10-19 2017-07-04 The Regents Of The University Of California Image-based measurement tools
US10514542B2 (en) 2011-12-19 2019-12-24 Dolby Laboratories Licensing Corporation Head-mounted display
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
JP6016226B2 (ja) * 2012-04-04 2016-10-26 シャープ株式会社 測長装置、測長方法、プログラム
US9541417B2 (en) 2012-06-05 2017-01-10 Apple Inc. Panning for three-dimensional maps
EP2893479B1 (en) * 2012-09-05 2018-10-24 Sizer Technologies Ltd System and method for deriving accurate body size measures from a sequence of 2d images
JP6080248B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
JP6080249B2 (ja) * 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
US9449343B2 (en) * 2012-10-05 2016-09-20 Sap Se Augmented-reality shopping using a networked mobile device
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9524585B2 (en) 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
EP2932703A4 (en) 2012-12-17 2016-05-18 Intel Corp EMBEDDING MINIATURE IMAGE INFORMATION IN VIDEO TONES
CN103218854B (zh) 2013-04-01 2016-04-20 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
JP6304240B2 (ja) 2013-04-04 2018-04-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP6264665B2 (ja) 2013-04-17 2018-01-24 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
US10074179B2 (en) 2013-05-07 2018-09-11 Sharp Kabushiki Kaisha Image measurement device
WO2014197631A1 (en) 2013-06-04 2014-12-11 Clicrweight, LLC Methods and systems for marking animals
US9645726B2 (en) 2013-06-08 2017-05-09 Apple Inc. Mapping application with interactive dynamic scale and smart zoom
US20150062123A1 (en) 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
KR102153366B1 (ko) 2013-08-30 2020-10-15 삼성전자 주식회사 전자 기기의 화면 전환 방법 및 장치
WO2015034969A2 (en) 2013-09-03 2015-03-12 Apple Inc. User interface for manipulating user interface objects with magnetic properties
KR20160054486A (ko) 2013-09-11 2016-05-16 신세이, 인크. 콘텐츠 트랜잭션 아이템들의 동적 바인딩
EP3050030B1 (en) 2013-09-24 2020-06-24 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9922253B2 (en) 2013-10-11 2018-03-20 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
US20150193982A1 (en) 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US11314905B2 (en) 2014-02-11 2022-04-26 Xactware Solutions, Inc. System and method for generating computerized floor plans
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6683127B2 (ja) 2014-08-01 2020-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102223282B1 (ko) 2014-08-07 2021-03-05 엘지전자 주식회사 스마트 줄자를 구비한 이동 단말기 및 그의 물체 길이 측정 방법
CN107077753A (zh) 2014-08-26 2017-08-18 霍尼韦尔国际公司 对三维显示进行注释
US9898868B2 (en) 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9665960B1 (en) 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9661308B1 (en) 2015-04-20 2017-05-23 Samsung Electronics Co., Ltd. Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
US20160329006A1 (en) 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
EP3101629B1 (en) * 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
US10197433B2 (en) 2015-06-15 2019-02-05 United States Postal Service Dimensional measuring system
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
JP6062599B1 (ja) * 2015-08-03 2017-01-18 株式会社ｓｉｚｅｂｏｏｋ 携帯情報装置、寸法測定方法、および寸法測定プログラム
US20170053621A1 (en) 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Roundtrip Reintegration of Asynchronous 3D Session
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10049500B2 (en) 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
JP6645096B2 (ja) * 2015-09-29 2020-02-12 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
NO3154008T3 (ja) 2015-10-09 2018-05-19
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN105554247B (zh) 2015-12-07 2019-05-14 魅族科技（中国）有限公司 测量方法、测量系统和终端
US9767606B2 (en) 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
KR102559625B1 (ko) 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
WO2017132636A1 (en) * 2016-01-29 2017-08-03 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
JPWO2017134886A1 (ja) * 2016-02-02 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10257505B2 (en) 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
CN105608746B (zh) 2016-03-16 2019-10-11 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
US10296574B2 (en) 2016-03-28 2019-05-21 Microsoft Technology Licensing, Llc Contextual ink annotation in a mapping interface
US10367919B2 (en) * 2016-03-31 2019-07-30 Verizon Patent And Licensing Inc. Methods and systems for efficient distribution of virtual reality media content
WO2017215899A2 (en) 2016-05-27 2017-12-21 Holobuilder Inc, Augmented and virtual reality
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10445867B2 (en) * 2016-07-13 2019-10-15 The Boeing Company System and method for generating enhanced stereographic videos of aircraft build processes
CN106251185A (zh) 2016-08-24 2016-12-21 四川见山科技有限责任公司 基于ue4引擎的vr房产展示与交互系统
CA3072632A1 (en) 2016-09-16 2018-03-22 Christopher Ghaleb A floorplan visualisation system
US10852936B2 (en) 2016-09-23 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device
US10127886B2 (en) * 2016-10-14 2018-11-13 Microsoft Technology Licensing, Llc Modifying hand occlusion of holograms based on contextual information
US10332317B2 (en) * 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
KR101809440B1 (ko) 2016-11-21 2017-12-15 김승정 스마트 기기의 증강현실을 이용한 사이즈 측정 방법
KR101899981B1 (ko) * 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이
US10540699B1 (en) 2016-12-05 2020-01-21 Amazon Technologies, Inc. Methods and systems for scene driven content creation
CN111899003A (zh) 2016-12-13 2020-11-06 创新先进技术有限公司 基于增强现实的虚拟对象分配方法及装置
KR102553190B1 (ko) * 2016-12-29 2023-07-07 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
JP6794838B2 (ja) 2017-01-13 2020-12-02 コニカミノルタ株式会社 医用画像表示装置
TWI616799B (zh) 2017-01-16 2018-03-01 宏碁股份有限公司 輸入裝置
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
WO2018164932A1 (en) 2017-03-08 2018-09-13 Vid Scale, Inc. Zoom coding using simultaneous and synchronous multiple-camera captures
US10249095B2 (en) * 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20180336732A1 (en) 2017-05-16 2018-11-22 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3639154A4 (en) 2017-06-15 2021-01-27 Tencent Technology (Shenzhen) Company Limited SYSTEM AND PROCEDURE FOR CUSTOMIZING A USER INTERFACE PANEL ON THE BASIS OF PHYSICAL SIZES
US11187720B2 (en) 2017-06-16 2021-11-30 Tektronix, Inc. Test and measurement devices, systems, and methods associated with augmented reality
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
CN109802931B (zh) 2017-11-17 2021-08-06 腾讯科技（深圳）有限公司 一种通信处理方法、终端及存储介质
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US20190180506A1 (en) 2017-12-11 2019-06-13 Tsunami VR, Inc. Systems and methods for adding annotations to virtual objects in a virtual environment
CA3125730C (en) 2018-01-05 2023-10-24 Aquifi, Inc. Systems and methods for volumetric sizing
JP2019158519A (ja) * 2018-03-12 2019-09-19 株式会社あかつき 測定装置、測定方法及び測定プログラム
US10922862B2 (en) 2018-04-05 2021-02-16 Lenovo (Singapore) Pte. Ltd. Presentation of content on headset display based on one or more condition(s)
US11086474B2 (en) 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
WO2019217148A1 (en) * 2018-05-07 2019-11-14 Apple Inc. Devices and methods for measuring using augmented reality
AU2019100486B4 (en) * 2018-05-07 2019-08-01 Apple Inc. Devices and methods for measuring using augmented reality
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US10977868B2 (en) 2018-06-29 2021-04-13 Factualvr, Inc. Remote collaboration methods and systems
US10896546B2 (en) 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
TWI675583B (zh) 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
EP3655928B1 (en) 2018-09-26 2021-02-24 Google LLC Soft-occlusion for computer graphics rendering
US10674072B1 (en) * 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US10679420B2 (en) 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
US11166077B2 (en) * 2018-12-20 2021-11-02 Rovi Guides, Inc. Systems and methods for displaying subjects of a video portion of content
US20200211170A1 (en) * 2018-12-28 2020-07-02 Wiivv Wearables Company Live viewfinder verification of image viability
US11090561B2 (en) 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US10999629B1 (en) 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
US10762716B1 (en) * 2019-05-06 2020-09-01 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US11494953B2 (en) 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN114762008A (zh) 2019-12-09 2022-07-15 奇跃公司 简化的虚拟内容编程的交叉现实系统
US11204678B1 (en) 2019-12-11 2021-12-21 Amazon Technologies, Inc. User interfaces for object exploration in virtual reality environments
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US20210286502A1 (en) 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013152527A (ja) * 2012-01-24 2013-08-08 Toyota Motor Corp 車両用操作装置
JP2013196355A (ja) * 2012-03-19 2013-09-30 Toshiba Corp 物体測定装置、及び物体測定方法
JP2014007516A (ja) * 2012-06-22 2014-01-16 Olympus Imaging Corp 撮影機器及び撮影方法
WO2014157340A1 (ja) * 2013-03-29 2014-10-02 日本電気株式会社 サイズ測定装置及びサイズ測定方法
US20160065839A1 (en) * 2014-09-02 2016-03-03 Lg Electronics Inc. Display device and method of controlling therefor
JP2017536618A (ja) * 2014-11-25 2017-12-07 マイクロソフト テクノロジー ライセンシング，エルエルシー ウェアラブル可視化デバイスのための仮想測定ツール
CN107018292A (zh) * 2015-09-14 2017-08-04 奥林巴斯株式会社 摄像操作引导装置以及摄像操作引导方法
US20180218513A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
WO2018198319A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US20190051054A1 (en) * 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
JP2019148899A (ja) * 2018-02-26 2019-09-05 京セラ株式会社 電子機器、制御方法およびプログラム
US20190339058A1 (en) * 2018-05-07 2019-11-07 Apple Inc. Devices and Methods for Measuring Using Augmented Reality

Also Published As

Publication number Publication date
JP2021125215A (ja) 2021-08-30
KR20210098823A (ko) 2021-08-11
US20240045562A1 (en) 2024-02-08
JP7041326B1 (ja) 2022-03-23
JP2021125216A (ja) 2021-08-30
US11003308B1 (en) 2021-05-11
KR20210099498A (ko) 2021-08-12
AU2020239688A1 (en) 2021-08-19
JP7041327B1 (ja) 2022-03-23
AU2020239688B2 (en) 2022-03-10
AU2024201899A1 (en) 2024-04-11
US20230341991A1 (en) 2023-10-26
US11080879B1 (en) 2021-08-03
US20210241505A1 (en) 2021-08-05
US11797146B2 (en) 2023-10-24
DK202070604A1 (en) 2021-11-05
US20210304465A1 (en) 2021-09-30
JP2021125214A (ja) 2021-08-30
KR102425958B1 (ko) 2022-07-27
KR20210098822A (ko) 2021-08-11
US20210241483A1 (en) 2021-08-05
AU2020239691A1 (en) 2021-08-19
AU2020239691B2 (en) 2022-03-17
JP2022188033A (ja) 2022-12-20
AU2022202851B2 (en) 2024-04-11
US11138771B2 (en) 2021-10-05
JP7139394B2 (ja) 2022-09-20
KR102628335B1 (ko) 2024-01-23
DK202070603A1 (en) 2022-01-13
DK202070602A1 (en) 2022-01-13
AU2020239675B2 (en) 2022-02-10
AU2020239675A1 (en) 2021-08-19
AU2022202851A1 (en) 2022-05-19
JP2022059611A (ja) 2022-04-13

Similar Documents

Publication Publication Date Title
JP7041327B1 (ja) 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
US11227446B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
JP7324813B2 (ja) 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
CN115543144A (zh) 增强现实环境中显示和操纵虚拟对象的系统、方法和界面
EP4254147A2 (en) Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
WO2023220071A2 (en) Systems, methods, and graphical user interfaces for scanning and modeling environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220124

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220310

R150 Certificate of patent or registration of utility model

Ref document number: 7041327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150