CN113340199B - 使用增强现实进行测量的设备和方法 - Google Patents

使用增强现实进行测量的设备和方法 Download PDF

Info

Publication number
CN113340199B
CN113340199B CN202110660753.5A CN202110660753A CN113340199B CN 113340199 B CN113340199 B CN 113340199B CN 202110660753 A CN202110660753 A CN 202110660753A CN 113340199 B CN113340199 B CN 113340199B
Authority
CN
China
Prior art keywords
measurement
representation
electronic device
touch
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110660753.5A
Other languages
English (en)
Other versions
CN113340199A (zh
Inventor
G·R·保罗
G·耶基斯
S·O·勒梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202110660753.5A priority Critical patent/CN113340199B/zh
Priority claimed from CN201910194257.8A external-priority patent/CN110455179A/zh
Publication of CN113340199A publication Critical patent/CN113340199A/zh
Application granted granted Critical
Publication of CN113340199B publication Critical patent/CN113340199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1306—Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及使用增强现实进行测量的设备和方法。电子设备显示标注放置用户界面，其包括物理空间的表示以及指示虚拟标注将被放置的位置的放置用户界面元素。电子设备检测相机相对于物理空间的移动，当放置用户界面元素对应于物理空间的第一部分时，移动开始。作为响应，电子设备移动放置用户界面元素以对应于物理空间的第二部分。如果无法识别物理空间的第二部分中的其在物理空间的表示中的对应对象能够链接到虚拟标注的对象，则电子设备停止显示放置用户界面元素的至少一部分。如果已经识别出这样的对象，则保持放置用户界面元素的显示。

Description

使用增强现实进行测量的设备和方法
本申请是申请日为2019年3月14日、申请号为201910194257.8、发明名称为“使用增强现实进行测量的设备和方法”的中国发明专利申请的分案申请。
技术领域
本发明通常涉及用于虚拟/增强现实的电子设备，包括但不限于使用虚拟/增强现实环境来测量物理空间和/或对象的电子设备。
背景技术
增强现实环境对于通过提供物理空间的视图并使用户能够在物理空间和其中的对象上叠加测量来对该环境中的物理空间和对象进行测量是有用的。但是使用增强现实进行测量的传统方法麻烦、低效并且受限。在一些情况下，使用增强现实进行测量的传统方法在功能上受到限制。在一些情况下，使用增强现实进行测量的传统方法需要多个单独的输入(例如，一系列手势和按钮按压等)以实现预期结果(例如，通过激活多个显示的用户界面元素来访问不同的测量功能)。此外，常规方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此，需要具有用于使用虚拟/增强现实环境进行测量的改进的方法和界面的计算机系统。此类方法和界面任选地补充或替换用于使用虚拟/增强现实环境进行测量的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。
利用所公开的计算机系统减少或消除了与用于使用虚拟/增强现实进行测量的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，该计算机系统包括台式计算机。在一些实施方案中，该计算机系统是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该计算机系统包括个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该计算机系统具有触控板(和/或与触控板通信)。在一些实施方案中，该计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与触敏显示器通信)。在一些实施方案中，该计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，除了基于增强现实的测量功能之外，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案，在具有触敏显示器和一个或多个输入设备的电子设备上执行一种方法。该方法包括在触敏显示器上显示应用程序的用户界面。该用户界面包括一个或多个相机中的至少一个的视野的表示。视野的表示以第一放大率显示，并且基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。视野包括三维空间的至少一部分。该方法包括：在显示视野表示的同时，检测触敏显示器上的第一触摸输入，并且响应于检测到第一触摸输入，在视野表示中对应于三维空间中的第一位置的第一位置处添加和显示测量点。该方法还包括在添加测量点之后并且在继续显示视野表示的同时：当一个或多个相机中的至少一个移动时，在视野表示中对应于三维空间中的第一位置的位置处显示该测量点；检测在触敏显示器上对应于视野表示中的测量点的当前位置的位置处的第二触摸输入；并且，响应于检测到第二触摸输入，将视野表示的至少一部分的显示从第一放大率放大到大于第一放大率的第二放大率，其中视野表示的该部分的放大显示包括所述测量点。
根据一些实施方案，在具有触敏显示器、用以检测与触敏显示器的接触的强度的一个或多个传感器，以及一个或多个相机的电子设备处执行一种方法。该方法包括在触敏显示器上显示应用程序的用户界面。该用户界面包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。用户界面还包括显示在视野表示之上的测量点创建指示符。视野包括三维空间的至少一部分。该方法包括检测触敏显示器上的接触，并且，在连续检测触敏显示器上的接触时，当测量点创建指示符在视野表示中对应于三维空间中的第一位置的第一位置之上显示时，并且根据确定满足第一标准，在视野表示中添加和显示对应于三维空间中的第一位置的第一测量点，其中第一标准包括要求接触的强度满足相应的强度阈值以便使第一标准得到满足。该方法还包括在添加第一测量点之后，在电子设备移动时更新视野的表示。该方法还包括：在电子设备移动之后，在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符的同时，根据确定在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符的同时满足第一标准：在视野表示中添加和显示对应于三维空间中的第二位置的第二测量点；并显示连接第一测量点和第二测量点的第一测量段。
根据一些实施方案，在具有触敏显示器和一个或多个输入设备的电子设备上执行一种方法。该方法包括在触敏显示器上显示应用程序的用户界面。该用户界面包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。用户界面包括显示在视野表示之上的测量点创建指示符。视野包括三维空间的至少一部分。该方法包括，在显示视野的表示的同时，确定在视野表示中对应于三维空间中的第一位置的位置处的锚定点。该方法还包括：随着一个或多个相机中的至少一个移动，当测量点创建指示符在锚定点之上时，改变测量点创建指示符的视觉外观以指示：如果触摸输入符合第一标准，则将在锚定点处添加测量点。该方法还包括：检测触敏显示器上满足第一标准的第一触摸输入，并且响应于检测到满足第一标准的第一触摸输入：根据确定当第一标准满足时测量点创建指示符在锚定点之上，在视野表示中对应于三维空间中的第一位置的锚定点处添加和显示第一测量点；并且根据确定在第一标准满足时测量点创建指示符不在锚定点之上，在视野表示中离开锚定点的第一位置处添加和显示第一测量点。
根据一些实施方案，在具有显示器、输出设备以及一个或多个相机的电子设备上执行一种方法。该方法包括在显示器上显示应用程序的用户界面。该用户界面包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。视野包括三维空间中的物理对象。该方法包括：在显示视野的表示的同时，经由输入设备检测一个或多个用户输入，其在视野的表示之上添加对应于物理对象的第一测量的表示。该方法还包括：在视野的表示之上同时显示第一测量的表示和描述第一测量的第一标签，其中：根据确定电子设备与物理对象之间的第一距离小于第一阈值距离，以第一阈值大小显示第一标签；根据确定电子设备与物理对象之间的第一距离大于第二阈值距离，以小于第一阈值大小的第二阈值大小显示第一标签，其中第二阈值距离大于第一阈值距离；并且根据确定电子设备和物理对象之间的第一距离在第一阈值距离和第二阈值距离之间，以第一阈值大小和第二阈值大小之间的大小显示第一标签，所述大小取决于电子设备和物理对象之间的第一距离。
根据一些实施方案，在具有显示器、输出设备以及一个或多个相机的电子设备上执行一种方法。该方法包括在显示器上显示应用程序的用户界面。该用户界面包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。视野包括三维空间中的物理对象。该方法包括：在显示视野的表示的同时，经由输入设备检测一个或多个用户输入，其在视野的表示之上添加对应于物理对象的第一测量的表示，其中第一测量的表示包括对应于物理对象上的第一位置的第一端点，第一测量的表示包括对应于物理对象上的第二位置的第二端点；并且第一测量的表示包括连接第一端点和第二端点的第一线段。该方法还包括：部分地基于第一测量，确定视野表示中与第一测量的第一线段毗邻的第一区域，其中第一区域对应于三维空间中的物理矩形区域。该方法还包括在用户界面中显示第一区域的指示，其中该指示覆盖在视野表示中的第一区域上。
根据一些实施方案，在具有触敏显示器和一个或多个输入设备的电子设备上执行一种方法。该方法包括在触敏显示器上显示应用程序的第一用户界面。第一用户界面包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。视野包括三维空间中的物理对象。物理对象的测量的表示叠加在视野表示中该物理对象的图像上。该方法包括：在显示第一用户界面的同时，检测触敏显示器上在测量的表示上的第一触摸输入。该方法还包括：响应于检测到触敏显示器上在测量的表示上的第一触摸输入，启动用于共享关于该测量的信息的过程。
根据一些实施方案，在具有显示器、输出设备以及一个或多个相机的电子设备上执行一种方法。该方法包括在显示器上显示应用程序的用户界面。该用户界面包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示。视野包括三维空间的至少一部分。该方法包括检测电子设备的移动，该移动使一个或多个相机中的至少一个的视野在第一方向上移动。该方法还包括：在检测电子设备的使视野在第一方向上移动的移动的同时：根据电子设备的移动，更新视野的表示；识别视野表示中沿第一方向延伸的一个或多个第一元素；并且，至少部分地基于确定一个或多个第一元素，在视野表示中显示在第一方向上延伸并且对应于所识别的一个或多个第一元素中的一个的第一引导。
根据一些实施方案，在具有一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备处执行一种方法：该方法包括经由一个或多个显示设备显示用户界面，该用户界面包括物理空间的表示。该方法包括：在显示物理空间的表示的同时，接收用以在物理空间的表示中创建虚拟标注的第一组一个或多个输入。该方法还包括：响应于接收到第一组一个或多个输入，将第一虚拟标注添加到物理空间的表示。第一虚拟标注链接到物理空间的表示的一部分。该方法还包括：在将第一虚拟标注添加到物理空间的表示之后，接收与物理空间的表示相关联的第二组一个或多个输入。该方法还包括：响应于接收到与物理空间的表示相关联的第二组一个或多个输入：根据确定第二组一个或多个输入对应于在物理空间的表示中创建距第一虚拟标注阈值距离内的虚拟标注的请求，在物理空间的表示中创建第二虚拟标注，同时在物理空间的表示中保持第一虚拟标注；并且，根据确定第二组一个或多个输入对应于在物理空间的表示中创建距第一虚拟标注阈值距离外的虚拟标注的请求，在物理空间的表示中创建第二虚拟标注并且从物理空间的表示中移除第一虚拟标注。
根据一些实施方案，在具有一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备处执行一种方法。该方法包括经由一个或多个显示设备显示标注放置用户界面。标注放置用户界面包括：物理空间的表示；以及放置用户界面元素，其指示响应于检测到标注放置输入，虚拟标注将被放置在物理空间的表示中的哪个位置。该方法包括：在显示标注放置用户界面的同时，检测一个或多个相机中的至少一个相对于物理空间的移动。当放置用户界面元素显示在物理空间的表示中对应于物理空间的第一部分的位置处时，一个或多个相机中的至少一个的移动开始。该方法包括：响应于检测到一个或多个相机中的至少一个相对于物理空间的移动，将放置用户界面元素移动到物理空间的表示中对应于物理空间的第二部分的位置，该第二部分不同于物理空间的第一部分，并且根据一个或多个相机中的至少一个相对于物理空间的移动，更新标注放置用户界面的外观，包括：根据确定电子设备无法识别物理空间的第二部分中其在物理空间的表示中的对应对象可以链接到虚拟标注的对象，停止显示放置用户界面元素的至少一部分；并且根据确定设备已经识别出物理空间的第二部分中的其在物理空间的表示中的对应对象可以链接到虚拟标注的对象，保持放置用户界面元素的显示。
根据一些实施方案，一种计算机系统(例如，电子设备)包括显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，连续提供相机视野内的至少一部分内容的实时预览并且可选地生成包括捕获相机视野内的内容的一个或多个图像帧的视频输出的摄影机)，以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、可选的一个或多个姿态传感器、可选的检测触敏表面的接触的强度的一个或多个传感器、可选的一个或多个触觉输出发生器、一个或多个处理器，以及存储一个或多个程序的存储器(和/或与这些部件通信)；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一方法的操作的指令。根据一些实施方案，计算机可读存储介质在其中存储有指令，这些指令当由包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器，以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统执行时，使得该计算机系统执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施方案，在包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器、可选的一个或多个触觉输出发生器、存储器以及用以执行存储在存储器中的一个或多个程序的一个或多个处理器(和/或与这些部件通信)的计算机系统上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元素，这一个或多个元素响应于输入进行更新，如本文所述的任何方法中所描述的。根据一些实施方案，计算机系统包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器、可选的一个或多个触觉输出发生器以及用于执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行的装置(和/或与这些部件通信)。根据一些实施方案，用于在包括显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统中使用的信息处理装置包括用于执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行的装置。
因此，具有(和/或与之通信)显示生成部件、一个或多个相机、一个或多个输入设备、可选的一个或多个姿态传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器和可选的一个或多个触觉输出发生器的计算机系统具有用于使用虚拟/增强现实环境测量物理对象的改进的方法和界面，从而提高这种计算机系统的有效性、效率和用户满意度。此类方法和界面可以补充或替换用于使用虚拟/增强现实环境来测量物理对象的常规方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图1C是示出了根据一些实施方案的触觉输出模块的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图3B-3C为根据一些实施方案的示例性计算机系统的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例用户界面。
图4C-图4E示出了根据一些实施方案的动态强度阈值的实施例。
图4F-图4K示出了根据一些实施方案的一组样本触觉输出模式。
图5A-5CO示出了根据一些实施方案的用于使用增强现实环境进行物理空间测量的示例性用户界面。
图6A-6C是根据一些实施方案的与用于使用增强现实环境进行物理空间测量的应用程序交互的过程的流程图。
图7A-7E是根据一些实施方案的用于将测量添加到增强现实环境中的物理空间的显示表示的过程的流程图。
图8A-8C是根据一些实施方案的用于在增强现实环境中的自动确定的锚定点处添加虚拟测量点的过程的流程图。
图9A-9B是根据一些实施方案的用于在增强现实环境中显示物理空间测量的标签的过程的流程图。
图10A-10B是根据一些实施方案的用于在增强现实环境中测量物理空间中的矩形区域和与之交互的过程的流程图。
图11A-11B是根据一些实施方案的用于在增强现实环境中与测量信息交互并管理测量信息的过程的流程图。
图12A-12C是根据一些实施方案的用于在增强现实环境中提供自动确定的对准引导的过程的流程图。
图13A-13C是根据一些实施方案的用于在增强现实环境中自动移除先前添加的虚拟标注的过程的流程图。
图14A-14D是根据一些实施方案的用于指示物理空间中的对象是否已被识别为可以跟踪其在增强现实环境中的对应表示的对象的过程的流程图。
具体实施方式
如上所述，增强现实环境对于通过提供物理空间的视图并使用户能够在物理空间和其中的物理对象上叠加测量来对该环境中的物理空间和对象进行测量是有用的。利用增强现实环境进行测量的传统方法通常在功能上受到限制。在一些情况下，传统方法需要多个单独的输入(例如，一系列手势和按钮按压等)以实现预期结果(例如，通过激活多个显示的用户界面元素来访问不同的测量功能)。本文公开的实施方案为用户提供了利用增强现实环境进行测量的直观方式(例如，通过使用户能够用更少的输入在增强现实环境中执行不同的操作，和/或通过简化用户界面)。另外，本文的实施方案提供改进的视觉和触觉反馈，其向用户提供关于被测量的物理对象和关于在增强现实环境中执行的操作的附加信息。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。例如，通过提供对物理空间中的特征的自动检测、改进的标记和对准引导(例如，用于改进的测量点放置和区域识别)，并且通过使用户能够与测量信息进行交互并对其进行管理，使得更容易使用增强现实环境测量物理空间中的特征。
下面，图1A至图1B、图2以及图3A至图3B提供了对示例性设备的描述。图4A-4B和图5A-5CO示出了使用增强现实环境进行物理空间测量的示例性背景和示例性用户界面。图6A-6C示出了用于与使用增强现实环境进行物理空间测量的应用程序交互的方法的流程图。图7A-7E示出了将测量添加到增强现实环境中的物理空间的显示表示的方法的流程图。图8A-8C示出了将虚拟测量点添加到增强现实环境中的自动确定的锚定点处的方法的流程图。图9A-9B示出了用于在增强现实环境中显示物理空间测量的标签的方法的流程图。图10A-10B示出了在增强现实环境中测量物理空间中的矩形区域并与之交互的方法的流程图。图11A-11B示出了在增强现实环境中与测量信息交互并管理测量信息的方法的流程图。图12A-12C示出了在增强现实环境中提供自动确定的对准引导的方法的流程图。图13A-13C是用于在增强现实环境中自动移除先前添加的虚拟标注的过程的流程图。图14A-14D是用于指示物理空间中的对象是否已被识别为可以跟踪其在增强现实环境中的对应表示的对象的过程的流程图。图5A-5CO中的用户界面用于示出图6A-6C、图7A-7E、图8A-8C、图9A-9B、图10A-10B、图11A-11B、图12A-12C、图13A-13C和图14A-14D中的过程。
示例性设备
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
用于虚拟/增强现实的计算机系统包括产生虚拟/增强现实环境的电子设备。本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的
Figure BDA0003115152390000111
iPod/>
Figure BDA0003115152390000112
和/>
Figure BDA0003115152390000113
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机，其还包括一个或多个相机或与其通信。
在下面的讨论中，描述了一种计算机系统，其包括具有显示器和触敏表面(和/或与这些部件通信)的电子设备。然而，应当理解，该计算机系统可选地包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机。
该设备通常支持各种应用程序，诸如以下中的一者或多者：游戏应用程序、笔记记录应用程序、绘图应用程序、演示文稿应用程序、文字处理应用程序、电子表格应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及由所述设备显示的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”，并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100可选地包括一个或多个光学传感器164(例如，作为一个或多个相机的一部分)。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触强度的一个或多个强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器163(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)。这些部件可选地通过一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，触觉输出模式指定触觉输出的特性，诸如触觉输出的幅值、触觉输出的运动波形的形状、触觉输出的频率、和/或触觉输出的持续时间。
当设备(例如经由移动可移动质块生成触觉输出的一个或多个触觉输出发生器)生成具有不同触觉输出模式的触觉输出时，触觉输出可在握持或触摸设备的用户中产生不同触感。虽然用户的感官基于用户对触觉输出的感知，但大多数用户将能够识别设备生成的触觉输出的波形、频率和幅值的变化。因此，波形、频率和幅值可被调节以向用户指示已执行了不同操作。这样，具有被设计、选择和/或安排用于模拟给定环境(例如，包括图形特征和对象的用户界面、具有虚拟边界和虚拟对象的模拟物理环境、具有物理边界和物理对象的真实物理环境、和/或以上任意者的组合)中对象的特性(例如大小、材料、重量、刚度、光滑度等)；行为(例如振荡、位移、加速、旋转、伸展等)；和/或交互(例如碰撞、粘附、排斥、吸引、摩擦等)的触觉输出模式的触觉输出在一些情况下将为用户提供有帮助的反馈，其减少输入错误并提高用户对设备的操作的效率。另外，触觉输出任选地被生成为对应于与所模拟物理特性(诸如输入阈值或对象选择)无关的反馈。此类触觉输出在一些情况下将为用户提供有帮助的反馈，其减少输入错误并提高用户对设备的操作的效率。
在一些实施方案中，具有合适触觉输出模式的触觉输出充当在用户界面中或在设备中屏幕后面发生感兴趣事件的提示。感兴趣事件的示例包括设备上或用户界面中提供的示能表示(例如真实或虚拟按钮、或拨动式开关)的激活、所请求操作的成功或失败、到达或穿过用户界面中的边界、进入新状态、在对象之间切换输入焦点、激活新模式、达到或穿过输入阈值、检测或识别一种类型的输入或手势等等。在一些实施方案中，提供触觉输出以充当关于除非改变方向或中断输入被及时检测到、否则会发生的即将发生事件或结果的警告或提示。触觉输出在其他情境下也用于丰富用户体验、改善具有视觉或运动困难或者其他可达性需要的用户对设备的可达性、和/或改善用户界面和/或设备的效率和功能性。任选地将触觉输出与音频输入和/或视觉用户界面改变进行比较，这进一步增强用户与用户界面和/或设备交互时用户的体验，并有利于关于用户界面和/或设备的状态的信息的更好传输，并且这减少输入错误并提高用户对设备的操作的效率。
图4F-图4H提供可单独地或组合地、按原样或通过一种或多种转换(例如调制、放大、截断等)用于在各种情景中为了各种目的(诸如上文所述的那些以及相对于本文论述的用户界面和方法所述的那些)形成合适触感反馈的一组样本触觉输出模式。触觉输出的控制板的这个示例显示一组三个波形和八个频率可如何被用于生成触觉输出模式的阵列。除了该图中所示的触觉输出模式之外，任选地通过改变针对触觉输出模式的增益值来在幅值方面调节这些触觉输出模式中每一者，如图所示，例如对于图4I-图4K中的FullTap 80Hz、FullTap 200Hz、MiniTap 80Hz、MiniTap 200Hz、MicroTap 80Hz和MicroTap 200Hz，它们各自被示出具有1.0、0.75、0.5和0.25的增益的变体。如图4I-图4K所示，改变触觉输出模式的增益就改变模式的幅值，而不改变模式的频率或改变波形的形状。在一些实施方案中，改变触觉输出模式的频率还导致较低幅值，因为一些触觉输出发生器受限于多少力可被施加于可移动质块，因此质块的较高频率移动被约束到较低幅值以确保形成波形所需要的加速不需要触觉输出发生器的操作力范围之外的力(例如，230Hz、270Hz和300Hz的FullTap的峰值幅值比80Hz、100Hz、125Hz和200Hz的FullTap的幅值低)。
图4F-图4K示出了具有特定波形的触觉输出模式。触觉输出模式的波形表示相对于中性位置(例如xzero)的物理位移对时间的模式，可移动质块通过该模式以生成具有该触觉输出模式的触觉输出。例如，图4F中所示的第一组触觉输出模式(例如“FullTap”的触觉输出模式)每一个都具有包括具有两个完整循环的振荡的波形(例如开始且结束于中性位置且穿过中性位置三次的振荡)。图4G中所示的第二组触觉输出模式(例如“MiniTap”的触觉输出模式)每一个都具有包括含一个完整循环的振荡的波形(例如开始且结束于中性位置且穿过中性位置一次的振荡)。图4H中所示的第三组触觉输出模式(例如“MicroTap”的触觉输出模式)每一个都具有包括含半个完整循环的振荡的波形(例如开始且结束于中性位置且不穿过中性位置的振荡)。触觉输出模式的波形还包括表示在触觉输出开始和结束处可移动质块的逐渐加速和减速的起始缓冲和结束缓冲。图4F-图4K所示的示例波形包括表示可移动质块的最大和最小移动程度的xmin和xmax值。对于可移动质块较大的较大电子设备，该质块的最小和最大移动程度可以更大或更小。图4F-图4K中所示的实施例描述1维中质块的移动，但是类似的原理也将适用于两维或三维中可移动质块的移动。
如图4F-图4H所示，每个触觉输出模式还具有对应的特征频率，其影响用户从具有该特征频率的触觉输出感觉到的触感的“节距”。对于连续触觉输出，特征频率表示触觉输出发生器的可移动质块在给定时间段内完成的循环(例如每秒循环)的数量。对于离散触觉输出，生成离散输出信号(例如具有0.5、1、或2个循环)，并且特征频率值指定可移动质块需要移动多快以生成具有该特征频率的触觉输出。如图4F-图4H所示，对于每种类型的触觉输出(例如由相应波形限定，诸如FullTap、MiniTap、或MicroTap)，较高频率值对应于可移动质块的较快移动，因此一般而言，对应于较短的触觉输出完成时间(例如包括完成离散触觉输出的所需循环数量的时间加上起始和结束缓冲时间)。例如，特征频率为80Hz的FullTap比特征频率为100Hz的FullTap花更长时间完成(例如在图4F中，35.4ms与28.3ms)。此外，对于给定频率，在相应频率在其波形中具有更多循环的触觉输出比在相同相应频率在其波形中具有更少循环的触觉输出花更长时间完成。例如，150Hz的FullTap比150Hz的MiniTap花更长时间完成(例如19.4ms vs.12.8ms)，150Hz的MiniTap比150Hz的MicroTap花更长时间完成(例如12.8ms vs.9.4ms)。然而对于具有不同频率的触觉输出模式，这个规则可能不适用(例如，具有更多循环但具有更高频率的触觉输出可能比具有更少循环但具有更低频率的触觉输出花更短的时间量完成，反之亦然)。例如，在300Hz，FullTap与MiniTap花同样长的时间(例如9.9ms)。
如图4F-图4H所示，触觉输出模式还具有特征幅值，其影响触觉信号中包含的能量的量，或者用户通过具有该特征幅值的触觉输出可感觉到的触感的“强度”。在一些实施方案中，触觉输出模式的特征幅值是指表示在生成触觉输出时可移动质块相对于中性位置的最大位移的绝对值或归一化值。在一些实施方案中，触觉输出模式的特征幅值可根据(例如基于用户界面情境和行为自定义的)各种条件和/或预先配置的度量(例如基于输入的度量、和/或基于用户界面的度量)调节，例如通过固定或动态确定的增益系数(例如介于0和1之间的值)来调节。在一些实施方案中，基于输入的度量(例如强度变化度量或输入速度度量)测量在触发生成触觉输出的输入期间该输入的特征(例如按压输入中接触的特征强度的改变速率或接触在触敏表面上的移动速率)。在一些实施方案中，基于用户界面的度量(例如跨边界速度度量)测量在触发生成触觉输出的用户界面改变期间用户界面元素的特征(例如该元素在用户界面中穿过隐藏或可见边界的移动速度)。在一些实施方案中，触觉输出模式的特征幅值可被“包络”调制，并且相邻循环的峰值可具有不同幅值，其中以上所示波形之一通过乘以随时间改变(例如从0变到1)的包络参数来进一步修改，以在生成触觉输出时随着时间逐渐调节触觉输出的部分的幅值。
虽然在图4F-图4H中为了例示目的说明在样本触觉输出模式中表示了特定频率、幅值和波形，但具有其他频率、幅值和波形的触觉输出模式也可用于类似目的。例如，可使用具有介于0.5到4个循环之间的波形。也可使用60Hz-400Hz范围中的其他频率。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备100的其他部件(诸如一个或多个CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可被用于将设备的输入外围设备和输出外围设备耦接到存储器102和一个或多个CPU 120。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中，外围设备接口118、一个或多个CPU 120、和存储器控制器122可选地在单个芯片诸如芯片104上实现。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108可选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108可选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。所述一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到所述其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的向上/向下按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至触敏显示器系统112。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在一些实施方案中，在触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中，使用投射式互电容感测技术，诸如从Apple Inc.(Cupertino,California)的
Figure BDA0003115152390000191
iPod/>
Figure BDA0003115152390000192
和/>
Figure BDA0003115152390000193
中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏视频分辨率超过400dpi(例如，为500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板(未示出)。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触敏显示器系统112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100可选地还包括一个或多个光学传感器164(例如，作为一个或多个相机的一部分)。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。光学传感器164可选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块)，一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中，光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，从而获取该用户的图像(例如，用于自拍、用于在用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息代理)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地，接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触敏显示器系统112。
设备100可选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些实施方案中，一个或多个触觉输出发生器163包括一个或多个电声设备诸如扬声器或其他音频部件；和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如，用于将电信号转换成设备上的触觉输出的部件)。触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括用于获得关于设备的位置(例如，姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如，作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地，传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中，基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100可选地包括用于获得关于设备100的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器(未示出)。
在一些实施方案中，存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102存储设备/全局内部状态157，如图在1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其它信息占据触敏显示器系统112的各个区域；传感器状态，包括从设备的各个传感器和其他输入或控制设备116获得的信息；以及关于设备的位置和/或姿态的位置和/或方位信息。
操作系统126(例如，iOS、Android、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器，并且有利于各种硬件和软件组件之间的通信。
通信模块128促进通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些
Figure BDA0003115152390000221
iPod />
Figure BDA0003115152390000222
和iPod设备中所使用的30针连接器相同或类似和/或兼容的多针(例如，30针)连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些/>
Figure BDA0003115152390000223
iPod/>
Figure BDA0003115152390000224
和iPod设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。在一些实施方案中，外部端口是与Apple Inc.(Cupertino,California)的一些电子设备中所使用的USB C型连接器相同或类似和/或兼容的USB C型连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已停止(例如，检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触或触笔接触)或者多点同时接触(例如，“多点触摸”/多指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。类似地，通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中，检测手指轻击手势取决于检测手指按下事件与手指抬起事件之间的时间长度，但是与检测手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中，根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如，小于0.1、0.2、0.3、0.4或0.5秒)，检测轻击手势，而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值)，例如轻按压或深按压强度阈值。因此，手指轻击手势可以满足特定输入标准，该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见，轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件，低于该标称接触检测强度阈值时，不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面之上悬停的手指或触笔接触的情况下，标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如，可基于满足与手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、展开手势和/或长按压手势。例如，基于一个或多个接触的移动的量来检测轻扫手势；缩放手势基于两个或更多个接触朝彼此的移动来检测；扩放手势基于两个或更多个接触背离彼此的移动来检测；长按压手势基于触敏表面上具有少于阈值移动量的接触的持续时间来检测。因此，关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足，并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中，基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势，而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值，并且基于确定接触移动大于预定义量值来检测轻扫手势，即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如，当接触的强度高于强度阈值时，设备更快地检测到长按压，或者当接触的强度更高时，设备会延迟对轻击输入的检测)，只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准，则对这些手势的检测也不会要求接触达到特定强度阈值(例如，即使识别手势所需的时间量发生变化)。
在某些情况下，接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合，以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势，使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求一个或多个接触的强度满足相应的强度阈值以便满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估，以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如，在某些情况下，第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在此类竞争中，如果第二手势的第二手势识别标准首先得到满足，则手势任选地不被识别为满足第一手势的第一手势识别标准。例如，如果在接触移动预定义的移动量之前接触达到相应的强度阈值，则检测到深按压手势而不是轻扫手势。相反，如果在接触达到相应的强度阈值之前接触移动预定义的移动量，则检测到轻扫手势而不是深按压手势。即使在此类情况下，第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准，因为如果接触保持低于相应的强度阈值直到手势结束(例如，具有不会增大到高于相应强度阈值的强度的接触的轻扫手势)，手势将被第一手势识别标准识别为轻扫手势。因此，不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下，忽略相对于强度阈值的接触强度(例如，对于轻击手势而言)和/或(B)在某些情况下，如果在特定手势识别标准识别与输入对应的手势之前，一组竞争的强度相关手势识别标准(例如，对于深按压手势而言)将输入识别为与强度相关手势对应，则不能满足特定手势识别标准(例如，对于长按压手势而言)，从这个意义上来讲，仍然取决于相对于强度阈值的接触强度(例如，对于与深按压手势竞争识别的长按压手势而言)。
结合加速度计167、陀螺仪168和/或磁力仪169，姿态模块131任选地检测关于设备的姿态信息，诸如在特定参考系中设备的姿态(例如滚转、仰俯和/或偏航)。姿态模块131包括用于执行与检测设备位置以及检测设备姿态变化相关的各种操作的软件部件。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令(例如，由触觉反馈控制器161使用的指令)的各种软件部件，以响应于用户与设备100的交互而使用触觉输出发生器163在设备100上的一个或多个位置处生成触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供这种信息以在各种应用程序中使用(例如，提供至用于基于位置的拨号的电话138；提供至相机143作为图片/视频元数据；以及提供至提供基于位置的服务诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序的应用程序)。
虚拟/增强现实模块145向应用程序136提供虚拟和/或增强现实逻辑部件，该逻辑部件实现增强现实，并且在一些实施方案中实现虚拟现实特征。虚拟/增强现实模块145促进虚拟内容在一个或多个相机的视野的至少一部分的表示上的叠加，虚拟内容诸如虚拟用户界面对象(例如，用于进行基于增强现实的测量的虚拟卷尺)。例如，在虚拟/增强现实模块145的帮助下，一个或多个相机的视野的至少一部分的表示可以包括相应的物理对象，并且虚拟用户界面对象可以在显示的增强现实环境中显示在基于一个或多个相机的视野中的相应物理对象确定的位置处，或显示在基于计算机系统的至少一部分的姿态(例如，用于向计算机系统的用户显示用户界面的显示设备的姿态)确定的虚拟现实环境中。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获得的其他桌面小程序、以及用户创建的桌面小程序149-6；
用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·任选地由视频播放器模块和音乐播放器模块构成的视频和音乐播放器模块152；
·记事本模块153；
·地图模块154；和/或
·测量模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：添加姓名到通讯录；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或即时消息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134，电话模块138包括用于进行以下操作的可执行指令：输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，即时消息模块141包括用于进行以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息，以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及视频和音乐播放器模块152，健身支持模块142包括可执行指令用于创建健身(例如，具有时间、距离和/或卡路里燃烧目标)；与(体育设备和智能手表中的)健身传感器通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144，相机模块143包括用于进行以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、展示(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接到、接收、和显示网页或其部分、以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)、或由用户创建的微型应用程序(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、和浏览器模块147，桌面小程序创建器模块150包括用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的与一个或多个搜索条件(例如，一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触敏显示系统112上或在经由外部端口124无线连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134，记事本模块153包括用于根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示系统控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154包括用于根据用户指令来接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾车路线；特定位置处或附近的商店和其他兴趣点的数据；和其他基于位置的数据)的可执行指令。
结合触敏显示系统112、显示系统控制器156、接触模块130、图形模块132和虚拟/增强现实模块145，测量模块155包括允许用户在增强现实环境中测量物理空间和/或其中的对象的可执行指令，如本文更详细描述的。
上述所识别的每个模块和应用对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即，指令集)不必以独立的软件程序、过程或模块实现，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102可选地存储上面未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触敏表面来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触敏表面。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A中)或存储器370(图3A)包括事件分类器170(例如，在操作系统126中)和相应的应用程序136-1(例如，前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在又一个实施方案中，事件分类器170是独立模块，或者是存储在存储器102中的另一个模块(诸如，接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包(未示出)或应用程序136-1从中继承方法和其他属性的较高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中，事件187中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器系统112上显示三个用户界面对象的应用程序视图中，当在触敏显示器系统112上检测到触摸时，事件比较器184执行命中Test以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，对相应事件187的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当事件的一个或多个特定子事件被识别时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频或音乐播放器模块152中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触摸板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；基于对由一个或多个相机获得的视频图像的实时分析的输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图1C是示出了根据一些实施方案的触觉输出模块的框图。在一些实施方案中，I/O子系统106(例如触感反馈控制器161(图1A)和/或其他输入控制器160(图1A))包括图1C所示的示例部件中的至少一些。在一些实施方案中，外围设备接口118包括图1C所示的示例部件中的至少一些。
在一些实施方案中，触觉输出模块包括触感反馈模块133。在一些实施方案中，触感反馈模块133聚合并组合来自电子设备上软件应用的针对用户界面反馈(例如，对与所显示用户界面对应的用户输入以及指示电子设备的用户界面中操作的执行或事件的发生的提示和其他通知进行响应的反馈)的触觉输出。触感反馈模块133包括波形模块123(用于提供用于生成触觉输出的波形)、混合器125(用于混合波形，诸如不同通道中的波形)、压缩器127(用于缩减或压缩波形的动态范围)、低通滤波器129(用于滤出波形中的高频信号分量)和热控制器181(用于根据热条件调节波形)中的一者或多者。在一些实施方案中，触感反馈模块133被包括在触感反馈控制器161(图1A)中。在一些实施方案中，触感反馈模块133的单独单元(或触感反馈模块133的单独具体实施)也被包括在音频控制器(例如音频电路110，图1A)中并用于生成音频信号。在一些实施方案中，单个触感反馈模块133被用于生成音频信号以及生成触觉输出的波形。
在一些实施方案中，触感反馈模块133还包括触发器模块121(例如，确定要生成触觉输出并引发用于生成对应触觉输出的过程的软件应用、操作系统、或其他软件模块)。在一些实施方案中，触发器模块121生成用于引发(例如由波形模块123)生成波形的触发器信号。例如，触发器模块121基于预先设置的定时标准来生成触发器信号。在一些实施方案中，触发器模块121从触感反馈模块133之外接收触发器信号(例如，在一些实施方案中，触感反馈模块133从位于触感反馈模块133之外的硬件输入处理模块146接收触发器信号)并将触发器信号中继给触感反馈模块133内的其他部件(例如波形模块123)或基于用户界面元素(例如，应用之内的应用图标或示能表示)或硬件输入设备(例如主按钮或强度敏感输入界面，诸如强度敏感触摸屏)的激活而触发操作(例如，利用触发器模块121)的软件应用。在一些实施方案中，触发器模块121还(例如从触感反馈模块133，图1A和图3)接收触觉反馈生成指令。在一些实施方案中，触发器模块121响应于触感反馈模块133(或触感反馈模块133中的触发器模块121)(例如从触感反馈模块133，图1A和图3)接收触觉反馈指令而生成触发器信号。
波形模块123(例如从触发器模块121)接收触发器信号作为输入，并响应于接收到触发器信号而提供用于生成一个或多个触觉输出的波形(例如，从预定义的一组被指派用于供波形模块123使用的波形中选择的波形，诸如下文中参考图4F-图4G更详细描述的波形)。
混合器125(例如从波形模块123)接收波形作为输入，并将这些波形混合在一起。例如，当混合器125接收两个或更多个波形(例如，第一通道中的第一波形和第二通道中的至少部分地与第一波形重叠的第二波形)时，混合器125输出对应于这两个或更多个波形之和的组合波形。在一些实施方案中，混合器125还修改这两个或更多个波形中的一个或多个波形以相对于这两个或更多个波形中的其余波形而强调特定波形(例如通过提高该特定波形的规模和/或减小这些波形中的其他波形的规模)。在一些情况下，混合器125选择一个或多个波形来从组合波形中移除(例如，当有来自不止三个来源的波形已经被请求由触觉输出发生器163同时输出时，来自最老旧来源的波形被丢弃)。
混合器127接收波形(例如来自混合器125的组合波形)作为输入，并修改这些波形。在一些实施方案中，压缩器127缩减这些波形(例如，根据触觉输出发生器163(图1A)或357(图3)的物理规范)，使得对应于这些波形的触觉输出被缩减。在一些实施方案中，压缩器127诸如通过为波形强加预定义的最大幅值来对波形进行限制。例如，压缩器127减小超过预定义幅值阈值的波形部分的幅值，而保持不超过预定义幅值阈值的波形部分的幅值。在一些实施方案中，压缩器127缩减波形的动态范围。在一些实施方案中，压缩器127动态地缩减波形的动态范围，使得组合波形保持在触觉输出发生器163的性能规范(例如力和/或可移动质块位移限制)内。
低通滤波器129接收波形(例如来自压缩器127的经压缩波形)作为输入，并对波形进行滤波(例如平滑处理)(例如移除或减少波形中的高频信号分量)。例如在某些情况下，压缩器127在经压缩的波形中包括妨碍触觉输出生成和/或在根据经压缩波形生成触觉输出时超过触觉输出发生器163的性能规范的无关信号(例如高频信号分量)。低通滤波器129减少或移除波形中的此类无关信号。
热控制器181接收波形(例如来自低通滤波器129的经滤波波形)作为输入，并根据设备100的热条件(例如基于在设备100内检测到的内部温度，诸如触感反馈控制器161的温度，和/或设备100检测到的外部温度)调节波形。例如在一些情况下，触感反馈控制器161的输出根据温度而变化(例如，响应于接收到相同波形，触感反馈控制器161在触感反馈控制器161处于第一温度时生成第一触觉输出，而在触感反馈控制器161处于与第一温度不同的第二温度时生成第二触觉输出)。例如，触觉输出的量值(或幅值)可根据温度而变化。为了降低温度变化的效应，波形被修改(例如，波形的幅值基于温度而被增大或减小)。
在一些实施方案中，触觉反馈模块133(例如触发器模块121)耦接到硬件输入处理模块146。在一些实施方案中，图1A中的其他输入控制器160包括硬件输入处理模块146。在一些实施方案中，硬件输入处理模块146接收来自硬件输入设备175(例如图1A中的其他输入或控制设备116，诸如主按钮或强度敏感输入界面，诸如强度敏感触摸屏)的输入。在一些实施方案中，硬件输入设备175是本文中所述的任何输入设备，诸如触敏显示器系统112(图1A)、键盘/鼠标350(图3)、触控板355(图3)、其他输入或控制设备116之一(图1A)或强度敏感主按钮。在一些实施方案中，硬件输入设备175由强度敏感主按钮构成，而不是由触敏显示器系统112(图1A)、键盘/鼠标350(图3)或触控板355(图3)构成。在一些实施方案中，响应于来自硬件输入设备175(例如，强度敏感主按钮或触摸屏)的输入，硬件输入处理模块146提供一个或多个触发器信号给触感反馈模块133以指示已检测到满足预定义输入标准的用户输入，诸如对应于主按钮“点击”(例如“按下点击”或“松开点击”)的输入。在一些实施方案中，触感反馈模块133响应于对应于主按钮“点击”的输入而提供对应于主按钮“点击”的波形，从而模拟按压物理主按钮的触感反馈。
在一些实施方案中，触觉输出模块包括触感反馈控制器161(例如图1A中的触感反馈控制器161)，其控制触觉输出的生成。在一些实施方案中，触感反馈控制器161耦接到多个触觉输出发生器，并且选择多个触觉输出发生器中的一个或多个触觉输出发生器并将波形发送到所选择的一个或多个触觉输出发生器以用于生成触觉输出。在一些实施方案中，触感反馈控制器161协调对应于激活硬件输入设备175的触觉输出请求和对应于软件事件的触觉输出请求(例如来自触感反馈模块133的触觉输出请求)，并修改两个或更多个波形中的一个或多个波形以相对于两个或更多个波形中的其余波形强调特定波形(例如通过提高特定波形的规模和/或减小这些波形中其余波形的规模，以相比于对应于软件事件的触觉输出优先处理对应于激活硬件输入设备175的触觉输出)。
在一些实施方案中，如图1C所示，触感反馈控制器161的输出耦接到设备100的音频电路(例如音频电路110，图1A)，并将音频信号提供给设备100的音频电路。在一些实施方案中，触感反馈控制器161提供用于生成触觉输出的波形和用于与生成触觉输出一起提供音频输出的音频信号这二者。在一些实施方案中，触感反馈控制器161修改音频信号和/或(用于生成触觉输出的)波形使得音频输出和触觉输出同步(例如通过延迟音频信号和/或波形)在一些实施方案中，触感反馈控制器161包括用于将数字波形转换成模拟信号的数模转换器，模拟信号被放大器185和/或触觉输出发生器163接收。
在一些实施方案中，触觉输出模块包括放大器185。在一些实施方案中，放大器185接收(例如来自触感反馈控制器161的)波形，并放大波形然后将经放大的波形发送给触觉输出发生器163(例如，触觉输出发生器163(图1A)或357(图3)中任一者)。例如，放大器185将所接收的波形放大到符合触觉输出发生器163的物理规范的信号电平(例如放大到触觉输出发生器163为了生成触觉输出而需要的电压和/或电流使得发送给触觉输出发生器163的信号生成对应于从触感反馈控制器161接收的波形的触觉输出)并将经放大的波形发送给触觉输出发生器163。作为响应，触觉输出发生器163生成触觉输出(例如通过将可移动质块在一个或多个维度中相对于可移动质块的中性位置前后移位)。
在一些实施方案中，触觉输出模块包括传感器189，其耦接到触觉输出发生器163。传感器189检测触觉输出发生器163或触觉输出发生器163的一个或多个部件(例如用于生成触觉输出的一个或多个运动部件，诸如膜)的状态或状态变化(例如机械位置、物理位移、和/或移动)。在一些实施方案中，传感器189是磁场传感器(例如霍尔效应传感器)或其他位移和/或运动传感器。在一些实施方案中，传感器189将信息(例如触觉输出发生器163中一个或多个部件的位置、位移和/或移动)提供给触感反馈控制器161，以及根据传感器189提供的关于触觉输出发生器163的状态的信息，触感反馈控制器161调节从触感反馈控制器161输出的波形(例如，任选地经由放大器185发送给触觉输出发生器163的波形)。
图2示出了根据一些实施方案的具有触摸屏(例如，图1A的触敏显示器系统112)的便携式多功能设备100。触摸屏可选地在用户界面(UI)200内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在图中未按比例绘制)或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标之上扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”按钮、或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择，在一些实施方案中，菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏显示器、菜单按钮204(有时称为主屏幕按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在一些实施方案中，设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触的强度的一个或多个接触强度传感器165、和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器163。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器可选地为触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的一个或多个触觉输出发生器163)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器、和/或类似于以上参考图1A所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构，或它们的子组。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3A中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的一组指令。上述所识别的模块或程序(即，指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370可选地存储上面未描述的另外的模块和数据结构。
图3B-3C为根据一些实施方案的示例性计算机系统301的框图。
在一些实施方案中，计算机系统301包括以下部件和/或与之通信：
·输入设备(302和/或307，例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器，和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机；
·虚拟/增强现实逻辑部件303(例如，虚拟/增强现实模块145)；
·显示生成部件(304和/或308，例如，显示器、投影仪、平视显示器等)，用于向用户显示虚拟用户界面元素；
·用于捕获设备的视野的图像的相机(例如，305和/或311)，例如，用于确定虚拟用户界面元素的放置、确定设备的姿态和/或显示相机所在物理环境的一部分的图像；以及
·姿态传感器(例如，306和/或311)，用于确定设备相对于物理环境的姿态和/或设备姿态的变化。
在一些计算机系统(例如，图3B中的301-a)，输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304，相机305以及姿态传感器306全部集成到计算机系统中(例如，图1A-1B中的便携式多功能设备100或图3中的设备300诸如智能电话或平板电脑)。
在一些计算机系统(例如，301-b)中，除了集成输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304、相机305和姿态传感器306之外，计算机系统还和与计算机系统分离的附加设备通信，诸如单独的输入设备307诸如触敏表面、棒、遥控器等和/或单独的显示生成部件308，诸如虚拟现实头戴式耳机或增强现实眼镜，其在物理环境上覆盖虚拟对象。
在一些计算机系统(例如，图3C中的301-c)中，输入设备307、显示生成部件309、相机311和/或姿态传感器312与计算机系统分离并与计算机系统通信。在一些实施方案中，使用计算机系统301中的并与该计算机系统通信的部件的其他组合。例如，在一些实施方案中，显示生成部件309、相机311和姿态传感器312结合在与计算机系统集成或与计算机系统通信的头戴式耳机中。
在一些实施方案中，以下参考图5A-5CO描述的所有操作在具有虚拟/增强现实逻辑部件303的单个计算设备(例如以下参考图3B描述的计算机系统301-a)上执行。然而，应当理解，经常将多个不同的计算设备链接在一起以执行在下面参考图5A-5CO描述的操作(例如，具有虚拟/增强现实逻辑部件303的计算设备与具有显示器450的独立计算设备和/或具有触敏表面451的独立计算设备通信)。在任何这些实施方案中，下面参考图5A-5CO描述的计算设备是包含虚拟/增强现实逻辑部件303的一个或多个计算设备。另外，应当理解，在各种实施方案中，虚拟/增强现实逻辑部件303可被划分在多个不同模块或计算设备之间；然而，出于本文描述的目的，虚拟/增强现实逻辑部件303将主要被称为驻留在单个计算设备中，以避免不必要地模糊实施方案的其他方面。
在一些实施方案中，虚拟/增强现实逻辑部件303包括接收解释输入的一个或多个模块(例如，一个或多个事件处理程序190，包括如上文参考图1B更详细地描述的一个或多个对象更新器177和一个或多个GUI更新器178)，并且响应于这些解释输入，根据解释输入生成用于更新图形用户界面的指令，该解释输入随后用于更新显示器上的图形用户界面。在一些实施方案中，已经被检测(例如，通过图1A和图3中的接触运动模块130)、识别(例如，通过图1B中的事件识别器180)和/或分配(例如，通过图1B中的事件分类器170)的输入的解释输入用于更新显示器上的图形用户界面。在一些实施方案中，解释输入由计算设备上的模块生成(例如，计算设备接收原始接触输入数据，以便从原始接触输入数据识别手势)。在一些实施方案中，解释输入的一些或全部被计算设备接收为解释输入(例如，包括触敏表面451的计算设备处理原始接触输入数据，以便从原始接触输入数据识别手势并将指示手势的信息发送到包括虚拟/增强现实逻辑部件303的计算设备)。
在一些实施方案中，显示器和触敏表面都与包含虚拟/增强现实逻辑部件303的计算机系统(例如，图3B中的301-a)集成。例如，该计算机系统可以是具有集成显示器(例如，图3中的340)和触控板(例如，图3中的355)的台式计算机或膝上型计算机。又如，该计算设备可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)。
在一些实施方案中，触敏表面与计算机系统集成，而显示器未与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如，该计算机系统可以是具有集成触控板(例如，图3中的355)的设备300(例如，台式计算机或膝上型计算机等)，其中该集成触控板与独立显示器(例如，计算机监视器、电视等)相连(通过有线或无线连接)。又如，该计算机系统可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)，其中该触摸屏与独立显示器(例如，计算机监视器、电视等)相连(通过有线或无线连接)。
在一些实施方案中，显示器与计算机系统集成，而触敏表面未与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如，该计算机系统可以是具有集成显示器(例如，图3中的340)的设备300(例如，台式计算机、膝上型计算机、带集成式机顶盒的电视)，其中该集成显示器与独立触敏表面(例如，远程触控板、便携式多功能设备等)相连(通过有线或无线连接)。又如，该计算机系统可以是具有触摸屏(例如，图2中的112)的便携式多功能设备100(例如，智能电话、PDA、平板电脑等)，其中该触摸屏与独立触敏表面(例如，远程触控板、另一个触摸屏作为远程触控板使用的便携式多功能设备等)相连(通过有线或无线连接)。
在一些实施方案中，显示器和触敏表面都不与包含虚拟/增强现实逻辑部件303的计算机系统(例如，图3C中的301-c)集成。例如，该计算机系统可以是连接(通过有线或无线连接)到独立触敏表面(例如，远程触摸板、便携式多功能设备等)和独立显示器(例如，计算机监视器、电视等)的独立计算设备300(例如，机顶盒、游戏控制台等)。
在一些实施方案中，计算机系统具有集成音频系统(例如，便携式多功能设备100中的音频电路110和扬声器111)。在一些实施方案中，计算设备和独立于计算设备的音频系统通信。在一些实施方案中，音频系统(例如，集成在电视单元中的音频系统)与单独显示器集成。在一些实施方案中，音频系统(例如，立体音响系统)是与该计算机系统和显示器分开的独立系统。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元件或者其子集或超集：
·一种或多种无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示器；
·时间；
·蓝牙指示器；
·电池状态指示器；
·具有针对常用应用程序的图标的托盘408，该图标诸如：
ο电话模块138的被标记为“电话”的图标416，该图标416任选地包括未接来电或语音留言的数量的指示符414；
ο电子邮件客户端模块140的被标记为“邮件”的图标418，该图标418任选地包括未读电子邮件的数量的指示符410；
ο浏览器模块147的标记为“浏览器”的图标420；以及
ο视频和音乐播放器模块152的被标记为“音乐”的图标422；以及
·其他应用的图标，诸如：
οIM模块141的被标记为“消息”的图标424
ο日历模块148的被标记为“日历”的图标426；
ο图像管理模块144的被标记为“照片”的图标428；
ο相机模块143的被标记为“相机”的图标430；
ο测量模块155的被标记为“测量”的图标432；
ο股市桌面小程序149-2的被标记为“股市”的图标434；
ο地图模块154的被标记为“地图”的图标436
ο天气桌面小程序149-1的被标记为“天气”的图标438；
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440
ο健身支持模块142的被标记为“健身支持”的图标442；
ο记事本模块153的标记为“记事本”的图标444；以及
ο设置应用程序或模块的被标记为“设置”的图标446，该图标提供对设备100及其各种应用程序136的设置的访问。
应当注意，图4A中示出的图标标签仅仅是示例性的。例如，其他标签任选地用于各种应用图标。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450分开的触敏表面451(例如，图3A中的平板或触控板355)的设备(例如，图3A中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多实施例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴线(例如，图4B中的453)对应的主轴线(例如，图4B中的452)。根据这些实施方案，设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触(例如，图4B中的460和462)(例如，在图4B中，460对应于468并且462对应于470)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(例如，图4B中的450)是分开的时侯，由设备在触敏表面上所检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势等)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替换。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置之上时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)之上时在触敏表面(例如，图3A中的触控板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调整。在包括使得能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏)的一些具体实施中，在触摸屏上检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，通过接触的按压输入)时，根据所检测到的输入来调整特定用户界面元素。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制以便传送与用户界面的用户期望的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮之上的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。在一些实施方案中，经由显示设备显示焦点指示符(例如，光标或选择指示符)以指示用户界面的将受到从一个或多个输入设备接收的输入影响的当前部分。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触或触笔接触)的力或压力(每单位面积的力)，或者是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量被合并(例如，加权平均或者加和)，以确定估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，将接触力或压力的替代测量值转换为预估力或压力，并且使用预估力或压力确定是否已超过强度阈值(例如，强度阈值是以压力单位测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件诸如旋钮或按钮)的实地面积有限的尺寸更小的设备上本来不能容易地访问的附加设备功能。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏显示器的鼠标“点击”阈值可被设置为预定义阈值的大范围中的任一个阈值。另外，在一些具体实施中，设备的用户提供有用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触强度的最大值、接触强度的均值、接触强度的平均值、接触强度的前10％处的值、接触强度的半最大值、接触强度的90％最大值、通过在预定义时间段上或从预定义时间开始低通滤波接触强度而生成的值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值可包括第一强度阈值和第二强度阈值。在该实施例中，特征强度未超过第一强度阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，并且特征强度超过第二强度阈值的接触导致第三操作。在一些实施方案中，使用特征强度和一个或多个强度阈值之间的比较来确定是否要执行一个或多个操作(例如，是否执行相应选项或放弃执行相应操作)，而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面可接收连续轻扫接触，该连续轻扫接触从起始位置过渡并达到结束位置(例如拖动手势)，在该结束位置处，接触的强度增大。在该实施例中，接触在结束位置处的特征强度可仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的一部分)。在一些实施方案中，可在确定接触的特征强度之前向轻扫手势的强度应用平滑化算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。
本文所述的用户界面图任选地包括各种强度图，这些强度图示出触敏表面上的接触相对于一个或多个强度阈值(例如，接触检测强度阈值IT0、轻按压强度阈值ITL、深按压强度阈值ITD(例如，至少初始高于ITL)和/或一个或多个其他强度阈值(例如，比ITL低的强度阈值ITH))的当前强度。该强度图通常不是所显示的用户界面的一部分，但是被提供以帮助解释所述图。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值IT0，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
在一些实施方案中，设备对设备所检测到的输入的响应取决于基于输入期间的接触强度的标准。例如，对于一些“轻按压”输入，在输入期间超过第一强度阈值的接触的强度触发第一响应。在一些实施方案中，设备对由设备所检测到的输入的响应取决于包括输入期间的接触强度和基于时间的标准两者的标准。例如，对于一些“深按压”输入，只要在满足第一强度阈值与满足第二强度阈值之间经过延迟时间，在输入期间超过大于轻按压的第一强度阈值的第二强度阈值的接触的强度便触发第二响应。该延迟时间的持续时间通常小于200ms(毫秒)(例如，40ms、100ms、或120ms，这取决于第二强度阈值的量值，其中该延迟时间随着第二强度阈值增大而增大)。该延迟时间帮助避免意外地识别深按压输入。又如，对于一些“深按压”输入，在达到第一强度阈值之后将出现敏感度降低的时间段。在该敏感度降低的时间段期间，第二强度阈值增大。第二强度阈值的这种暂时增大还有助于避免意外深按压输入。对于其他深按压输入，对检测到深按压输入的响应不取决于基于时间的标准。
在一些实施方案中，输入强度阈值和/或对应输出中的一者或多者基于一个或多个因素(诸如用户设置、接触运动、输入定时、应用运行、施加强度时的速率、同时输入的数量、用户历史、环境因素(例如，环境噪声)、焦点选择器位置等)而变化。示例因素在美国专利申请14/399,606和14/624,296中有所描述，这些美国专利申请全文以引用方式并入本文。
例如，图4C示出了部分地基于触摸输入476随时间的强度而随时间改变的动态强度阈值480。动态强度阈值480是两个分量的总和：在从触摸输入476初始被检测到开始的预定义的延迟时间p1之后随时间衰减的第一分量474和随时间而跟踪触摸输入476的强度的第二分量478。第一分量474的初始高强度阈值减少意外触发“深按压”响应，同时仍然允许在触摸输入476提供足够强度的情况下进行即时“深按压”响应。第二分量478减少通过触摸输入的逐渐的强度波动而无意触发“深按压”响应。在一些实施方案中，在触摸输入476满足动态强度阈值480时(例如，在图4C中的点481处)，触发“深按压”响应。
图4D示出了另一个动态强度阈值486(例如，强度阈值ITD)。图4D还示出了两个其他强度阈值：第一强度阈值ITH和第二强度阈值ITL。在图4D中，尽管触摸输入484在时间p2之前满足第一强度阈值ITH和第二强度阈值ITL，但是直到在时间482处经过延迟时间p2才提供响应。另外，在图4D中，动态强度阈值486随时间而衰减，其中衰减在从时间482(当触发与强度阈值ITL相关联的响应时)经过预定义的延迟时间p1之后的时间488开始。这种类型的动态强度阈值减少紧接在触发与较低阈值强度(诸如第一强度阈值ITH或第二强度阈值ITL)相关联的响应之后或与其同时意外触发与动态强度阈值ITD相关联的响应。
图4E示出了又一个动态强度阈值492(例如，强度阈值ITD)。在图4E中，在从触摸输入490被初始检测到已经过延迟时间p2之后，触发与强度阈值ITL相关联的响应。同时，动态强度阈值492在从触摸输入490被初始检测到的时候已经过预定义的延迟时间p1之后衰减。因此，在触发与强度阈值IL相关联的响应之后降低触摸输入490的强度，接着在不释放触摸输入490的情况下增大触摸输入490的强度可触发与强度阈值ITD相关联的响应(例如，在时间494处)，即使当触摸输入490的强度低于另一强度阈值(例如，强度阈值ITL)时也是如此。
接触特征强度从低于轻按压强度阈值ITL的强度增大到介于轻按压强度阈值ITL与深按压强度阈值ITD之间的强度有时被称为“轻按压”输入。接触的特征强度从低于深按压强度阈值ITD的强度增大到高于深按压强度阈值ITD的强度有时称为“深按压”输入。接触特征强度从低于接触检测强度阈值IT0的强度增大到介于接触检测强度阈值IT0与轻按压强度阈值ITL之间的强度有时被称为检测到触摸表面上的接触。接触的特征强度从高于接触检测强度阈值IT0的强度减小到低于接触检测强度阈值IT0的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，IT0为零。在一些实施方案中，IT0大于零在一些例示中，阴影圆或椭圆用于表示触敏表面上的接触的强度。在一些例示中，没有阴影的圆或椭圆用于表示触敏表面上的相应接触而不指定相应接触的强度。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)所执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到该相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值来执行相应操作(例如，在相应按压输入的“向下冲程”上执行相应操作)。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。
在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值来执行相应操作(例如，在相应按压输入的“向上冲程”上执行相应操作)。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。
为了容易解释，任选地响应于检测到以下情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触的强度增大到高于按压输入强度阈值、接触的强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触的强度减小到低于按压输入强度阈值、或接触的强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。如上所述，在一些实施方案中，对这些操作的触发还取决于满足基于时间的标准(例如，在满足第一强度阈值和满足第二强度阈值之间已经过延迟时间)。
虽然在图4F-图4K中为了例示的目的说明在样本触觉输出模式中只表示了特定频率、幅值和波形，但具有其他频率、幅值和波形的触觉输出模式也可用于类似目的。例如，可使用具有介于0.5到4个循环之间的波形。也可使用60Hz-400Hz范围中的其他频率。
用户界面和相关联的过程
现在将注意力转向可以在包括显示生成部件(例如，显示器、投影仪、平视显示器等)、一个或多个相机(例如，连续提供至少一个相机的视野内的至少一部分内容的实时预览并且可选地生成包括捕获至少一个相机的视野内的内容的一个或多个图像帧的视频输出的摄影机)，以及一个或多个输入设备(例如，触敏表面，诸如触敏遥控器，或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、可选的一个或多个姿态传感器、可选的检测触敏表面的接触的强度的一个或多个传感器以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统(例如，电子设备，诸如便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))上实现的用户界面(“UI”)和相关过程的实施方案。
图5A-5CO示出了根据一些实施方案的用于使用增强现实环境进行物理空间测量的示例性用户界面。这些附图中的用户界面被用于示出下文所述的过程，包括图6A-6C、图7A-7E、图8A-8C、图9A-9B、图10A-10B、图11A-11B、图12A-12C、图13A-13C和14A-14D中的过程。为了便于解释，将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中，焦点选择器为任选地：相应手指或触笔接触、对应于手指或触笔接触的表示点(例如，相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而，任选地在具有显示器450和单独的触敏表面451的设备上响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器时检测到触敏表面451上的接触而执行类似的操作。
图5A示出了使用关于图5A-5CO描述的用户界面的背景。具体地讲，图5A示出了物理空间5000的视图，桌子5002和设备100位于该物理空间中。设备100由用户5004握持，以通过设备100的触摸屏112查看包括桌子5002的一部分的物理空间5000。具体地讲，触摸屏112显示与物理空间5000相对应的增强现实环境的视图。用户5004使用设备100的触摸屏112经由显示的用户界面5006(例如，增强现实测量应用程序的用户界面)与增强现实环境交互。用户界面5006包括设备100的一个或多个相机中的至少一个(有时被称为设备100的“相机”，诸如相机305(图3A-3B)、或相机311(图3C)，可选地包括光学传感器164(图1A)作为一个或多个相机的一部分)的视野的实时预览。在一些实施方案中，相机位于设备100上的区域5008中。在一些实施方案中，设备100包括前向相机305-a，其位于与触摸屏112相邻并且在设备100的与该触摸屏同一侧(例如，图5A中的面向用户5004的一侧)的区域5008中。在一些实施方案中，设备100包括一个或多个相机，其位于触摸屏112后面的区域5008中或者位于设备100的与触摸屏112相对的一侧(例如，背离图5A中的用户5004的一侧)。至少一个相机连续地提供在相机视野内的内容的实时预览，其可以包括物理空间5000中的一个或多个物理对象(例如，桌子5002)。
在一些实施方案中，用户界面5006包括用于与增强现实环境发生用户交互的一个或多个用户界面元素。例如，在图5A中，用户界面5006包括标线(reticle)5010，其指示与增强现实环境发生用户交互的区域。在一些实施方案中，标线5010包括焦点5012，其指示用于用户交互的特定点。在一些实施方案中，用户界面5006包括测量添加按钮5014，其用于将新测量(例如，新测量点、新测量段和/或新测量区域)添加到用户界面5006(例如，如本文中更详细描述的)。在一些实施方案中，标线5010和焦点5012一起形成测量点创建指示符，其指示响应于测量添加按钮5014的激活将添加新测量的位置。
在一些实施方案中，用户界面5006包括媒体捕获按钮5016，其用于捕获视野的媒体，诸如静止图像或视频(可选地包括相应的音频)，以及对应于视野中的物理对象的任何虚拟测量。在一些实施方案中，用户界面5006包括撤销按钮5018，其用于撤销用户界面5006中最近执行的操作(例如，倒转其执行)。在一些实施方案中，用户界面5006包括重做按钮5020，其用于重做用户界面5006中最近撤销的操作(例如，通过激活撤销按钮5018来倒转最近执行的操作的倒转)。用户界面5006还可以包括一个或多个虚拟测量，其对应于物理空间5000中的一个或多个物理对象，并且至少部分地响应于用户界面5006的用户界面元素上的用户输入而显示。在一些实施方案中，用户界面5006包括清除按钮5022，其用于移除在用户界面5006中显示的虚拟测量(并且可选地，还移除当清除按钮5022被激活时未在用户界面5006中显示的虚拟测量，诸如对应于当清除按钮5022被激活时在相机视野之外的物理对象的虚拟测量)。
图5B示出了处于第一横向取向的设备100，与图5A中的纵向取向形成对比。当设备100处于第一横向取向时，如图5B所示，设备100的一个或多个相机位于设备100左侧的区域5008中，并且测量添加按钮5014显示在设备100右侧远离区域5008的用户界面5006中，以减少用户5004在左侧握持设备100并且遮挡提供用户界面5006中的实时预览的相机的视野的机会，并且还促进在用户5004握住设备100右侧时(例如，当用户5004用他/她的右手握住设备100时)用户进行单手操作期间与增强现实环境的交互。
图5C示出了处于第二横向取向的设备100，该取向不同于图5B中的横向取向(例如，从图5B中的横向取向旋转180度)。当设备100处于第二横向取向时，如图5C所示，设备100的一个或多个相机位于设备100右侧的区域5008中，并且测量添加按钮5014显示在设备100左侧远离区域5008的用户界面100中，以减少用户5004在右侧握持设备100并且遮挡提供用户界面5006中的实时预览的相机的视野的机会，并且还促进在用户5004握住设备100左侧时(例如，当用户5004用他/她的左手握住设备100时)用户进行单手操作期间与增强现实环境的交互。
图5D示出了增强现实环境的错误状态的一个示例。特别地，图5D示出了当没有足够的光可供设备100用于识别相机视野中的不同物理对象和物理特征时物理空间5000的视图。设备100在用户界面5006中显示错误消息5024(例如，包含文本“太暗”和“打开灯以检测表面”)来指示错误状态并提示用户5004增加物理空间5000中的光量。在一些实施方案中，当存在错误状态，使得设备100无法识别相机视野中的物理对象或特征时，设备100停止显示标线5010和/或焦点5012来指示该错误状态。
图5E示出了增强现实环境的错误状态的另一个示例。特别地，图5E示出了当有足够的光可用、但设备100没有检测物理空间5000中在相机视野内的物理对象的表面时(例如，用户5004已经响应于错误消息5024打开了灯)，物理空间5000的视图。设备100在用户界面5006中显示错误消息5026(例如，包含文本“将设备从一侧移动到另一侧以检测表面”)来指示该错误状态并提示用户5004将设备100从一侧移动到另一侧(例如，以促进设备100进行的图像处理来检测相机视野内的物理表面)。移动箭头5028指示用户5004响应于错误消息5026将设备100左右移动。在一些实施方案中，当设备100未在实时预览中焦点5012显示在其之上的位置处检测到物理对象的表面时，显示错误消息5026。在一些实施方案中，如果用户5004过快地移动设备100以便检测物理对象的表面，则显示不同的错误消息，以指示错误状态并提示用户5004更慢地移动设备100。
图5F示出了当设备100检测到物理空间5000中物理对象的表面时物理空间5000的视图。特别地，在图5F中，设备100已经检测到桌子5002的顶表面(例如，基于设备100的左右移动，如上面参考图5E所述，同时焦点5012位于实时预览中桌子5002的顶表面之上)。根据检测到表面，除了显示焦点5012之外，设备100还在用户界面5006中显示标线5010。在一些实施方案中，每当焦点5012定位在实时预览中与物理空间5000中的物理对象的检测到的表面相对应的区域之上时，显示标线片5010(例如，以指示实时预览中焦点5012位于其上的对应于检测到的表面的区域)。在一些实施方案中，标线5010倾斜以看起来与检测到的表面共面，如图5F所示，以指示已由设备检测到的表面。
图5G示出了从图5F的转变。在图5G中，用户5004移动了设备100，使得焦点5012定位在实时预览中不对应于检测到的表面的点之上(例如，焦点5012在实时预览中不再定位在检测到的桌子5002的顶表面之上)。因此，设备100改变标线5010的外观(例如，通过不再倾斜标线5010，通过将标线改变为实心圆，和/或通过停止显示标线)，同时继续显示焦点5012。
图5H示出了从图5G的转变。在图5H中，用户5004移动了设备100，使得焦点5012和标线5010的至少一部分在实时预览中重新定位在检测到的桌子5002的顶表面之上。设备100在实时预览中检测到桌子5002的边缘5030(例如，检测到的顶表面的边缘)。边缘5030至少部分地在标线5010内(例如，焦点5012在边缘5030的预定阈值距离内，其中预定阈值距离至多是标线5010的半径)。因此，标线5010和焦点5012的视觉外观改变。特别地，焦点5012已经沿着边缘5030移动(例如，垂直向下)到或“对齐”到一个点。此外，减小标线5010的尺寸以指示聚焦点5012已经对齐到实时预览中的检测到的特征。在一些实施方案中，每当焦点5012被对齐到实时预览中的检测到的特征时，标线5010以图5H中所示的尺寸显示。在一些实施方案中，当焦点5012对齐到实时预览中对应于相机视野中的物理对象的边缘或拐角的检测到的特征时，标线5010和焦点5012的视觉外观改变。在一些实施方案中，当标线5010和焦点5012定位在实时预览中对应于相机视野中的物理对象的表面(但不是边缘或拐角)的检测到的特征之上时，标线5010和焦点5012的视觉外观不变。在一些实施方案中，结合将焦点5012移动到边缘5030，设备100可选地(例如，使用触觉输出生成器163，图1A)生成触觉输出5032以指示点5012已被“对齐”到相机的实时预览中的检测到的特征。
图5I示出了从图5H的转变。在图5I中，用户5004移动了设备100，使得边缘5030的任何部分都不在标线5010内。因此，焦点5012从边缘5030离开并且重新显示在标线5010的中心(例如，因为在标线5010内不再存在焦点5012应对齐的任何特征)。此外，在焦点5012对齐到边缘5030之前，标线5010的尺寸重新增加到其如图5F所示的尺寸。在一些实施方案中，每当焦点5012未被对齐到实时预览中的任何检测到的特征时，标线5010在默认情况下以图5F和5I中所示的尺寸显示。在一些实施方案中，每当焦点5012未对齐到实时预览中的任何检测到的特征时，焦点5012在默认情况下显示在标线5010的中心。在一些实施方案中，如图5I所示，设备100可选地结合将焦点5012移动远离边缘5030而生成触觉输出5034，以指示焦点5012不再对齐到相机实时预览中的检测到的特征。在一些实施方案中，触觉输出5034与触觉输出5032(图5H)在至少一个触觉输出属性(例如，频率、幅度和/或模式)上不同，使得指示对齐到检测到的特征的触觉输出5032(图5H)向用户5004提供与指示从检测到的特征离开的触觉输出5034不同的触觉反馈。
图5J-5O示出了对桌子5002的水平左上边缘的测量的创建。图5J示出了从图5I的转变。在图5J中，用户5004移动了设备100，使得如在实时预览中所示，桌子5002的后左上角在标线5010内。因此，焦点5012对齐到实时预览中对应于桌子5002的后左上角的锚定点。在一些实施方案中，只要实时预览中桌子5002的后左上角在标线5010内(例如，尽管设备100可能由于用户5004的无意移动诸如用户5004的手的不稳定而轻微移动)，焦点5012保持在实时预览中的锚定点上。减小标线5010的尺寸以指示对齐行为(例如，减小到以上参考图5H所示和描述的相同尺寸)。此外，生成触觉输出5036以指示该对齐行为。
图5K-5L示出了从图5J的转变，显示向用户界面5006添加测量点。特别地，图5K示出了通过触摸输入5038(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100在焦点5012的当前位置处将(虚拟)测量点5042添加到用户界面5006并显示。结合将测量点5042添加到用户界面5006，设备100可选地生成触觉输出5044以指示测量点的添加。在一些实施方案中，触觉输出5044与触觉输出5032(图5H)和触觉输出5034(图5I)在至少一个触觉输出属性(例如，频率、幅度和/或模式)上不同，使得指示对齐行为的触觉输出5032(图5H)和触觉输出5034(图5I)向用户5004提供与指示测量点的添加的触觉输出5044不同的触觉反馈。图5L示出了触摸输入5038从测量添加按钮5014抬离。
图5M示出了从图5L的转变。在图5M中，用户5004已将设备100沿对角线向下并朝右移动，使得标线5010定位在物理空间5000中的不同位置之上，如实时预览中所示。特别地，在图5M中，如实时预览中所示，标线5010定位在桌子5002的前左上角之上。因此，焦点5012对齐到实时预览中对应于桌子5002的前左上角的锚定点。减小标线5010的尺寸以指示对齐行为(例如，减小到以上参考图5J所示和描述的相同尺寸)。生成触觉输出5046以指示该对齐行为。此外，测量点5042继续在实时预览中桌子5002的后左上角之上显示(例如，测量点5042与桌子5002的后左上角相关联并且在实时预览中显示在该位置之上，即使实时预览中桌子5002后左上角的位置随着设备100移动而改变)。
响应于设备100的移动使得标线5010和焦点5012定位在物理空间5000中的不同位置之上，在测量点5042(最近添加的测量点)和焦点5012之间显示测量段5048。测量段5048与标签5049一起显示，该标签指示在物理空间5000中对应于测量点5042的点与物理空间5000中对应于焦点5012的点之间的距离(例如，“3英尺”)。在添加测量段5048的第二端点之前，测量段5048是动态测量段，其具有作为测量点5042的第一端点和作为焦点5012的当前位置的第二端点(例如，测量段5048的长度以及标签5049指示的对应于测量段5048的距离两者根据设备100的将物理空间5000中的该点改变到焦点5012的当前位置对应的点的移动而更新)。此外，沿着物理空间5000中在设备100的移动方向上从最近添加的测量点即测量点5042延伸的特征显示虚拟引导5050。具体地讲，虚拟引导5050沿着桌子5002的在实时预览中沿对角线向下和朝右延伸的水平左上边缘显示。需注意，桌子5002的左上边缘和桌子5002的顶表面的其他边缘在本文中称为水平边缘，因为它们在物理空间5000中是水平的，即使它们在实时预览中从设备100的视角来看可能是对角的。
图5N-5O示出了从图5M的转变，显示向用户界面5006添加测量点。特别地，图5N示出了通过触摸输入5052(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100在用户界面5006中焦点5012的当前位置处添加并显示(虚拟)测量点5054并且作为测量段5048的第二端点。结合将测量点5040添加到用户界面5006，设备100可选地生成触觉输出5056以指示测量点的添加。在一些实施方案中，触觉输出5056是与触觉输出5044(图5K)相同类型的触觉输出，指示测量点的添加。在一些实施方案中，触觉输出5056与触觉输出5044(图5K)在至少一个触觉输出属性(例如，频率、幅度和/或模式)上不同，使得触觉输出5056向用户5004提供与触觉输出5044(图5K)不同的触觉反馈。在一些这样的实施方案中，触觉输出5044(图5K)指示开始新测量段的测量点的添加，而触觉输出5056指示完成(例如，结束)测量段的测量点的添加。图5O示出了触摸输入5052从测量添加按钮5014抬离。在触摸输入5052抬离之后，设备100继续显示测量点5042、测量点5054、连接用户界面5006中的测量点5042和5054的测量段5048，以及标签5049(对应于桌子5002的水平左上边缘的测量)。在一些实施方案中，如图5O所示，在完成测量段时，设备100停止显示虚拟引导，诸如虚拟引导5050。
图5P示出了从图5O的转变。在图5P中，用户5004移动了设备100，使得标线5010在实时预览中定位在桌子5002的与测量段5048相邻的侧表面上。设备100已经确定(例如，部分地基于测量段5048)，标线5010(或更具体地，焦点5012)定位在其上的区域对应于物理空间5000中的物理矩形区域(例如，尽管检测区域在实时预览中从设备100的角度看表现为梯形)。因此，设备100显示指示符5058以指示检测区域对应于物理矩形区域。此外，设备100继续显示测量点5042、测量点5054、测量段5048和桌子5002水平左上边缘之上的标签5049。在一些实施方案中，每当对应于虚拟测量的物理对象(例如，桌子5002的水平左上边缘)在实时预览中可见时，作为虚拟测量的一部分的测量元素(例如，测量点5042、测量段5054、测量段5048和标签5049)显示在用户界面5006中，直到对应的虚拟测量被清除为止。
图5Q-5X示出了对桌子5002的垂直前左边缘的测量的创建。图5Q示出了从图5P的转变。在图5Q中，用户5004移动了设备100，使得标线5010重新定位在桌子5002的前左上角之上，如实时预览中所示。因此，焦点5012对齐到实时预览中对应于桌子5002的前左上角并且对应于测量点5054的锚定点。减小标线5010的尺寸以指示对齐行为(例如，减小到以上参考图5M所示和描述的相同尺寸)。生成触觉输出5060以指示该对齐行为。设备100停止显示指示符5058(例如，因为焦点5012已经对齐到对应于桌子5002的前左上角的锚定点，并且在实时预览中不再显示在对应于桌子5002的侧表面的物理矩形区域的检测区域之上)。
图5R示出了从图5Q的转变，显示向用户界面5006添加测量点。特别地，图5R示出了通过触摸输入5062(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。在一些实施方案中，如图5R所示，响应于激活测量添加按钮5014，设备100使用测量点5054作为要添加的新测量段的起点。在一些实施方案中，响应于激活测量添加按钮5014，设备100在与测量点5054相同的位置处添加并显示另一(虚拟)测量点，作为新测量段的起点。结合为新测量段建立上述任一起点，设备100可选地生成触觉输出5064以指示测量点的添加(并且在一些实施方案中，指示所添加的测量点开始新的测量段)。
图5S示出了从图5R的转变。在图5S中，用户5004已经将设备100水平地朝右移动，使得标线5010定位在沿着桌子5002的水平前边缘的某个位置上，并且使得在实时预览中桌子5002的前左上角不再在标线5010内。因此，焦点5012显示在对应于桌子5002的水平前边缘的锚定点上(例如，在桌子5002前边缘的位于标线5010内的部分的中点处，是沿着桌子5002前边缘的位于标线5010内的部分的距离标线5010中心距离最短的点)。标线5010以其减小的尺寸显示(例如，与图5R中的尺寸相同)，以指示焦点5012对齐到实时预览中的检测到的特征。此外，测量点5054继续显示在实时预览中在桌子5002的前左上角之上，并且动态测量段5066显示在测量点5054和焦点5012之间。标签5068指示物理空间5000中对应于测量点5054的点与物理空间5000中对应于焦点5012的点之间的距离。此外，响应于设备100的水平移动，设备100显示从测量点5054水平延伸的虚拟引导5070。
在一些实施方案中，如图5S所示，没有生成触觉输出来指示对齐行为。例如，当桌子5002的水平前边缘的至少一些部分保持在标线5010内，使得焦点5012在设备100移动期间的任何时间都没有从桌子5002的水平前边缘离开时，尽管在设备100移动时焦点5012所对齐的具体锚定点发生改变，但是设备100放弃生成触觉输出，以便在焦点5012沿着检测到的边缘移动时避免连续生成触觉输出。
图5T示出了从图5S的转变。在图5T中，设备100的移动方向已从水平向朝变为垂直向下。响应于移动方向从水平移动改变成垂直移动，设备100停止显示(水平)虚拟引导5070(图5S)，而是显示(垂直)虚拟引导5072，该引导在设备100的移动方向上从测量点5054垂直延伸。焦点5012对齐到对应于桌子5002的垂直内左边缘5074的锚定点，并且在一些实施方案中，如图5T所示，设备100生成触觉输出5076以指示该对齐行为。动态测量段5066根据设备100的移动而持续更新，以便在测量点5054和焦点5012的当前位置之间显示。此外，标签5068根据设备的移动和动态测量段5066的更新而持续更新，使得标签5068显示在动态测量段5066的中点。
图5U示出了从图5T的转变，显示向用户界面5006添加测量点。特别地，图5U示出了通过触摸输入5078(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100在焦点5012的当前位置处将(虚拟)测量点5080添加到用户界面5006并显示，并且作为测量段5066的第二端点，该测量段变为完成的测量段(例如，其第二端点现在是测量点5080并且不再是焦点5012)而不是动态测量段。结合将测量点5040添加到用户界面5006，设备100可选地生成指示测量点的添加的触觉输出5082(并且可选地特别指示完成测量段的测量点的添加，例如使用与图5N的触觉输出5056相同类型的触觉输出)。在一些实施方案中，如图5U所示，即使在完成测量段之后，设备100仍继续显示虚拟引导诸如虚拟引导5072(例如，直到设备100离开其当前位置为止)。
图5V示出了从图5U的转变，其包括执行“撤销”操作以倒转在用户界面5006中最近执行的操作。具体地讲，图5V示出了通过触摸输入5084激活撤销按钮5018以倒转测量点5080的添加(图5U)。因此，测量点5080从用户界面5006移除。测量段5066现在(再次)成为动态测量段，其第二端点是焦点5012，并且随着焦点5012移动而更新。
图5W示出了从图5V的转变。在图5W中，用户5004已向下移动设备100，使得标线5010定位在桌子5002的前左下角之上，如实时预览中所示。因此，焦点5012对齐到对应于桌子5002的前左下角的锚定点(并且可选地对齐到虚拟引导5072)。标线5010以其减小的尺寸显示(例如，与图5U中的尺寸相同)，以指示焦点5012对齐到实时预览中的检测到的特征。生成触觉输出5086以指示该对齐行为。在图5X中，设备100已经移动，使得测量段5048只有一部分显示在用户界面5006中，因为桌子5002的后左上角在实时预览中不再可见，因此在实时预览中只有桌子5002的水平左上边缘的一部分可见。因此，标签5049仅显示在测量段5048的显示部分的中点，而不是显示在整个测量段5048的中点(例如，如图5V所示)。
图5X示出了从图5W的转变，显示向用户界面5006添加测量点。特别地，图5X示出了通过触摸输入5088(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100在焦点5012的当前位置向用户界面5006添加(虚拟)测量点5090并显示，并且作为测量段5066的第二端点，该测量段变成完成的测量段。结合将测量点5090添加到用户界面5006，设备100可选地生成指示测量点的添加的触觉输出5092(并且可选地指示完成测量段的测量点的添加，例如使用与图5N的触觉输出5056或图5U的触觉输出5082相同类型的触觉输出)。
图5Y-5AF示出了对应于物理空间5000中的物理矩形区域(例如，桌子5002的表面)的测量区域的创建。特别地，图5Y-5Z示出了对应于物理矩形区域的测量区域的创建，该物理矩形区域在实时预览中曾经完整地显示。图5Y示出了从图5X的转变。在图5Y中，用户5004已经将设备100从其在图5X中的位置移动，使得标线5010在实时预览中被定位在桌子5002的侧表面上，与测量段5048和测量段5066相邻。设备100已经确定实时预览中标线5010(或更具体地，焦点5012)定位在其之上的区域对应于物理空间5000中的物理矩形区域(例如，该确定部分地基于测量段5048和测量段5066是检测区域的相邻侧)。因此，设备100显示指示符5094以指示实时预览中焦点5012位于其上的检测区域对应于物理矩形区域。此外，设备100继续显示测量段5048、对应的标签5049、测量段5066、对应的标签5068，以及端点5042、5054和5090。图5Y类似于图5P，不同的是除了具有端点5042和5054以及标签5049的(第一)测量段5048之外，图5Y包括(第二)测量段5066，该测量段具有端点5054和5090以及标前5068。
图5Z示出了从图5Y的转变，显示向用户界面5006添加测量区域。特别地，图5Z示出了当焦点5012在指示符5094指示的检测区域之上时，通过触摸输入5096(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100添加对应于检测区域的测量并且改变指示符5094的外观以指示检测区域已被确认为测量区域。此外，设备100显示标签5098，其指示物理矩形区域的对应于确认区域的面积(例如，“7.5平方英尺”)。任选地，在一些实施方案中，在检测区域被确认为测量区域之前，标签5098与指示符5094一起显示(例如，在一些实施方案中，标签5098与图5Y中的指示符5094一起显示)。
图5AA示出了从图5Z的转变。在图5AA中，用户5004已将设备100垂直向上移动，使得标线5010定位在实时预览中桌子5002的水平左上边缘和测量段5048之上。具体地讲，测量段5048的中点在标线5010内。在一些实施方案中，如图5AA所示，在用户界面5006中显示的相应测量段的中点可以是焦点5012所对齐的锚定点。因此，在图5AA中，焦点5012对齐到对应于测量段5048中点(并且还对应于桌子5002的水平左上边缘的中点)的锚定点。如前所述，减小标线5010的尺寸以指示该对齐行为。生成触觉输出5100以指示该对齐行为。此外，设备100继续在对应于物理空间5000中的物理矩形区域的检测区域上显示确认区域指示符5094(例如，确认区域指示符5094与对应于物理矩形区域的检测区域相关联，并且即使检测区域随着设备100移动而在实时预览中移动时，也在实时预览中显示在检测区域之上)。
图5AB-5AE示出了对应于物理空间5000中的物理矩形区域的测量区域的创建，该物理矩形区域在实时预览中部分可见但曾经整体不可见(例如，在实时预览中只有三条边(全部或部分)可见的物理矩形区域)。图5AB示出了从图5AA的转变。在图5AB中，用户5004已将设备100水平地朝右移动，使得标线5010在实时预览中定位在与测量段5048相邻并且对应于桌子5002顶表面的局部视图的区域之上。特别地，桌子5002的顶表面的左边缘是可见的，桌子5002的顶表面的前边缘的一部分是可见的，并且桌子5002的顶表面的后边缘的一部分是可见的，而桌子5002的顶表面的右边缘是不可见的。焦点5012已经从对应于测量5048中点的锚定点离开并且在标线5010的中心处重新显示。标线5010以其增大的尺寸重新显示，并且触觉输出5102可选地结合焦点5012从锚定点移开而生成。此外，设备100已经确定(例如，部分地基于测量段5048)，标线5010(或更具体地，焦点5012)定位在其上的区域对应于物理空间5000中的物理矩形区域的一部分(例如，尽管检测区域在实时预览中从设备100的角度看不表现为矩形)。因此，设备100显示指示符5104以指示检测区域对应于物理矩形区域。可选地，根据设备100的移动，显示虚拟引导5106。虚拟引导5106水平地延伸并且对应于实时预览中被识别为在设备100的移动方向上水平地延伸的特征。在一些实施方案中，在多个特征在设备100的移动方向上延伸的情况下，显示在移动方向延伸的多个虚拟引导。在一些实施方案中，仅为在用户界面5006中已经在其上添加了对应测量点的特征显示在移动方向上延伸的虚拟引导。
图5AC-5AD示出了当标线510在实时预览中定位在桌子5002的顶表面上时，设备100的进一步水平移动。在图5AC中，桌子5002的顶表面的前边缘的一部分和后边缘的一部分是可见的，而桌子5002的顶表面的左边缘和右边缘都不可见。在图5AD中，除了前边缘的一部分和后边缘的一部分之外，桌子5002的顶表面的右边缘现在是可见的。设备100继续在实时预览中在桌子5002的顶表面的可见部分上显示指示符5104以及根据设备100的水平移动显示水平虚拟引导。
图5AE示出了从图5AD的转变，显示向用户界面5006添加测量区域。特别地，图5AE示出了当焦点5012在指示符5104指示的检测区域之上时，通过触摸输入5108(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100添加对应于整个检测区域的测量，尽管检测区域只有一部分可见，并且改变指示符5104的外观以指示检测区域已被确认为测量区域。另外，设备100显示标签5110、标签5112和标签5114。标签5110指示对应于(整个)确认区域的(整个)物理矩形区域的面积。标签5112指示对应于确认区域的物理矩形区域的第一侧(例如，桌子5002的顶表面的右边缘)的长度。标签5114指示对应于确认区域的物理矩形区域的与第一侧相邻的第二侧(例如，桌子5002的顶表面的前边缘)的长度。任选地，在一些实施方案中，在检测区域被确认为测量区域之前，标签5114与指示符5104一起显示(例如，在一些实施方案中，标签5114与图5AD中的指示符5104一起显示)。
图5AF示出了从图5AE的转变。在图5AF中，用户5004已经将设备100水平地朝左移动，使得桌子5002的左侧部分在实时预览中可见。指示符5094、测量段5048和测量段5066(以及它们的相关标签)在用户界面5006中在其对应于桌子5002的相应特征的相应位置处显示(例如，分别是桌子5002的侧表面、水平左上边缘和垂直前左边缘)，即时设备100先前从这些元件和桌子5002的对应特征在用户界面5006中可见的位置移开，并且现在已经移回到这些元件和桌子5002的对应特征在用户界面5006中(再次)可见的位置(诸如图5AF中所示的那些)。此外，指示符5104(以及其相关标签)显示在桌子5002的顶表面的可见部分之上，即使当设备100显示桌子5002顶表面的当前在用户界面5006中不可见的不同部分时确认了对应于桌子5002的顶表面的检测区域。
图5AG示出了从用户界面5006清除显示在实时预览之上并且对应于物理空间5000的所有测量(例如，包括对应于当前不在相机视野中的物理对象的测量)。在图5AG中，响应于通过触摸输入5116激活清除按钮5022，从用户界面506移除测量段5048和5066、测量点5042、5054和5090、指示符5094和5104，以及所有对应的标签。
图5AH-5AS示出了基于连续触摸输入的强度的变化来连续创建测量。特别地，图5AH-5AM示出了对桌子5002的水平左上边缘的测量的创建。图5AH可选地示出了从图5AG的转变。在图5AH中，用户5004移动了设备100，使得如在实时预览中所示，桌子5002的后左上角在标线5010内。因此，焦点5012对齐到实时预览中对应于桌子5002的后左上角的锚定点。标线5010以其减小的尺寸显示以指示对齐行为。此外，可选地生成触觉输出5118以指示该对齐行为。
图5AI示出了从图5AH的转变，显示向用户界面5006添加测量点。特别地，图5AI示出了通过触摸输入5120(例如，轻按压手势)激活测量添加按钮5014，该触摸输入具有高于轻按压强度阈值ITL的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100在焦点5012的当前位置处将(虚拟)测量点5122添加到用户界面5006并显示。结合将测量点5122添加到用户界面5006，并且响应于触摸输入5120的接触强度增加到轻按压强度阈值ITL以上，设备100可选地生成触觉输出5124以指示测量点的添加。在一些实施方案中，如图5AI所示，随着触摸输入5120的接触强度增加，测量添加按钮5014的尺寸减小(例如，图5AI中的测量添加按钮5014较小，此时触摸输入5120的接触强度与图5K中相比在轻按压强度阈值ITL以上，在图5K中时，触摸输入5038的接触强度在最小接触检测阈值IT0和轻按压强度阈值ITL之间)。
图5AJ示出了从图5AI的转变，显示触摸输入5120保持在测量添加按钮5014上，其接触强度高于最小接触检测阈值IT0但是已经降低到轻按压强度阈值ITL以下。在一些实施方案中，设备100在检测到触摸输入5120的接触强度降低到轻按压强度阈值ITL以下时生成触觉输出(例如，不是响应于触摸输入5120的接触强度增加到轻按压强度阈值ITL以上生成触觉输出5124，如图5AI所示，而是响应于触摸输入5120的接触强度减小到轻按压强度阈值ITL以下来生成该触觉输出，如图5AJ所示)。
图5AK示出了从图5AJ的转变。在图5AK中，用户5004已将设备100对角地向下并朝右移动，同时在测量添加按钮5014上保持触摸输入5120，其接触强度高于最小接触检测阈值IT0并且低于轻按压强度阈值ITL。移动了设备100，使得标线5010定位在桌子5002的前左上角之上，如实时预览中所示。因此，焦点5012对齐到实时预览中对应于桌子5002的前左上角的锚定点。标线5010以其减小的尺寸显示以指示该对齐行为，并且可选地，生成触觉输出5126以指示该对齐行为。测量点5122在实时预览中继续显示在桌子5002的后左上角之上，并且动态测量段5128显示在焦点5012的当前位置和测量点5122之间。此外，根据设备100的移动，显示虚拟引导5130，其中虚拟引导5130从测量点5122对角地延伸并且沿着用户界面5006中桌子5002的水平左上边缘延伸。
图5AL示出了从图5AK的转变，显示向用户界面5006添加测量点。具体地讲，图5AL示出了当触摸输入5120保持在测量添加按钮5014上时，通过将触摸输入5120的接触强度增加到高于轻按压强度阈值ITL，如强度计5040所示，来激活测量添加按钮5014。响应于激活测量添加按钮5014，设备100将(虚拟)测量点5132在焦点5012的当前位置处添加到用户界面5006并显示，并且作为测量段5128的第二端点。结合将测量点5132添加到用户界面5006，并且响应于触摸输入5120的接触强度增加到轻按压强度阈值ITL以上，设备100可选地生成触觉输出5134以指示测量点的添加。在一些实施方案中，如图5AL所示(并且如先前参考图5AI所述)，随着触摸输入5120的接触强度增加，测量添加按钮5014的尺寸减小。可选地，如图5AL所示，在完成测量段5128时，设备100停止显示虚拟引导5130。
图5AM示出了从图5AL的转变，显示触摸输入5120保持在测量添加按钮5014上，其接触强度高于最小接触检测阈值IT0但是已经降低到轻按压强度阈值ITL以下。在一些实施方案中，设备100在检测到触摸输入5120的接触强度降低到轻按压强度阈值ITL以下时生成触觉输出，如本文关于图5AJ所述。
图5AN-5AR示出了从图5A的转变，显示使用相同的连续触摸输入5120添加与测量段5128连续(例如，具有共同的端点)的另一测量段。在图5AN中，用户5004已设备100对角地向上并朝右移动，同时在测量添加按钮5014上保持触摸输入5120，其接触强度高于最小接触检测阈值IT0并且低于轻按压强度阈值ITL。移动了设备100，使得标线5010定位在桌子5002顶表面的不包括焦点5012已对齐的任何特征的区域之上。因此，焦点5012显示在标线5010的中心，并且标线5010以其增大的尺寸显示。测量点5122、测量段5128和测量点5132继续在实时预览上显示，并且动态测量段5136显示在焦点5012的当前位置和测量点5122之间。因为实时预览不包括在设备100的移动方向上延伸的任何特征，所以不显示虚拟引导。例如，设备100的移动距水平方向大于预定角度，因此不为实时预览中水平延伸的特征显示虚拟引导；此外，设备100的移动距垂直方向大于预定角度，因此不为实时预览中垂直延伸的特征显示虚拟引导。
图5AO示出了从图5AN的转变。在图5AO中，用户5004已设备100水平地朝右移动，同时在测量添加按钮5014上保持触摸输入5120，其接触强度高于最小接触检测阈值IT0并且低于轻按压强度阈值ITL。设备100已被移动，使得测量点5122、测量段5128和测量点5132不再显示在用户界面5006中，因为它们所对应的物理特征不再在用户界面5006中显示的实时预览内。继续显示动态测量段5136，其从焦点5012的当前位置延伸。然而，因为测量点5132(动态测量段5136的另一个端点)不再显示在用户界面5006中，所以动态测量段5136只延伸到用户界面5006的边缘(例如，朝向测量点5132的投影位置)。此外，根据设备100的水平移动，显示虚拟引导5138，其中虚拟引导5138从测量点5132(的投影位置)水平地延伸并且沿着用户界面5006中桌子5002的水平前边缘延伸。
图5AP示出了从图5AO的转变。在图5AP中，用户5004已将设备100朝右且稍微向下移动，同时在测量添加按钮5014上保持触摸输入5120，其接触强度高于最小接触检测阈值IT0并且低于轻按压强度阈值ITL。已将设备100移动，使得实时预览中对应于桌子5002的水平前边缘的虚拟引导5138至少部分地在标线5010内(例如，焦点5012在虚拟引导5138和实时预览中桌子5002的水平前边缘的预定距离内(例如，预定距离为标线5010的半径))。因此，焦点5012对齐到虚拟引导5138(例如，对齐到沿虚拟引导5138离标线5010的中心最近的点)。标线5010以其减小的尺寸显示，并且可选地，生成触觉输出5140以指示该对齐行为。继续显示动态测量段5136，其从焦点5012的当前位置延伸到用户界面5006的边缘(例如，朝向测量点5132的投影位置)。此外，根据设备100在预定水平角度内的持续移动，水平虚拟引导5138继续显示为沿用户界面5006中的桌子5002的前边缘。
图5AQ示出了从图5AP的转变。在图5AQ中，用户5004已设备100水平地朝右移动，同时在测量添加按钮5014上保持触摸输入5120，其接触强度高于最小接触检测阈值IT0并且低于轻按压强度阈值ITL。移动了设备100，使得标线5010定位在桌子5002的前右上角之上，如实时预览中所示。因此，焦点5012对齐到实时预览中对应于桌子5002的前右上角的锚定点。标线5010以其减小的尺寸显示以指示对齐行为。继续显示动态测量段5136，其从焦点5012的当前位置延伸到用户界面5006的边缘(例如，朝向测量点5132的投影位置)。此外，在图5AN-5AQ的序列中，更新对应于测量段5136的标签，以反映当设备100移动时由动态测量段5136表示的测量的长度变化。此外，根据设备100持续水平移动，水平虚拟引导5138继续显示为沿用户界面5006中的桌子5002的前边缘。
图5AR-5AS示出了从图5AQ的转变，显示向用户界面5006添加测量点。具体地讲，图5AR示出了当触摸输入5120保持在测量添加按钮5014上时，通过将触摸输入5120的接触强度增加到高于轻按压强度阈值ITL，如强度计5040所示，来激活测量添加按钮5014。响应于激活测量添加按钮5014，设备100将(虚拟)测量点5142在焦点5012的当前位置处添加到用户界面5006并显示，并且作为测量段5136的第二端点。结合将测量点5142添加到用户界面5006，并且响应于触摸输入5120的接触强度增加到轻按压强度阈值ITL以上，设备100可选地生成触觉输出5144以指示测量点的添加。此外，随着触摸输入5120的接触强度增加，测量添加按钮5014的尺寸(可选地)减小。可选地，如图5AR所示，即使在完成测量段5136之后，设备100也继续显示虚拟向导5138。
图5AS示出了触摸输入5120从测量添加按钮5014抬离。在一些实施方案中，在触摸输入5120从测量添加按钮5014抬离之后(并且在检测到任何后续触摸输入之前)，设备100的进一步移动将不会导致显示从测量点5142延伸(例如，并且与测量段5136连续)的新动态测量段。也就是说，连续触摸输入5120的抬离结束了基于触摸输入5120的新测量段的连续创建。
在一些实施方案中，设备对一系列轻击手势(其不保持与触敏表面接触)的响应不同于对一系列按压手势(其保持与触敏表面接触)的响应。对于作为离散轻击手势的输入(而不是通过单个连续检测到的接触进行的按压手势)，不会利用每个随后添加的测量点连续地创建测量段。也就是说，对于一系列系列轻击手势，如果用户连续放下四个点，将在第一个点和第二个点之间创建测量段，并在第三个点和第四个点之间创建另一个测量段，但是不会在第二个点和第三个点之间创建测量段。
图5AT示出了从图5AS的转变。在图5AT中，移动了设备100，使得标线5010定位在桌子5002的前左上角之上，如实时预览所示，并且在测量点5132之上。因此，焦点5012对齐到实时预览中对应于桌子5002的前左上角的锚定点处的测量点5132。标线5010以其减小的尺寸显示以指示对齐行为。根据桌子5002的对应特征在用户界面5006的实时预览中再次显示，测量段5128和测量段5136在用户界面5006中它们对应于桌子5002的相应特征(例如，分别为桌子5002的水平上左边缘和水平前边缘)的相应位置处显示。测量段5128显示在其端点、测量点5122和测量点5132之间。测量段5136显示为从测量点5132(测量段5136的一个端点)延伸到用户界面5006的边缘(例如，朝向测量点5142的投影位置，其是测量段5136的另一个端点，并且当前在用户界面5006中不可见)。此外，根据标线5010位于测量点5132之上，显示从测量点5132延伸的虚拟引导5146、5148和5150。虚拟引导5146在x方向(例如，沿着桌子5002的水平前边缘水平地)从测量点5132延伸。虚拟引导5148在y方向(例如，沿着桌子5002的垂直左前边缘垂直地)从测量点5132延伸。虚拟引导5150在z方向(例如，沿着桌子5002的水平左上边缘水平地)从测量点5132延伸。
图5AU-5AX示出了从图5AT的转变，显示向用户界面5006添加测量段。图5AU示出了通过触摸输入5152(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100使用测量点5132作为要添加的新测量段的起点，并且可选地，生成触觉输出5154以指示新测量段的开始。
图5AV示出了(在触摸输入5152抬离之后)用户5004已将设备100沿桌子5002的垂直左前边缘向下移动。焦点5012对齐到沿桌子5002的垂直左前边缘的锚定点，该锚定点不是桌子5002的前左下角。标线5010以其减小的尺寸显示以指示对齐行为。而且，根据垂直移动，设备100继续显示从测量点5132垂直延伸的虚拟引导5148，并且已经停止显示虚拟引导5146和5150，它们未从测量点5132垂直地延伸(或在与垂直方向预定角度内的方向)。此外，在测量点5132和焦点5012的当前位置之间显示动态测量段5156。
图5AW示出了通过触摸输入5158(例如，轻击手势)激活测量添加按钮5014，该触摸输入具有高于最小接触检测阈值IT0的接触强度，如强度计5040所示。响应于激活测量添加按钮5014，设备100在焦点5012的当前位置向用户界面5006添加测量点5160并显示，并且作为测量段5156的第二端点，该测量段变成完成的测量段。结合将测量点5160添加到用户界面5006，设备100可选地生成触觉输出5162以指示测量点的添加(例如，指示测量段的完成)。图5AX示出了触摸输入5158从测量添加按钮5014抬离。
图5AY-5BE示出了与用户界面5006中的增强现实环境的示例性缩放交互。具体地讲，图5AY-5BA示出了对显示的测量点的缩放辅助的重新定位。图5AY示出了在测量点5160上检测到的触摸输入5164，其接触强度高于最小接触检测阈值IT0，如强度计5040所示。响应于检测到测量点5160上的触摸输入5164，设备100放大实时预览的包括测量点5160的一部分(例如，实时预览的以测量点5160为中心的部分)。实时预览的缩放量基于设备100与测量点5160对应的桌子5002上的点之间的距离(例如，桌子5002上的点恰好在桌子5002的前左下角上方)。例如，在图5AY中，当设备100离测量点5160对应的桌子5002上的点距离d1时，实时预览以缩放因子4X被放大。
图5AZ示出了从图5AY的转变，显示触摸输入5164在触摸屏112上的移动(例如，由触摸输入5164中的接触进行的平移手势或拖动手势)，使得触摸输入5164在对应于桌子5002的前左下角的锚定点之上。测量点5160随着触摸输入5164在触摸屏112上的移动而在用户界面5006中移动。在一些实施方案中，如图5AZ所示，测量点5160对齐到触摸输入5164已经在其之上移动的锚定点。因此，测量点5160显示在对应于桌子5002的前左下角的锚定点处。结合测量点5160的移动，测量段5156扩展并且其标签相应地更新(以指示桌子5002的垂直左前边缘的长度)。此外，设备100可选地生成触觉输出5166以指示该对齐行为。
在一些实施方案中，设备100确定从相机位置到物理空间5000中的测量点在其之上显示的检测到的表面上的位置的矢量。在一些实施方案中，设备100确定所确定的矢量与检测到的表面之间的角度。在一些实施方案中，根据确定所确定的矢量在检测到的表面的预定阈值角度内(例如，所确定的角度小于预定阈值角度，诸如15、18、20、25或30度)，当接收到一组一个或多个用户输入以移动测量点时，测量点移动通过用户界面5006中对应于沿该确定的矢量的位置的位置。
图5BA示出了从图5AZ的转变。在一些实施方案中，如图5BA所示，在触摸输入5164抬离后，设备100停止显示实时预览的放大(部分)并且重新显示未缩放的实时预览。在一些实施方案中，在触摸输入5164抬离后，设备100继续显示放大的实时预览，直到检测到后续输入(以退出缩放的实时预览并返回到未缩放显示的实时预览)为止。
因为设备100在图5AX-5AZ中保持在相同位置，所以图5BA中的标线5010以与图5AX中相同的尺寸和相同的位置显示(在对测量点5160的缩放辅助的重新定位之前)。因为如关于图5AY-5AZ所描述的那样将测量点5160重新定位到对应于桌子5002的前左下角的锚定点，所以在图5BA中未缩放显示的实时预览中的该锚定点处、在标线5010之外显示测量点5160。还显示扩展的测量段5156及其对应的更新标签。
图5BB-5BC示出了另一示例性缩放交互。图5BB类似于图5AX，不同的是图5BB中的设备100比图5AX中的(如图5AY中的用户5004、设备100和桌子5002的侧视图所示)更靠近桌子5002(或者更具体地，更靠近测量点5160对应的桌子5002上的点)，其距离d2小于图5AY中的距离d1。因此，响应于检测到测量点5160上的触摸输入5168，如图5BC所示，设备100放大实时预览的包括测量点5160的一部分。图5BC中的实时预览的缩放量基于设备100和桌子5002之间的较小距离d2，因此图5BC中的实时预览的缩放量(对应于缩放因子2X)小于图5AY中的缩放量(对应于缩放因子4X)。此外，因为设备100在图5BB中比在图5AX中更靠近桌子5002，所以刻度标记沿着测量段5156以一英尺的间隔显示(例如，与图5AX中没有显示刻度标记相反)。另外，因为设备100在图5BB中比在图5AX中更靠近桌子5002，所以在图5BB中对应于所显示的测量的标签的尺寸大于图5AX中的尺寸。
图5BD-5BE示出了另一示例性缩放交互。图5BD类似于图5BB，不同的是图5BD中的设备100比图5BB中的更靠近桌子5002(或者更具体地，更靠近测量点5160对应的桌子5002上的点)，其距离d3小于图5BB中的距离d2。因此，响应于检测到测量点5160上的触摸输入5170，如图5BE所示，设备100放大实时预览的包括测量点5160的一部分。图5BE中的实时预览的缩放量基于设备100和桌子5002之间的较小距离d3，因此图5BE中的实时预览的缩放量(对应于缩放因子1.5X)小于图5BC中的缩放量(对应于缩放因子2X)。此外，因为设备100在图5BD中比在图5BB中更靠近桌子5002，所以刻度标记沿着测量段5156以一英寸的间隔显示(例如，与图5BB中刻度标记以一英尺的间隔显示相反)。另外，因为设备100在图5BD中比在图5BB中更靠近桌子5002，所以在图5BD中对应于所显示的测量的标签的尺寸大于图5BB中的尺寸。在一些实施方案中，随着设备100与对应于测量段的物理特征之间的距离减小，沿着该测量段显示标记的刻度变得更精细(例如，在第一距离以上的距离，不显示刻度标记；在第一距离和第二距离(短于第一距离)之间的距离，以一英尺的间隔显示刻度标记；在第二距离和第三距离(短于第二距离)之间的距离，以一英寸的间隔显示刻度标记；在短于第三距离的距离，以四分之一英寸的间隔显示刻度标记，依此类推)。
在一些实施方案中，图5AY中显示的缩放量是最大缩放量，使得当设备100和桌子5002之间的距离(或显示的测量点对应的桌子5002上的点)大于图5AY所示的距离d1时，实时预览的缩放量仍然对应于缩放因子4X。在一些实施方案中，图5BE中显示的缩放量是最小缩放量，使得当设备100和桌子5002之间的距离(或显示的测量点对应的桌子5002上的点)小于图5BE所示的距离d3时，实时预览的缩放量仍然对应于缩放因子1.5X。
类似地，在一些实施方案中，图5AY中显示的标签的尺寸是最小标签尺寸，使得当设备100和桌子5002之间的距离(或显示的测量点对应的桌子5002上的点)大于图5AY所示的距离d1时，标签的大小与图5AY中的相同。在一些实施方案中，图5BE中显示的标签的尺寸是最大标签尺寸，使得当设备100和桌子5002之间的距离(或显示的测量点对应的桌子5002上的点)小于图5BE所示的距离d3时，标签的大小与图5BE中的相同。
图5BF-5BK示出了在用户界面5006中捕获增强现实环境的图像。图5BF可选地示出了从图5BA的转变。在图5BF中，用户5004已定位设备100，使得测量段5128、5136和5156及其对应的端点和标签显示在用户界面5006中，桌子5002的对应特征在实时预览中可见。图5BG示出了通过触摸输入5172来激活媒体捕获按钮5016，如强度图5180中所示的强度增加所示，该强度图显示触摸输入5172随时间的接触强度。
图5BH示出了基于触摸输入5172在预定阈值时间Tth之前抬离(例如，触摸输入5172是轻击手势)，从图5BG转变。因此，强度图5180示出了触摸输入5172的接触强度在时间Tth之前对应地减小到零。响应于在预定阈值时间Tth之前检测到触摸输入5172的抬离，设备100捕获增强现实环境的图像5174。捕获的图像5174是静止图像，其包括相机视野的图像，对应于实时预览的瞬时快照，并且测量段5128、5136和5156以及它们对应的端点和标签在相机视野的图像上叠加。在一些实施方案中，如图5BH所示，捕获的图像5174不包括用户界面5006中的按钮/控件的图像。
图5BI示出了当设备100相对于桌子5002处于不同位置(面向桌子5002的左侧表面)，使得桌子5002的不同透视图显示在实时预览中，响应于激活媒体捕获按钮5016来捕获图像。响应于通过触摸输入激活媒体捕获按钮5016以及触摸输入在预定阈值时间Tth之前抬离，如强度图5180所示，设备100捕获增强现实环境的图像5176。捕获的图像5176是静止图像，其包括从设备100在图5BI中的位置处看(例如，面向桌子5002的左侧表面)的桌子5002的图像。测量段5128、5136和5156及其对应的端点和标签基于图5BI中的设备100的视角被叠加在捕获的图像5176中桌子5002的对应特征上。
图5BJ示出了从图5BG的另选转变。与图5BG一起，图5BJ-5BK示出了响应于保持在媒体捕获按钮5016上的触摸输入(例如，长按压手势)来捕获增强现实环境的视频。在图5BJ中，触摸输入5172在媒体捕获按钮5016上保持超过预定阈值时间Tth，如强度图5180所示。因此，设备100捕获相机视野的视频。定时器5178显示在用户界面5006中并指示捕获的视频的当前长度。此外，捕获的视频包括相机视野中的任何测量(例如，测量段5128、5136和5156以及它们对应的端点和标签叠加在捕获的视频中桌子5002的对应特征上)。在一些实施方案中，捕获的视频不包括用户界面5006中的按钮/控件的图像。
图5BK示出了当触摸输入5172保持在媒体捕获按钮5016上时设备100已经移动。因此，当设备100移动时，设备100继续捕获相机视野的视频，如图5BK中的定时器5178所示的当前视频长度所示，其长于图5BJ中的定时器5178所示的视频长度。捕获的视频包括当设备100移动到其如图5BK所示的位置时叠加在相机视野中对应特征上的测量段5136的附加部分。
图5BL-5BM示出了显示关于所选测量的附加信息以及用于将该信息共享给另一应用程序、过程或设备的选项。图5BL示出了在测量段5156上检测到的触摸输入5182(例如，通过触摸输入中的接触进行的轻击手势)，其接触强度高于最小接触检测阈值IT0，如强度计5040所示。图5BM示出了响应于检测到测量段5156上的触摸输入5182，设备100显示测量管理界面5184。测量管理界面5184包括描述测量5156所对应的物理对象即桌子5002的标签。例如，测量管理界面5184包括对桌子5002进行分类的标签5186-a(例如，将桌子5002标识为“桌子”)。测量管理界面5184还包括将测量5156和桌子5002之间的关系进行分类的标签5186-b(例如，将测量5156标识为桌子5002的“高度”)。在一些实施方案中，基于设备100的垂直移动将测量5156和桌子5002之间的关系分类为“高度”，同时将测量5156添加到用户界面5006。
在一些实施方案中，响应于触摸输入5182，关于测量5156的信息(例如，测量5156所述对应的物理对象的分类以及测量5156与物理对象之间的关系、测量5156的幅度诸如长度或面积、测量5156的图像等)被复制到在设备100上执行的剪贴板过程。在一些实施方案中，测量管理接口包括可以向其发送关于所选择的测量5156的信息的多个目的地(例如，对应于电子邮件客户端模块140的图标5192(图1A)、对应于IM模块141的图标5194(图1A)，和对应于电子设备之间的文件传输协议的图标5196)。在一些实施方案中，响应于触摸输入5182满足高于最小接触检测阈值IT0的强度阈值(例如，轻按压强度阈值ITL)(例如，响应于触摸输入5182为轻按压或深按压手势)，显示测量管理界面5184。
图5BN示出了包括增强现实测量应用程序图标5190的示例性控制中心用户界面5188。增强现实测量应用程序图标5190的激活启动增强现实测量应用程序并显示用户界面5006(例如，如参考图5A所述)。
图5BO示出了使用关于图5BO-5C描述的用户界面的背景。图5BO类似于图5A，其中图5B示出了包括设备100的物理空间5000的视图，不同的是物理空间5000包括其上放置有对象5202的桌子5200(而不是桌子5002)。对象5202处于设备100的相机的视野中，并且在设备100上的用户界面5006中显示的物理空间5000的实时预览中可见。在一些实施方案中，如图5BO所示，用户界面5006中的标线5010倾斜以看起来与桌子5200的顶表面共面，以指示已经检测到的并且对应于焦点5012的当前位置的表面。
图5BP-5BQ示出了根据一些实施方案的将虚拟测量点添加到用户界面5006的第一方式。图5BP示出了标线5010上的触摸输入5204。根据一些实施方案，图5BP示出，响应于触摸输入5204，设备100在焦点5012的当前位置处将虚拟测量点5206添加到用户界面5006并显示(如图5BO所示)。图5BQ示出了在触摸输入5204抬离之后在与图5BP相同的位置处显示的测量点5206。
图5BR-5BS示出了根据一些实施方案的将虚拟测量点添加到用户界面5006的另选方式。图5BR示出了标线5010上的触摸输入5204。与图5BP相比，图5BR示出，响应于触摸输入5204，设备100放弃在焦点5012的位置处添加虚拟测量点并显示。相反，在图5BR中，设备100显示指令消息5208以提示用户5004在测量添加按钮5014上轻击(而不是在标线5010上轻击)来添加测量点。图5BS示出了通过触摸输入5210来激活测量添加按钮5014。响应于触摸输入5210，设备100在焦点5012的当前位置处将虚拟测量点5206添加到用户界面5006(如图5BQ所示)。
图5BT-5BU示出了在添加测量点5206之后(例如，在图5BQ或图5BS中)对应于对象5202的测量的创建。在图5BT中，用户5004移动了设备100，使得标线5010和焦点5012定位在物理空间5000中的不同位置之上。具体地讲，在图5BT中，标线5010和焦点5012定位在对象5202的边缘之上(如在实时预览中所示)，其比图5BO中标线5010和焦点5012所在的边缘更靠近设备100。因此，标线5010在图5BT中相对于其在图5BO中的尺寸以增大的尺寸显示，并且焦点5012在图5BT中相对于其在图5BO中的尺寸以增大的尺寸显示。在一些实施方案中，标线5010显示的尺寸基于设备100与物理空间5000中标线5010在其之上显示的位置之间的距离，可选地遵循预定义最小尺寸(用于大于预定义最大距离的距离)和预定义最大尺寸(用于小于预定义最小距离的距离)。相似地，在一些实施方案中，焦点5012显示的尺寸基于设备100与物理空间5000中焦点5012在其之上显示的位置之间的距离，可选地遵循预定义最小尺寸和预定义最大尺寸。此外，根据设备100的移动使得标线5010和焦点5012定位在物理空间5000中的不同位置之上，在测量点5206(最近添加的测量点)和焦点5012之间显示(动态)测量段5212，其由虚线指示。测量段5212显示有相关联的(动态)标签，该标签指示物理空间5000中的某个距离，测量段5212在该距离上看起来在用户界面5006中延伸。
图5BU示出了通过触摸输入5214(例如，轻击手势)来激活测量添加按钮5014。响应于激活测量添加按钮5214，设备100在用户界面5006中焦点5012的当前位置处添加并显示测量点5216(如图5BT所示)并且作为测量段5212的第二端点。根据测量段5212的完成，测量段5212的外观改变。在图5BU所示的示例中，测量段5212从虚线变为实线。因为测量点5216定位在对象5202的比其之上显示测量点5206的对象5202的边缘更靠近设备100的边缘之上，所以测量点5216相对于测量点5206以增大的尺寸显示。
图5BV-5BY示出了根据一些实施方案的对应于对象5202的测量的创建，其导致先前的测量被移除。图5BV示出了从图5BU的转变。在图5BT中，用户5004移动了设备100，使得标线5010和焦点5012定位在物理空间5000中与图5BU中所示不同的位置之上。具体地讲，在图5BV中，标线5010和焦点5012定位在对象5202的第一拐角之上。在一些实施方案中，如图5BV所示，根据标线5010和焦点5012远离测量段5212移动，设备100停止显示与测量段5212相关联的标签(“17英寸”)。
图5BW示出了从图5BV的转变，显示向用户界面5006添加测量点。具体地讲，图5BW示出了通过触摸输入5218来激活测量添加按钮5014。作为响应，设备100在焦点5012的当前位置处将测量点5220添加到用户界面5006(如图5BV所示)。此外，根据添加远离先前创建的测量段5212的新测量点，设备100改变测量段5212的外观(例如，以指示创建与测量段5212断开的测量段将导致测量段5212从用户界面5006中被移除)。在图5BW所示的示例中，测量段5212从实线变为虚线，并且测量段5212及其端点的颜色(和/或透明度)改变。
图5BX示出了从图5BW的转变，显示用户5004移动了设备100，使得标线5010和焦点5012定位在对象5202的第二拐角之上。因此，由虚线指示的(动态)测量段5222显示在测量点5206(最近添加的测量点)和焦点5012之间。测量段5222显示有相关联的(动态)标签(例如，“17英寸”)，该标签指示物理空间5000中的某个距离(例如，沿着对象5202)，测量段5222在该距离上看起来在用户界面5006中延伸。
图5BY示出了从图5BX的转变，显示响应于触摸输入5226激活测量添加按钮5014而将测量点5224添加到用户界面5006。图5BY示出了测量点5224已经在焦点5012的当前位置处添加(如图BX所示)作为测量段5222的第二端点。因为测量点5224定位在对象5202的比其之上显示测量点5220的对象5202的位置离设备100更远的位置之上，所以测量点5224相对于测量点5220以减小的尺寸显示。根据测量段5222的完成，测量段5222的外观从虚线变为实线。此外，根据测量段5222的完成，并且根据测量段5222与先前放置的测量段5212断开，设备100停止显示测量段5212。在一些实施方案中，根据确定测量段5222离测量段5212至少预定阈值距离(例如，测量段5212上的任何点都不在测量段5222上的任何点的预定阈值距离内)，停止显示测量段5212。
图5BZ-5CF示出了根据一些实施方案的对应于对象5202的测量的创建，该对象连接到先前的测量，使得先前的测量继续显示。图5BZ示出了从图5BY的转变，显示用户5004移动了设备100，使得标线5010和焦点5012定位在对象5202的第三角之上。在一些实施方案中，如图5BZ所示，即使标线5010和焦点5012已经远离测量段5222移动，设备100也继续显示与测量段5222相关联的标签(与图5BV相反，该图示出了当标线5010和焦点5012远离测量段移动时设备100停止显示与测量段5212相关联的标签的实施方案)。
图5CA示出了从图5BZ的转变，显示响应于触摸输入5230激活测量添加按钮5014，在焦点5012的当前位置处(如图5BZ所示)将测量点5228添加到用户界面5006。根据在用户界面5006中远离先前创建的测量段5222的位置处添加测量点5228，设备100改变测量段5222的外观(例如，以指示创建与测量段5222断开的测量段将使测量段5222从用户界面5006中移除)。在图5CA所示的示例中，测量段5222从实线变为虚线，并且测量段5222的颜色(和/或透明度)改变。
图5CB示出了从图5BZ的转变，显示用户5004移动了设备100，使得标线5010和焦点5012被定位成远离对象5202的第三角。因此，由虚线指示的(动态)测量段5232显示在测量点5228和焦点5012之间。测量段5232显示有相关联的(动态)标签，该标签指示沿着对象5202的某个距离(例如，“8英寸”)，测量段5222在该距离上看起来在用户界面5006中延伸。
图5CC示出了从图5CB的转变，显示用户5004移动了设备100，使得测量段5222的中点在标线5010内。在一些实施方案中，如图5CC所示，在用户界面5006中显示的相应测量段的中点可以是焦点5012所对齐的锚定点。因此，在图5CC中，焦点5012对齐到对应于测量段5222中点的锚定点。为了指示该对齐行为，焦点5012以相对于当焦点5012未对齐到锚定点时焦点5012的尺寸增大的尺寸显示(例如，如图5CB所示)。在一些实施方案中，如图5CC所示，当焦点对齐到锚定点时，标线5010的尺寸不会改变。在一些实施方案中，对齐到锚定点时焦点5012的尺寸大于焦点5012的预定义最大尺寸，该预定义最大尺寸用于基于设备100与物理空间5000中焦点5012在其之上显示的位置之间的距离来改变焦点5012的尺寸(例如，如本文关于图5BT所述)。此外，因为焦点5012对齐到沿着测量段5222的点，所以测量段5222的外观改变以指示在焦点5012的当前位置处添加测量点将导致测量段5222继续显示而不是被移除。具体地讲，测量段5222从虚线(重新)变为实线，并且测量段5222的颜色(和/或透明度)改变，使得测量段5222以其如图5BZ(在添加测量点5228之前)所示的外观重新显示。此外，动态测量段5232的长度根据设备100的移动而更新，使得测量段5232继续在测量点5228和焦点5012的当前位置之间显示。与测量段5232相关联的标签更新以反映测量段5232的长度变化(例如，“12英寸”)。
图5CD示出了从图5CC的转变，显示用户5004移动了设备100，使得标线5010和焦点5012被定位成远离测量段5222的中点。因此，在图5CD中，动态测量段5232及其相关标签更新以反映由于焦点5012相对于测量点5228的移动而导致的测量段5232的长度变化。此外，测量段5222的外观更新以指示在焦点5012的当前位置处添加测量点将导致测量段5222被移除。
图5CE示出了从图5CD的转变，显示用户5004移动了设备100，使得测量点5224(如图5CD所示)在标线5010内。在一些实施方案中，如图5CE所示，先前添加的测量段的端点可以是焦点5012所对齐的锚定点。因此，在图5CE中，焦点5012对齐到对应于测量点5224的锚定点(如图5CD所示)。为了指示该对齐行为，焦点5012以相对于当其未对齐到锚定点时的尺寸增大的尺寸显示(例如，如图5CD所示)，尽管标线5010的尺寸未改变，如本文参考图5CC所述。此外，因为焦点5012对齐到沿着测量段5222的点，所以测量段5222的外观改变以指示在焦点5012的当前位置处添加测量点将导致测量段5222继续显示而不是被移除。具体地讲，测量段5222从虚线变为实线，并且测量段5222的颜色(和/或透明度)改变，使得测量段5222以其如图5BZ所示的外观重新显示。此外，动态测量段5232及其相关标签更新以反映由于焦点5012相对于测量点5228的移动而导致的测量段5232的长度变化。
图5CF示出了从图5CE的转变，显示响应于触摸输入5236激活测量添加按钮5014，在焦点5012的当前位置处(如图5CE所示)将测量点5234添加到用户界面5006。根据在沿测量段5222的点处添加测量点5234，测量段5222继续显示。根据测量段5232的完成，测量段5232的外观从虚线变为实线。
图5CG-5CK示出了根据一些实施方案的足够接近(例如，在预定阈值距离内但未连接到)先前测量的测量的创建，使得先前测量继续显示。图5CG示出了从图5CF的转变，显示用户5004移动了设备100，使得标线5010和焦点5012被定位成远离对象5202并且在桌子5200的第一拐角之上。在一些实施方案中，如图5CG所示，即使标线5010和焦点5012已经远离测量段5222和测量段5232移动，设备100也继续显示与测量段5222和5232相关联的标签(与图5BV相反，该图示出了当标线5010和焦点5012远离测量段移动时设备100停止显示与测量段5212相关联的标签的实施方案)。
图5CH示出了从图5CG的转变，显示响应于触摸输入5240激活测量添加按钮5014，在焦点5012的当前位置处(如图5CH所示)将测量点5238添加到用户界面5006。根据在用户界面5006中远离先前创建的测量段5222和5232的位置处添加测量点5238，设备100改变测量段5222和5232的外观，以指示创建与测量段5222断开并且距沿该测量段的任何点以及沿测量段5232的任何点超过阈值距离的测量段将使测量段5222和5232从用户界面5006中移除。在图5CH所示的示例中，测量段5222和5232从实线变为虚线，并且测量段5222和5232及其端点的颜色(和/或透明度)改变。
图5CI示出了从图5CH的转变，显示用户5004移动了设备100，使得标线5010和焦点5012定位在桌子5200的侧表面之上。在一些实施方案中，如图5CI所示，标线5010倾斜以看起来与桌子5200的侧表面共面，以指示已经检测到的并且对应于焦点5012的当前位置的表面。由虚线指示的动态测量段5242连同相关动态标签显示在测量点5238和焦点5012之间，该标签指示沿着桌子5200的侧表面的距离，在该距离上测量段5242看起来在用户界面中延伸5006(例如，“2英尺10英寸”)。
图5CJ示出了从图5CI的转变，显示用户5004移动了设备100，使得标线5010和焦点5012定位在桌子5200的第二拐角之上。在一些实施方案中，如图5CJ所示，即使在焦点5012的当前位置处添加测量点将导致测量段5222和5232继续显示而不是被移除，测量段5222和5232的外观也不会改变(例如，因为通过在焦点5012的当前位置处添加测量点而生成的所得测量段将在两个测量段5222和5232的预定阈值距离内)。
图5CK示出了从图5CJ的转变，显示响应于触摸输入5246激活测量添加按钮5014，在焦点5012的当前位置处(如图5CJ所示)将添加测量点5244。在用户界面5006中的位置处添加测量点5244，使得测量段5242在测量段5222的预定阈值距离内(例如，测量段5242包括在沿测量段5222的至少一个点的预定阈值距离内的至少一个点)。因此，在添加测量点5244之后继续显示测量段5222。此外，测量段5222从虚线(重新)变为实线，并且测量段5222的颜色(和/或透明度)改变，使得测量段5222以其如图5CG所示的外观重新显示。相似地，测量段5242在测量段5232的预定阈值距离内(例如，测量段5242包括在沿测量段5222的至少一个点的预定阈值距离内的至少一个点，诸如端点测量点5234)。因此，与测量段5222一样，测量段5232继续显示并以其如图5CG所示的外观重新显示。在一些实施方案中，只要任何当前显示的测量段(例如，先前连接的测量段5222和5232)中的至少一个点在新创建的测量段(例如，测量段5242)的预定义距离内，则当前显示的所有测量段仍然显示。
图5CL-5CM示出了增强现实环境中的示例性提示条件。图5CL示出了从图5CK的转变，显示用户5004移动了设备100，使得相机的视野不再包括物理空间5000的在其之上显示测量段5222、5232和5242的那部分(例如，桌子5200的左侧部分，如图5CK所示)。图5CL指示自从相机的视野从桌子5200左侧部分移开已经过的时间量小于第一预定义阈值时间量Tth。
图5CM示出了从图5CL的转变，显示自从相机的视野从桌子5200左侧部分移开已经过的时间量已经达到第一预定义阈值时间量。因此，设备100显示提示消息5248来指示测量段5222、5232和5242将很快从用户界面5006被移除。在一些实施方案中，如果在显示提示消息5248之后的第二预定义阈值时间内将设备100移回其如图5CK所示的位置，则将在用户界面5006中在物理空间5000中的对应特征之上重新显示测量段5222、5232和5242，如图5CG所示。在一些实施方案中，如果在自从提示消息5248显示以来的第二预定义阈值时间量之后将设备100移回其如图5CK所示的位置，则将不在用户界面5006中重新显示测量段5222、5232和5242。在一些实施方案中，当设备100移动，使得物理空间5000的在其之上显示测量段5222、5232和5242的部分距离物理空间5000的当前在相机视野中的部分的距离大于阈值距离时，显示提示消息5248。
图5CN-5CO示出了增强现实环境中的另一示例性提示条件。图5CN显示位于距离桌子5200第一距离处的设备100，其中第一距离小于预定义(最大)阈值距离Dth。显示标线5010和焦点5012，其指示设备100已经在焦点5012在其之上显示的位置处检测到表面。图5CO显示位于距离桌子5200第二距离处的设备100，其中第二距离大于预定义(最大)阈值距离Dth。因此，设备100不显示标线5010和聚焦点5012，这指示设备100未在物理空间5000中焦点5012将在其之上显示的位置处检测到表面。此外，设备100显示提示消息5250以指示设备100离物理空间5000中焦点5012已在其之上显示的位置太远，并且提示用户5004将设备100移动成更靠近该位置。相似地，在一些实施方案中，当设备100定位在距离桌子5200小于预定义最小阈值距离的距离时，设备100不显示标线5010和焦点5012(以指示尚未检测到表面)，并且显示提示消息(例如，使用诸如“移向更远”之类的文本)来提示用户5004将设备100进一步移离物理空间5000中焦点5012将在其之上显示的位置。
图6A-6C是示出根据一些实施方案的与用于使用增强现实环境进行物理空间测量的应用程序交互的方法600的流程图。方法600在包括触敏显示器(例如，触摸屏112(图1A)或结合输入设备302的显示生成部件304(图3B))，以及一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))、可选的用于检测与触敏显示器的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法600中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法600提供了在基于增强现实的测量中重新定位虚拟测量点的直观方式。响应于指向测量点的输入来在包括该测量点的区域上放大使得可以更容易、更精确地重新定位该测量点。方法600减少了当重新定位虚拟测量点时来自用户的输入的数量、程度和/或性质，从而创建了更有效的人机界面。针对电池驱动的电子设备，使得用户能够更快速且更有效地重新定位测量点节省了功率并增加了电池两次充电之间的时间间隔。
电子设备在触敏显示器上显示(602)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的用户界面(例如，用户界面5006，图5AX)。
该用户界面包括(604)一个或多个相机中的至少一个的视野的表示(例如，用户界面5006包括设备100的相机的视野的实时预览，图5AX)。视野的表示以第一放大率显示，并且基于由这一个或多个相机中的至少一个检测到的当前视觉数据的变化随时间更新(例如，视野的表示是来自这一个或多个相机中的至少一个的实时视图)。另外，视野包括三维空间的至少一部分(例如，物理世界中包括物理对象的空间)。例如，在没有缩放(或者使用缩放因子1X)的情况下显示实时预览，并且随着设备100的移动来更新实时预览(例如，如图5AU-5AV中所示)。
在显示视野表示的同时，电子设备检测(606)触敏显示器上的第一触摸输入(例如，在示能表示上的轻击手势或按压输入，当该示能表示被激活时，将测量点添加到所显示的视野表示)(例如，触摸输入5158，图5AW)。
响应于检测到第一触摸输入，电子设备在视野表示中的第一位置处添加(608)并显示(虚拟)测量点(例如，测量点5160，图5AW)，该第一位置对应于三维空间中的第一位置。
在添加测量点之后并在继续显示视野表示的同时(610)：当一个或多个相机中的至少一个移动时，电子设备在视野表示中对应于三维空间中的第一位置的位置处显示(612)该测量点。例如，当一个或多个相机中的至少一个的位置和/或取向由于电子设备的移动而改变时，该(虚拟)测量点继续显示在实时视图中的对应于三维空间中的第一位置的位置处，(虚拟)测量点最初被放置在这里。在一些实施方案中，当一个或多个相机中的至少一个移动时，所显示的测量点看起来附着或锚定到三维空间中该(虚拟)测量点最初放置的位置。
在添加测量点并且在继续显示视野表示的同时(610)，电子设备在触敏显示器上的某个位置处检测(614)第二触摸输入(例如，触摸输入5164，图5AY)，该位置对应于视野表示中测量点的当前位置(其又对应于三维空间中的第一位置，测量点最初被放置在这里)。
响应于检测到第二触摸输入，电子设备将视野表示的至少一部分的显示从第一放大率的显示放大(616)到大于第一放大率的第二放大率(例如，在图5AY中，实时预览以缩放因子4X放大)。视野表示的该部分的放大显示包括测量点。在一些实施方案中，响应于测量点上的手势(诸如轻击、双击、按压、按压并保持，或捏合手势)，电子设备放大包括测量点的区域，从而将包括测量点的区域从第一放大率放大到第二放大率。在一些实施方案中，放大包括测量点的区域使得用户能够更精确地重新定位测量点，例如，响应于指向放大的测量点的手势。
在一些实施方案中，一个或多个相机(618)位于电子设备上，与触敏显示器的一部分相邻，该部分靠近设备上的所述一个或多个相机所在的一侧(例如，一个或多个相机位于区域5008中，图5A)。在一些实施方案中，一个或多个相机位于电子设备上，与触敏显示器的第一部分相邻。在一些实施方案中，触敏显示器的表面沿xy平面延伸，并且一个或多个相机沿着xy平面与触敏显示器的第一部分相邻。在一些实施方案中，一个或多个相机在垂直于xy平面的z方向上与触敏显示器的第一部分相邻。在一些实施方案中，该用户界面包括显示在触敏显示器的远离设备上的所述一个或多个相机所在的一侧的部分中的第一示能表示(例如，测量添加按钮5014，图5A)，并且当第一示能表示被激活时，向所显示的视野表示添加测量点。在一些实施方案中，第一示能表示显示在触敏显示器的第二部分中，其中触敏显示器的第二部分与触敏显示器的第一部分不同，并且其中触敏显示器的第二部分定位成远离设备上的所述一个或多个相机所在的一侧。在一些实施方案中，该用户界面还包括根据电子设备的第一取向(例如，纵向取向，如图5A所示)显示的一个或多个第二示能表示(例如，按钮5018、5020、5022，图5A)。在一些实施方案中，电子设备检测电子设备向第二取向移动(例如，旋转)(例如，旋转到横向取向，如图5B或图5C所示)。在一些实施方案中，响应于检测到电子设备向第二取向移动，电子设备根据电子设备的第二取向更新一个或多个第二示能表示的显示(例如，图5B或图5C中按钮5018、5020和5022移动到用户界面的不同区域而不考虑一个或多个相机的位置)，并且继续在触敏显示器的远离设备上的所述一个或多个相机所在的一侧的部分中显示第一示能表示(例如，在图5B和5C中，测量添加按钮5014被显示为远离区域5008)。
在一些实施方案中，在第二取向中，电子设备更新第一示能表示的显示，使得第一示能表示被显示在触敏显示器的远离设备上的所述一个或多个相机所在的一侧的部分内的不同位置(例如，在距触敏显示器的边缘或拐角预定距离内的位置，以便于在电子设备的单手操作期间激活第一示能表示)(例如，测量添加按钮5014)。在一些实施方案中，第一示能表示被限制在触敏显示器的远离设备上的所述一个或多个相机所在的一侧的部分内的位置，以便阻止用户以用户的手遮挡视野的方式握住电子设备。在一些实施方案中，当电子设备处于第一取向(例如，第一横向取向)时，在该取向中一个或多个相机位于电子设备的左半部分上，第一示能表示显示在电子设备的右半部分的用户界面中；并且，当电子设备处于第二取向(例如，设备从第一横向取向旋转180度得到的第二横向取向)时，在该取向中一个或多个相机位于电子设备的右半部分，第一示能表示显示在电子设备的左半部分的用户界面中(例如，如本文中参考图5B-5C所示和所述)。
当设备取向改变时，自动保持用于将测量点放置在触敏显示器上的远离所述一个或多个相机的位置处的示能表示减少了用户以遮挡提供实时视图的相机的视野的方式握住电子设备的机会。当设备取向改变时以这种方式自动重新定位示能表示增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误，诸如遮挡视野)。
在一些实施方案中，应用程序的用户界面包括(620)与应用程序的操作相对应的一个或多个示能表示，包括捕获示能表示(例如，诸如虚拟快门按钮的示能表示，当其被激活时，启动对与视野表示相对应的媒体的捕获)(例如，媒体捕获按钮5016，图5A)。在一些实施方案中，电子设备在捕获示能表示上检测到第三触摸输入，并且根据确定第三触摸输入满足第一媒体捕获标准，发起对第一类型(例如，视频或动态照片)的媒体的捕获，该媒体包括所述一个或多个相机中的至少一个的视野的图像序列(并且在一些实施方案中，对应的音频)(例如，如本文中参考图5BJ-5BK所述)。在一些实施方案中，第一媒体捕获标准包括第三触摸输入在触敏显示器上保持至少预定义阈值时间量的第一要求，以及第三触摸输入在触敏显示器上的移动量小于预定义阈值移动量的第二要求。在一些实施方案中，通过在捕获示能表示上的静止长按压手势或按压并保持手势来满足第一媒体捕获标准。
在一些实施方案中，捕获的图像序列包括在图像上显示的(虚拟)测量信息(例如，一个或多个(虚拟)测量点，测量点之间的线，测量点的标签，和/或测量点之间的距离)(例如，如本文中参考图5BJ-5BK所述)。在一些实施方案中，捕获的图像序列不包括在应用程序的用户界面中示出的其他示能表示(除了在图像之上显示的测量信息之外)的显示，诸如捕获示能表示。换句话讲，在一些实施方案中，不同于捕获在应用程序的用户界面中显示的所有内容的屏幕记录，设备只捕获视野的视频，其中(虚拟)测量信息叠加在视野上(例如，如本文参考图5BJ-5BK所述)。
提供虚拟快门按钮或其他捕获示能表示使得容易记录被测对象的视频以及在对象之上显示的虚拟测量信息。记录这样的视频而不记录应用程序的用户界面中的其他元素，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户创建显示对象和测量的记录，而不显示记录期间在用户界面中显示的无关信息)。
在一些实施方案中，根据确定第三触摸输入满足第二媒体捕获标准，电子设备发起(622)对第二类型(例如，静止图像)的媒体的捕获，该媒体包括所述一个或多个相机中的至少一个的视野的单个图像(例如，没有对应的音频)(例如，如本文中参考图5BH-5BI所述)。在一些实施方案中，第二媒体捕获标准包括在预定义阈值时间量过去之前停止在触敏显示器上检测第三触摸输入的第一要求，以及第二触摸输入在触敏显示器上的移动量小于预定义阈值移动量的第二要求。在一些实施方案中，通过在捕获示能表示上的静止轻击手势来满足第二媒体捕获标准。
在一些实施方案中，捕获的静止图像不包括在应用程序的用户界面中示出的其他示能表示(除了在图像之上显示的测量信息之外)的显示，诸如捕获示能表示(例如，如本文参考图5BH-5BI所示和所述)。换句话讲，在一些实施方案中，不同于捕获在应用程序的用户界面中显示的所有内容的静止图像，设备只捕获视野的静止图像，其中(虚拟)测量信息叠加在视野上。
提供发起对静止图像或视频的捕获的捕获示能表示使得容易获得被测对象的静止图像或视频，以及在对象之上显示的虚拟测量信息。获得这样的静止图像或视频，而同样不包括应用程序的用户界面中的其他元素，增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户创建显示对象和测量的静止图像或视频，而不显示记录期间在用户界面中显示的无关信息)。此外，为捕获示能表示提供额外的控制选项(例如，捕获静止图像还是视频，具体取决于捕获示能表示上的触摸输入的特征)，而不会使用户界面与额外显示的控件混乱，增强了设备的可操作性，并且使得用户-设备界面更高效。
在一些实施方案中，在显示应用程序的用户界面之前，电子设备显示(624)控制面板用户界面，其包括多个控件(例如，控制中心用户界面5188，图5BN)，其中这多个控件中第一控件对应于该应用程序(例如，增强现实测量应用程序图标5190，图5BN)。在一些实施方案中，电子设备检测激活第一控件的触摸输入(例如，轻击手势或按压输入)，并且响应于检测到激活第一控件的触摸输入，显示应用程序的用户界面(例如，如本文参考图5BN所述)。通过控制面板提供对测量应用程序的访问，可以更轻松地查找和启动应用程序。减少查找和启动应用程序所需的输入的数量可增强设备的可操作性，并且使得用户-设备界面更高效。
在一些实施方案中，用户界面是(626)应用程序中的多个用户界面中的第一用户界面。在一些实施方案中，第一用户界面对应于该应用程序的测量模式。在一些实施方案中，这多个用户界面中的第二用户界面对应于该应用程序的调平(levelling)模式。在一些实施方案中，增强现实测量应用程序或包括增强现实测量功能的应用程序还包括调平功能。在同一应用程序中提供测量和调平功能使得查找和使用这些相关功能变得更加容易。在同一应用程序中提供多个相关功能增强了设备的可操作性并使用户-设备接口更高效。
在一些实施方案中，电子设备确定(628)电子设备与三维空间中与测量点对应的第一位置之间的距离(例如，从电子设备的一个相机到三维空间中与测量点对应的第一位置的距离)。在一些实施方案中，从一个相机到三维空间中的第一位置的距离是基于由一个或多个相机中的至少一个(例如，由深度传感器，其可选地是一个或多个相机的一部分)捕获的深度信息，和/或基于多个不同相机之间的视差信息来确定(例如，通过比较由多个不同相机捕获的信息来确定)。在一些实施方案中，根据确定所确定的距离小于第一阈值距离，第一放大率与第二放大率之间的放大因子(例如，从第一放大率到第二放大率的放大率增加量)是第一放大因子(例如，对应于最小缩放量，其不会随着电子设备与三维空间中的第一位置之间的距离减小到第一阈值距离以下而改变)。在一些实施方案中，根据确定所确定的距离大于第二阈值距离，放大因子是第二放大因子(例如，对应于最大缩放量，其不会随着电子设备与三维空间中的第一位置之间的距离增大到第二阈值距离以上而改变)。在一些实施方案中，根据确定所确定的距离在第一阈值距离和第二阈值距离之间，放大因子是第一放大因子和第二放大因子之间的相应放大因子，其取决于所确定的距离。例如，如本文参考图5AY-5BE所示和所述，实时预览的缩放量基于设备100和桌子5002之间的距离，缩放量可选地具有上限和/或下限。
更一般地，在一些实施方案中，当电子设备离三维空间中的感兴趣点更远时，缩放量增大(可选地经受最大缩放量)，并且当电子设备更接近三维空间中的感兴趣点时，缩放量减小(可选地经受最小缩放量)。原则上，当电子设备离三维空间中的感兴趣点更远时，需要更大的缩放量，因为感兴趣的特征在更大的距离上更难以辨别(例如，在视野表示中)，而当电子设备更接近三维空间中的感兴趣点时，需要更小的缩放量，因为感兴趣的特征在更小的距离上更容易被感知(例如，在视野表示中)。在一些实施方案中，根据一个或多个相机的硬件规范(例如，缩放限制)施加最大量的缩放。
基于从电子设备到三维空间中对应于测量点的位置的距离来自动改变缩放量使得更容易重新定位测量点，因为对于每个距离测量点都以适当水平的放大率显示。利用取决于自动测量的距离的不同放大因子执行缩放操作，而无需进一步的用户输入，增强了设备的可操作性，并使用户-设备界面更高效(例如，通过在某个放大率水平自动显示测量点，其中可以提供适当的输入来重新定位测量点)。
在一些实施方案中，在显示视野表示的至少一部分的放大显示时，电子设备检测(630)第四触摸输入，该第四触摸输入包括检测测量点的当前位置处的接触和检测接触在触敏显示器上的移动(例如，触摸输入5164，图5AZ)。在一些实施方案中，第二触摸输入和第四触摸输入是由单个连续接触进行的输入的不同部分(例如，第二触摸输入是向下触摸触敏显示器上的触点的输入的第一部分，第四输入是包括该接触的移动的输入的第二部分)。在一些实施方案中，响应于检测到接触在触敏显示器上的移动，电子设备根据第四触摸输入中的接触的移动，在测量视野的表示上移动测量点(例如，如本文中参考测量点5160所述，图5AZ)。在查看测量点周围的放大区域的同时拖动测量点，可以容易地利用单个接触的移动来精确地重新定位测量点。减少执行重新定位操作所需的输入的数量增强了设备的可操作性，并且使得用户-设备界面更高效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误)。
在一些实施方案中，第一触摸输入在这样的示能表示上被检测到(632)：当该示能表示被激活时，将测量点添加到所显示的视野表示中。在一些实施方案中，该示能表示在用户界面中(固定的)预定义位置处显示。在一些实施方案中，视野表示中最初(响应于该示能表示的激活而)添加该测量点的位置不同于该示能表示的预定义位置。例如，在图5AV-5AW中，测量点5160在远离测量添加按钮5014的位置的位置处添加到用户界面5006。提供用于添加测量点的示能表示，其中该示能表示远离所添加的测量点最初显示的位置，使得容易看到将放置测量点的位置。显示用于添加点的示能表示，其中该示能表示远离最初添加这些点的位置，增强了设备的可操作性，并使得用户-设备界面更高效(例如，通过帮助用户提供用于添加测量点的正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
应当理解，对图6A-图6C中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法700、800、900、1000、1100、1200、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文相对于图6A-图6C描述的方法600。例如，上面参考方法600描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法700、800、900、1000、1100、1200、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图7A-7E是根据一些实施方案的将测量添加到增强现实环境中的物理空间的显示表示的方法700的流程图。方法700在包括触敏显示器(例如，触摸屏112(图1A)，或结合输入设备302的显示生成部件304(图3B))、用以检测与触敏显示器的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)、一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))以及可选的一个或多个触觉输出发生器(例如，触觉发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法700中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法700提供了在基于增强现实的测量中更精确地添加虚拟测量点和测量段的直观方式。对于具有触敏显示器、用以检测与触敏显示器的接触的强度的一个或多个传感器，以及一个或多个相机的电子设备，通过触敏显示器上的连续检测到的接触进行的重复按压使得更容易保持电子设备稳定(例如，与触敏显示器上的重复轻击相比)，同时利用来自至少一个相机的实时视图定位测量点的位置。方法700改变了当添加虚拟测量点和测量段时来自用户的输入的性质，从而创建了更有效的人机界面。针对电池驱动的电子设备，使得用户能够更准确且更快速地添加测量点和测量段节省了功率并增加了电池两次充电之间的时间间隔。
电子设备在触敏显示器上显示(702)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的用户界面。
用户界面(704)包括一个或多个相机中的至少一个的视野的表示。基于由一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新视野的表示(例如，视野的表示是实时视图，其随着一个或多个相机移动和/或随着一个或多个相机的视野中的物理世界的变化而变化)。该用户界面包括在视野表示之上显示的测量点创建指示符(例如，与焦点5012结合的标线5010，图5AH，其显示在用户界面5006内的相机的实时预览的顶部)。另外，视野包括三维空间的至少一部分(例如，物理世界中包括物理对象的空间)(例如，物理空间5000)。
电子设备检测(706)触敏显示器上的接触(例如，触摸输入5120，图5AI)。
在连续检测触敏显示器上的接触(708)时，并且在测量点创建指示符显示在视野表示中对应于三维空间中的第一位置的第一位置(710)时，根据确定满足第一标准(例如，测量点创建标准)，其中第一标准包括要求接触的强度满足(例如，达到或超过)相应的强度阈值以便使第一标准得到满足，电子设备在视野表示中添加(712)和显示对应于三维空间中的第一位置的第一(虚拟)测量点(例如，测量点5122，图5AI)。在一些实施方案中，电子设备确定是否满足第一标准。在一些实施方案中，当接触的强度超过强度阈值(例如，轻按压强度阈值ITL，其高于接触检测强度阈值IT0)时，满足第一标准(例如，如强度计5040所示，图5AI)。在一些实施方案中，当接触的强度下降到强度阈值以下(超过强度阈值之后)时，满足第一标准。在一些实施方案中，第一标准包括以下要求：当满足第一标准的其他标准时，接触被定位在示能表示上，当该示能表示被激活时，将测量点添加到所显示的视野表示中的测量点创建指示符(例如，测量添加按钮5014，图5AI)在其之上显示的位置。
在连续检测触敏显示器上的接触(708)时，并且在添加第一(虚拟)测量点之后，电子设备随着电子设备的移动来更新(714)视野的表示(例如，随着一个或多个相机的视野的变化)。在一些实施方案中，响应于电子设备被移动，电子设备在视野表示中的第一(虚拟)测量点(例如，当一个或多个相机的视野包括三维空间中的第一位置时)和用户界面中的测量点创建指示符之间显示动态测量段(例如，动态测量段5128，图5AK)。在一些实施方案中，该动态测量段的显示根据设备的移动(例如，其改变一个或多个相机的视野)而变化。例如，当测量点创建指示符在视野表示内的固定位置居中时，视野表示中的第一测量点与视野表示中对应于测量点创建指示符的位置之间的距离随着设备(以及一个或多个相机的视野)相对于三维空间中的第一位置移动而变化，因此，动态测量段的长度随着设备的移动而变化。
在连续检测触敏显示器上的接触(708)时，在电子设备移动之后，并且在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符(716)的同时，根据确定在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符的同时满足第一标准(718)：电子设备在视野表示中添加(720)和显示对应于三维空间中的第二位置的第二(虚拟)测量点(例如，如本文关于测量点5132的添加所解释的，图5AL)。在一些实施方案中，视野表示中的第二位置与视野表示中的第一位置相同，例如当测量点创建指示符在视野表示内的固定位置居中时。在一些实施方案中，电子设备确定是否满足第一标准。此外，电子设备显示(722)连接第一测量点和第二测量点的第一测量段。
在一些实施方案中，根据确定满足第二标准(例如，测量段创建标准)来显示第一测量段(连接第一测量点和第二测量点)。在一些实施方案中，第二标准包括以下要求：在满足第一标准以用于添加和显示相应测量点的相应实例之后，接触保持在触敏显示器上(例如，在示能表示上，当该示能表示被激活后，将测量点添加到所显示的视野表示的测量点创建指示符在其之上显示的位置处)，直到满足第一标准以用于添加和显示下一个测量点的下一个实例(例如，如本文参考图5AH-5AS所示和所述)。也就是说，第二标准包括在创建满足(基于强度的)第一标准的连续测量点之间保持接触的要求。在一些实施方案中，用于第一标准的强度阈值是高于第一强度阈值(例如，接触检测强度阈值(IT0))的第二强度阈值(例如，轻按压强度阈值ITL)，并且第二标准包括在保持接触的同时接触的强度保持在第一强度阈值或高于第一强度阈值的要求。在一些实施方案中，第二标准包括在保持接触的同时接触的强度降低到或低于第二强度阈值的要求(例如，如果第一标准要求接触的强度超过第二强度阈值)。在一些实施方案中，第二标准包括在保持接触的同时要求接触的强度保持在第二强度阈值或低于第二强度阈值(例如，如果第一标准要求接触的强度低于强度阈值(在超过强度阈值之后))。
更一般地，在一些实施方案中，在根据满足第一标准而添加和显示相应的点之后，只要在触敏显示器上保持接触，就根据针对每个额外测量点满足第一标准来添加和显示一个或多个额外测量点以及它们对应的测量段。也就是说，只要在触敏显示器上保持接触，满足第一标准时的每个后续实例在(新添加的)额外点和最近添加的前一点之间添加附加点和附加测量段。换句话讲，在根据满足第一标准而添加相应的点之后，电子设备以连续测量(点和段)创建模式操作，直到不再在触敏显示器上保持接触。
在一些实施方案中，在连续检测触敏显示器上的接触时，并且在添加第二(虚拟)测量点之后，随着电子设备再次移动，电子设备更新(724)视野的表示(例如，如本文参考图5AN-5AQ所示和所述)。在一些实施方案中，在连续检测触敏显示器上的接触时，在电子设备再次移动之后，并且在视野表示中对应于三维空间中的第三位置的第三位置之上显示测量点创建指示符的同时，根据确定在视野表示中对应于三维空间中的第三位置的第三位置之上显示测量点创建指示符的同时满足第一标准：电子设备在视野表示中添加和显示对应于三维空间中的第三位置的第三(虚拟)测量点(例如，测量点5142，图5AR)，并显示连接第二测量点和第三测量点的第二测量段(例如，完成的测量段5136，图5AR)。在一些实施方案中，视野表示中的第三位置与视野表示中的第一位置相同，例如当测量点创建指示符在视野表示内的固定位置居中时。
在一些实施方案中，根据确定在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符的同时不满足第一标准，电子设备放弃(726)在视野表示中添加和显示对应于三维空间中的第二位置的第二(虚拟)测量点，并且放弃显示连接第一测量点和第二测量点的第一测量段。
在一些实施方案中，在添加第二(虚拟)测量点之后，随着电子设备再次移动，电子设备更新(728)视野的表示。在一些实施方案中，在电子设备再次移动之后，在视野表示中对应于三维空间中的第三位置的第三位置之上显示测量点创建指示符的同时，并且根据确定在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符的同时满足第一标准，电子设备在视野表示中添加并显示对应于三维空间中的第三位置的第三(虚拟)测量点。在一些实施方案中，根据确定满足第二标准(例如，测量段创建标准)，其中第二标准包括在满足第一标准以用于添加第二测量点和满足第一标准以用于添加第三测量点之间保持接触的要求，电子设备显示连接第二测量点和第三测量点的第二测量段。在一些实施方案中，根据确定不满足第二标准，电子设备放弃显示连接第二测量点和第三测量点的第二测量段(例如，如本文参考图5AH-5AS所示和所述)。在一些实施方案中，如果相应的测量点是最近添加的测量点(例如，第二测量点)并且是作为最近添加的测量段(例如，第一测量段)的测量段的端点，则根据确定满足第一标准(例如，测量点创建标准)并且不满足第二标准，电子设备添加并显示额外的测量点(例如，第三测量点)并且放弃在相应测量点(显示额外测量点之前最近添加的测量点)和额外测量点之间显示额外测量段。
在一些实施方案中，在连续检测触敏显示器上的接触时，并且在电子设备移动时，在最近添加的测量点(例如，第二测量点)和视野表示中对应于测量点创建指示符的位置之间显示动态测量段(例如，如本文参考操作714所述的动态测量段)，并且根据确定满足第二标准而继续显示该动态测量段。在一些实施方案中，如果最近添加的测量点是作为在显示动态测量段(例如，第一测量段)之前是最近添加的测量段的另一测量段的端点，则电子设备在满足第一标准以用于添加第二测量点之后(例如，在满足第一标准以用于满足添加第三测量点之前的任何点)，响应于接触的抬离，停止显示动态测量段(例如，如本文参考图5AH-5AS所示和所述)。
根据触敏显示器上是否保持接触，紧接着将具有或不具有对应测量段的测量点添加到前一个测量点，提供用于添加测量点而不添加测量段的附加选项(例如，用户将接触抬离以指示要添加的下一个测量点未连接到先前的测量点和段。)提供附加的控件选项而不因附加的显示控件使UI混乱增强了设备的可操作性并使得用户-设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，电子设备包括一个或多个触觉输出发生器。在一些实施方案中，根据确定接触的强度满足(例如，达到(增加到)或超过)相应的强度阈值，电子设备生成(730)触觉输出(例如，以指示接触的强度足以添加测量点)(例如，如本文参考触觉输出5124所述，图5AI)。在一些实施方案中，根据确定满足第一标准来生成触觉输出(例如，除了接触的强度满足相应强度阈值的要求外，还满足第一标准的其他要求)。在一些实施方案中，电子设备在满足相应的强度阈值时提供触觉输出，以指示接触的强度足以添加测量点和/或指示测量点已添加。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在电子设备包括一个或多个触觉输出发生器的一些实施方案中，相应的强度阈值是(732)高于第一强度阈值(例如，接触检测强度阈值IT0)的第二强度阈值(例如，轻按压强度阈值ITL)。在一些实施方案中，根据确定接触的强度不再满足第二强度阈值(在满足第二强度阈值之后)(例如，接触的强度降低到或低于第二强度阈值)，并且接触的强度满足第一强度阈值(例如，接触的强度保持在第一强度阈值或高于第一强度阈值)，电子设备生成触觉输出(例如，以指示测量点的添加)(例如，如本文参考图5AJ所述)。在一些实施方案中，当强度低于第二强度阈值时，电子设备提供触觉输出，以指示已添加测量点。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，在接触的强度满足相应的强度阈值时执行第一测量点的添加和显示(734)，同时在视野表示中对应于三维空间中的第一位置的第一位置之上显示测量点创建指示符(例如，如本文参考图5AI所示和所述)。在一些实施方案中，在电子设备移动之后接触的强度满足相应的强度阈值时执行第二测量点的添加和显示，同时在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符。
在一些实施方案中，相应的强度阈值是(736)高于第一强度阈值(例如，接触检测强度阈值IT0)的第二强度阈值(例如，轻按压强度阈值ITL)。在一些实施方案中，第一标准包括要求在满足相应的强度阈值之后接触的强度下降到相应的强度阈值以下，以便满足第一标准。在一些实施方案中，在接触的强度降低到相应的强度阈值以下时执行第一测量点的添加和显示，同时在视野表示中对应于三维空间中的第一位置的第一位置之上显示测量点创建指示符。在一些实施方案中，在电子设备移动之后，当接触的强度降低到相应的强度阈值以下时执行第二测量点的添加和显示，同时在视野表示中对应于三维空间中的第二位置的第二位置之上显示测量点创建指示符。
在一些实施方案中，在显示一个或多个相机的视野的表示时，电子设备确定(738)一个或多个相机的视野表示中对应于三维空间中的相应位置的锚定点。在一些实施方案中，随着一个或多个相机移动，当测量点创建指示符(或其至少一部分)在锚定点之上(或附近)时，电子设备改变测量点创建指示符的视觉外观，以指示如果接触满足第一标准，则将在锚定点处添加相应的测量点(例如，如本文中参考图5A中的标线5010和焦点5012所述)。提供在接触满足第一标准的情况下将在锚定点处添加测量点的视觉反馈使得容易在锚定点处添加测量点。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，用户界面包括(740)示能表示，该示能表示在被激活时，在视野表示中测量点创建指示符在其之上显示的位置添加(虚拟)测量点(例如，测量添加按钮5014)。在一些实施方案中，电子设备检测激活该示能表示的触摸输入(例如，轻击手势)，并且响应于检测到激活该示能表示的触摸输入，在视野表示中测量点创建指示符在其之上显示的位置添加和显示测量点(例如，如本文参考图5K所示和所述)。
应当理解，对图7A至图7E中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、800、900、1000、1100、1200、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图7A-7E描述的方法700。例如，上面参考方法700描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、800、900、1000、1100、1200、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图8A-8C是根据一些实施方案的在增强现实环境中的自动确定的锚定点处添加虚拟测量点的方法800的流程图。方法800在包括触敏显示器(例如，触摸屏112(图1A)或结合输入设备302的显示生成部件304(图3B))，以及一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))、可选的用于检测与触敏显示器的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法800中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法800提供了在基于增强现实的测量中在自动确定的锚定点处或者远离这样的锚定点添加虚拟测量点的直观方式。电子设备提供在满足测量点创建标准的情况下将在锚定点处添加测量点的视觉反馈，这使得容易在锚定点处添加测量点。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。针对电池驱动的电子设备，使得用户能够更快速且更有效地在自动确定的锚定点处添加测量点(或远离这样的锚定点添加测量点)节省了功率并增加了电池两次充电之间的时间间隔。
电子设备在触敏显示器上显示(802)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的用户界面。
用户界面(804)包括一个或多个相机中的至少一个的视野的表示。视野的表示基于由这一个或多个相机中的至少一个检测到的当前视觉数据的变化随时间更新(例如，视野的表示是实时视图)。此外，用户界面包括在视野表示之上显示的测量点创建指示符(例如，与焦点5012组合的标线5010，图5K)。视野包括三维空间的至少一部分(例如，物理世界中包括物理对象的空间)。
在显示视野的表示(806)的同时，电子设备确定(808)在视野表示中对应于三维空间中的第一位置的位置处的锚定点。在一些实施方案中，电子设备确定对应于三维空间中的多个位置的多个锚定点，诸如三维空间中的物理对象的拐角、沿着三维空间中的物理对象的边缘的点等。
当随着一个或多个相机移动而显示视野表示(806)时，以及当测量点创建指示符(或其至少一部分)在锚定点之上(或附近)时，电子设备改变(810)测量点创建指示符的视觉外观，以指示如果触摸输入满足第一标准(例如，测量点创建标准)，则将在锚定点处添加(虚拟)测量点(例如，如本文中参考图5AK中的标线5010和焦点5012所述)。
在显示视野的表示(806)的同时，电子设备检测(812)触敏显示器上的满足第一标准的第一触摸输入(例如，在示能表示上的轻击手势或在示能表示上的重按压输入，该重按压输入满足或超过强度阈值)(例如，触摸输入5038，图5K)。
在显示视野的表示(806)的同时，响应于检测到满足第一标准的第一触摸输入(814)，并且根据确定当满足第一标准时测量点创建指示符(或其至少一部分)在锚定点之上(或附近)(816)，电子设备在视野的表示中对应于三维空间中的第一位置的锚定点处添加和显示第一(虚拟)测量点(例如，测量点5042，图5K)。
在显示视野的表示(806)的同时，根据确定当满足第一标准时测量点创建指示符(或其至少一部分)不在锚定点之上(或附近)(818)，电子设备在视野表示中离开锚定点的第一位置(例如，在视野表示中不对应于三维空间中的第一位置的位置处)添加和显示第一(虚拟)测量点。
在一些实施方案中，所确定的锚定点(820)也是(当前)显示的测量表示的端点(例如，如本文关于对应于测量点5054的锚定点所述，图5Q)，并且在触摸输入满足第一标准的情况下在该锚定点处添加测量点将不会在视野表示中形成由多个显示的测量段(例如，及其相关联的端点)包围的区域。例如，将结合在确定的锚定点处添加测量点或响应于在确定的锚定点处添加测量点而添加的测量段将不会形成包括所添加的测量段作为闭合多边形的最后一条边的闭合多边形。提供在满足测量点创建标准的情况下将在锚定点处添加测量点的视觉反馈，使得容易在锚定点处添加测量点，包括在不仅使测量点循环闭合的锚定点处。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，电子设备在视野的表示之上显示(822)第一测量的表示。第一测量的表示包括对应于三维空间中的第二位置的第一端点，对应于三维空间中的第三位置的第二端点，以及连接第一端点和第二端点的第一线段。此外，所确定的锚定点是第一线段的中点(例如，锚定点所对应的第一位置在三维空间中的第二位置和第三位置之间的一半处)(例如，如本文参考图5AA所示和所述)。提供在满足测量点创建标准的情况下将在测量段中点处的锚定点处添加测量点的视觉反馈，使得容易在测量段中点处添加测量点。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，电子设备包括一个或多个触觉输出发生器。在一些实施方案中，随着一个或多个相机中的至少一个移动，并且当测量点创建指示符(或其至少一部分)在锚定点之上(或附近)时，电子设备生成(824)触觉输出，结合改变测量点创建指示符的视觉外观(例如，如本文关于图5H所述)。在一些实施方案中，在触摸输入满足第一标准的情况下在锚定点处添加测量点将不会在一个或多个相机的视野表示中形成由多个显示的测量段(例如，及其相关联的端点)包围的区域。例如，将结合添加测量点或响应于添加测量点而添加的测量段将不会形成包括所添加的测量段作为闭合多边形的最后一条边的闭合多边形。在一些实施方案中，当对齐到三维空间中的识别的物理特征时，生成触觉输出。在一些实施方案中，当对齐到当前显示的测量表示，对齐到其相应测量点(例如，端点)和/或对齐到其测量段的中点时，生成触觉输出。提供在满足测量点创建标准的情况下将在锚定点处添加测量点的触觉反馈和视觉反馈两者，使得容易在锚定点处添加测量点，包括在不仅使测量点循环闭合的锚定点处。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在电子设备包括一个或多个触觉输出发生器的一些实施方案中，电子设备检测(826)测量点创建指示符远离锚定点的移动(例如，使得测量点创建指示符不在锚定点之上(或不在其附近))(例如，由于一个或多个相机的改变视野的移动，同时测量点创建指示符保持在用户界面内的固定位置)。在一些实施方案中，响应于检测到测量点创建指示符远离锚定点的移动，电子设备生成触觉输出(例如，如本文关于图5I所述)。提供在满足测量点创建标准的情况下将不会在锚定点处添加测量点的触觉反馈，有助于在放置测量点时引导用户。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在电子设备包括一个或多个触觉输出发生器的一些实施方案中，响应于检测到满足第一标准的第一触摸输入，电子设备添加(828)第一测量点而不添加连接到第一测量点的测量段(例如，第一测量点是新测量的第一端点)并且生成第一触觉输出(例如，测量开始触觉输出)(例如，如本文关于测量点5042所述，图5K)。在一些实施方案中，电子设备检测测量点创建指示符到视野表示中的第二位置的移动，该第二位置对应于三维空间中的第二位置(例如，如本文中关于三维空间所述，图5M)。在一些实施方案中，当测量点创建指示符在视野表示中的第二位置之上时，电子设备检测到触敏显示器上的第二触摸输入，其满足第一标准。在一些实施方案中，响应于检测到满足第一标准的第二触摸输入，电子设备在视野表示中的第二位置处添加第二测量点(例如，如本文关于测量点5054所述，图5N)。在一些实施方案中，响应于检测到满足第一标准的第二触摸输入，电子设备在第一测量点和第二测量点之间添加测量段(例如，电子设备通过添加第二测量点和测量段来添加测量的表示，其中测量的表示包括第一测量点、第二测量点和测量段)(例如，如本文关于测量段5048所述，图5N)。在一些实施方案中，响应于检测到满足第一标准的第二触摸输入，电子设备生成与第一触觉输出不同(例如，第二触觉输出与第一触觉输出在至少一个触觉输出特性诸如频率、幅度、模式、持续时间等上不同)的第二触觉输出(例如，测量结束触觉输出)(例如，如本文关于触觉输出5056所述，图5N)。在测量开始时(仅使用第一个测量点)与创建测量段时提供不同的触觉反馈有助于在放置测量点时通过指示他们在测量过程中所处的位置来引导用户。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，当一个或多个相机中的至少一个移动时，在视场的表示包括与一个或多个相机中的至少一个的视场中的三维空间中的识别的物理特征相对应的区域时，电子设备显示(830)测量点创建指示符，另外，在视场的表示不包括与三维空间中的识别的物理特征相对应的区域时，电子设备停止显示测量点创建指示符(例如，如本文中参考图5E至图5G所述)。根据实时视图是否包括与三维空间中的所识别的物理特征相对应的区域，显示或不显示测量点创建指示符，提供关于自动识别的特征的存在或不存在的视觉反馈。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
应当理解，对图8A-图8C中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、900、1000、1100、1200、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图8A至图8C描述的方法800。例如，上面参考方法800描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、900、1000、1100、1200、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图9A至图9B是示出根据一些实施方案的在增强现实环境中显示用于测量物理空间的标签的方法900的流程图。方法900在包括显示器(例如，触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))、输入设备(例如，触摸屏112(图1A)、触摸板355(图3A)、输入设备302(图3B)，或与显示器分开的物理按钮)，以及一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))，可选的用于检测与输入设备的触敏表面的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法900中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法900基于电子设备与给定测量之间的距离，提供直观的方式来为不同的测量提供标签。在短距离处提供最大尺寸的标签使得这些标签不会变得太大而遮挡视野表示的大部分。在长距离处提供最小尺寸的标签可使这些标签清晰可辨。并且在中间距离处提供可变尺寸标签指示对应测量在视场表示中的相对距离。以这种方式在不同距离处提供用于不同测量的标签增强了设备的可操作性并且使得用户设备界面更高效(例如，通过帮助用户在操作/与设备交互时查看和使用测量标签)。
电子设备在显示器上显示(902)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的用户界面。
用户界面(904)包括一个或多个相机中的至少一个的视野的表示。视野的表示基于由这一个或多个相机中的至少一个检测到的当前视觉数据的变化随时间更新(例如，视野的表示是实时视图)。视野包括三维空间(例如，物理世界中的空间)中的物理对象。
在显示视野表示时，电子设备经由输入设备检测(906)一个或多个用户输入(例如，轻击手势或示能表示上的按压输入，当所述示能表示被激活时，将测量点添加到所显示的视野表示中)，所述一个或多个用户输入在视野表示之上添加对应于物理对象的第一测量的表示(例如，对应于物理对象的长度、宽度或其他尺寸的测量的显示的线，其中所显示的线被叠加或重叠在视野的表示上)。在一些实施方案中，电子设备在视野表示之上同时显示(908)第一测量的表示和描述第一测量的第一标签。在一些实施方案中，根据确定电子设备和物理对象之间的第一距离(例如，从电子设备的一个相机到物理对象的距离)小于第一阈值距离(例如，下限距离阈值)，第一标签(910)以第一阈值大小显示(例如，上限大小阈值或最大大小，不随着电子设备和物理对象之间的距离减小到第一阈值距离以下而改变)。在一些实施方案中，根据确定电子设备和物理对象之间的第一距离大于第二阈值距离(例如，上限距离阈值)，该第二阈值距离大于第一阈值距离，第一标签以小于第一阈值大小的第二阈值大小显示(例如，下限大小阈值或最小大小，不随着电子设备和物理对象之间的距离增加超过第二阈值距离而改变)。在一些实施方案中，根据确定电子设备和物理对象之间的第一距离在第一阈值距离和第二阈值距离之间，以第一阈值大小和第二阈值大小之间的大小显示第一标签，所述大小取决于电子设备和物理对象之间的第一距离。基于电子设备和物理对象之间的距离的标签大小的变化在本文中参考图5A至图5B示出并描述。
在一些实施方案中，在视野表示之上显示测量的表示和描述测量的标签时：在电子设备(或电子设备的一个相机)距离物理对象第一距离时，电子设备沿着测量表示以第一刻度显示(912)一个或多个第一刻度标记(例如，沿着测量表示以第一预定义距离的间隔显示一个或多个第一刻度标记，对应于三维空间中第一预定义物理距离的间隔)。在一些实施方案中，电子设备检测电子设备的移动(或其一个或多个相机的移动)，所述移动将电子设备移动至距物理对象第二距离。在一些实施方案中，当电子设备距离物理对象第二距离时，电子设备沿着测量表示的至少一部分以与第一刻度不同的第二刻度显示一个或多个第二刻度标记(例如，电子设备沿着测量表示以第二预定义距离的间隔显示一个或多个第二刻度标记，对应于三维空间中的第二预定义物理距离的间隔)。基于电子设备和物理对象之间的距离的显示标记的刻度的变化在本文中参考图5A至图5B示出并描述。
在一些实施方案中，在电子设备在距物理对象的第一预定义距离范围内时，沿着测量的表示显示第一刻度的一个或多个第一刻度标记(例如，距离大于第二阈值距离，或第一阈值距离与第二阈值距离之间的距离)，其中第一预定义距离范围包括第一距离。在一些实施方案中，在电子设备处于距物理对象的第二预定义距离范围(例如，第一阈值距离和第二阈值距离之间的距离，或小于第一阈值距离的距离)内时，沿着测量表示的至少一部分显示第二刻度的一个或多个第二刻度标记(例如，如果由于电子设备移动靠近物理对象而仅在用户界面中继续显示测量表示的一部分)，其中第二预定义距离范围包括第二距离。
在一个示例中，检测到的电子设备的移动使电子设备移动得更靠近物理对象，使得第一距离大于第二距离。虽然电子设备距物理对象第一距离，但是沿着对应于三维空间中的一英尺的间隔的测量表示以一定间隔显示一个或多个刻度标记。在同一示例中，虽然电子设备距物理对象第二距离，但是沿着对应于三维空间中的一英寸的间隔的测量表示以一定间隔显示一个或多个刻度标记。本领域的普通技术人员将认识到，当设备与物理对象相距相应的距离时，可通过显示的刻度标记来表示不同的预定义物理距离，诸如米、分米、厘米、毫米、码、英尺、英寸、四分之一英寸或任何其他合适的距离。
提供随着从测量到设备的距离改变而自动改变刻度的刻度标记比要求用户手动改变刻度更高效。在一组条件(例如，距离条件)得到满足时即执行操作而不需要进一步的用户输入，这增强了设备的可操作性，并且使得用户设备界面更加有效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误)。
在一些实施方案中，电子设备检测(914)第二组一个或多个用户输入，其在视野表示之上添加对应于三维空间中的相应物理对象(例如，第一测量对应的相同物理对象，或三维空间中的不同物理对象)的第二测量的表示。在一些实施方案中，电子设备在视野表示之上同时显示第二测量的表示和描述第二测量的第二标签。在一些实施方案中，根据确定电子设备和相应物理对象之间的第二距离小于第一阈值距离，第二标签以第一阈值大小显示。在一些实施方案中，根据确定电子设备和相应物理对象之间的第二距离大于第二阈值距离，第二标签以第二阈值大小显示。在一些实施方案中，根据确定电子设备和相应物理对象之间的第二距离在第一阈值距离和第二阈值距离之间，以第一阈值大小和第二阈值大小之间的大小显示第二标签，所述大小取决于电子设备和相应物理对象之间的第二距离。在一些实施方案中，视野的表示同时显示随着视野改变而改变大小的多个标签。
在一些实施方案中，电子设备与第一测量所对应的物理对象之间的第一距离(916)不同于电子设备与第二测量所对应的相应物理对象之间的第二距离。在一些实施方案中，第一标签以第一尺寸(例如，基于第一距离)显示，第二标签以第二尺寸(例如，基于第二距离)显示，并且第一尺寸不同于第二尺寸。在示例中，第一距离在第一预定义距离范围内，并且第二距离在第二预定义距离范围内(例如，第一预定义范围为以下各项之一：小于第一阈值距离的距离，大于第二阈值距离的距离，或第一阈值距离与第二阈值距离之间的距离，并且第二预定义范围是上述范围中的不同范围)。在另一示例中，第一距离和第二距离是第一阈值距离和第二阈值距离之间的距离范围中的不同距离，因此，它们的相关标签(例如，对应于第一距离和第二距离处的测量的标签)的相应尺寸是不同的。
应当理解，对图9A至图9B中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、1000、1100、1200、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图9A至图9B描述的方法900。例如，上面参考方法900描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、800、1000、1100、1200、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图10A至图10B是示出根据一些实施方案的在增强现实环境中测量物理空间中的矩形区域并与之交互的方法1000的流程图。方法1000在包括显示器(例如，触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))、输入设备(例如，触摸屏112(图1A)、触摸板355(图3A)、输入设备302(图3B)，或与显示器分开的物理按钮)，以及一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))，可选的用于检测与输入设备的触敏表面的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法1000中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1000提供了一种直观的方式来检测和指示与测量毗邻的矩形。通过使检测到的矩形毗邻响应于用户输入而进行的测量，方法1000降低了设备将检测并指示与用户无关(例如，没有被测量)的矩形的风险，从而创建更高效的人机界面。对于电池供电的电子设备，能够更快、更高效地检测和显示相关矩形可以节省电力并增加电池两次充电之间的时间。
电子设备在显示器上显示(1002)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的用户界面。
用户界面(1004)包括一个或多个相机中的至少一个的视野的表示。视野的表示基于由这一个或多个相机中的至少一个检测到的当前视觉数据的变化随时间更新(例如，视野的表示是实时视图)。视野包括三维空间(例如，物理世界中的空间)中的物理对象(或其部分)。
在显示视野表示时，电子设备经由输入设备检测(1006)一个或多个用户输入(例如，轻击手势或示能表示上的按压输入，当所述示能表示被激活时，将测量点添加到所显示的视野表示中)，所述一个或多个用户输入在视野表示之上添加对应于物理对象的第一测量的表示(例如，检测到的用户输入使得电子设备添加对应于物理对象的边缘的测量的显示的线，其中所显示的线被叠加或重叠在视野表示上)。
第一测量的表示包括(1008)对应于物理对象上的第一位置的第一端点。第一测量的表示包括对应于物理对象上的第二位置的第二端点。第一测量的表示包括连接第一端点和第二端点的第一线段。在本文中参考图5J至图5O示出并描述了包括两个端点和连接两个端点的第一线段的测量表示的添加。
电子设备部分地基于第一测量(或其表示)确定(1010)视野表示中与第一测量的第一线段毗邻的第一区域。第一区域对应于三维空间中的物理矩形区域(例如，整个物理矩形区域或其一部分)。例如，第一区域对应于物理对象的物理矩形区域或其一部分，并且第一测量对应于物理对象的物理矩形区域的一个边缘。在一些实施方案中，由于一个或多个相机中的至少一个相对于物理矩形区域的视角，视野表示中的第一区域在视野表示中不显示为矩形。在一些实施方案中，电子设备基于视野表示的图像处理(例如，使用深度估计)确定对应于视野表示中的第一区域的物理区域是矩形区域。在一些实施方案中，一个或多个相机中的至少一个的视野包括物理矩形区域的第一部分，而不包括物理矩形区域的一个或多个附加部分。在一些实施方案中，查看物理矩形区域的一个或多个附加部分需要设备的移动，该设备移动一个或多个相机中的至少一个的视野以包括物理矩形区域的一个或多个附加部分。
电子设备显示(1012)用户界面中的第一区域的指示(例如，指示符5058，图5P)。该指示被重叠(例如，叠加)在视野表示中的第一区域上。
在一些实施方案中，用户界面包括(1014)在视野表示之上显示的测量点创建指示符(例如，与焦点5012组合的标线5010，图5Y)。在一些实施方案中，根据确定在一个或多个相机的视野表示中在第一区域之上显示测量点创建指示符来显示第一区域的指示(例如，如本文中参考图5Y所示和所述)。在一些实施方案中，当测量点创建指示符(或其至少一部分)在第一区域之上时，电子设备检测经由输入设备进行的用户输入(例如，在对应于示能表示的位置处的触敏表面上的轻击手势或按压输入，当所述示能表示被激活时，将测量或测量点添加到所显示的视野表示)。在一些实施方案中，响应于当测量点创建指示符在第一区域之上时检测到该用户输入，电子设备改变第一区域的指示的视觉外观，以指示第一区域已被确认(例如，如本文中参考图5Z所示和所述)。
在一些实施方案中，当测量点创建指示符在第一区域之上并且在显示第一区域的指示时检测到用户输入，并且，当测量点创建指示符在第一区域之上时，并且在显示第一区域的指示时，响应于(例如，根据)检测到用户输入，改变第一区域的指示的视觉外观。在一些实施方案中，该方法包括在视野表示之上显示描述第一区域的一个或多个标签(例如，与以变化的视觉外观显示的指示同时显示)。在一些实施方案中，描述第一区域的一个或多个标签包括指示第一区域的第一侧的长度的标签(例如，物理矩形区域的长度)，指示第一区域的第二侧的长度的标签(例如，物理矩形区域的宽度)，以及/或者指示第一区域的面积的标签(例如，物理矩形区域的面积)(例如，如本文中参考图5Z所示和所述)。
改变第一区域的指示的外观提供了电子设备已经检测到用户确认与第一测量毗邻的矩形是正确的视觉反馈。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，一个或多个用户输入在视野表示之上添加(1016)对应于物理对象的第二测量的表示(例如，所检测的用户输入使电子设备添加对应于物理对象的第二边缘的测量的第二显示线，其中第二显示线被叠加或重叠在视野表示上)(例如，由测量段5066及其对应的端点表示的测量，图5Y)。在一些实施方案中，第二测量的表示包括对应于物理对象上的第二位置的第二端点(例如，测量点5054，图5Y)。在一些实施方案中，第二测量的表示包括对应于物理对象上的第三位置的第三端点(例如，第三位置与第一位置和第二位置不同)(例如，测量点5090，图5Y)。在一些实施方案中，第二测量的表示包括连接第二端点和第三端点的第二线段(例如，测量段5066，图5Y)。在一些实施方案中，基于第一测量和第二测量确定一个或多个相机的视野表示中的第一区域。在一些实施方案中，第一区域毗邻第一测量的第一线段和第二测量的第二线段。基于两次测量确定第一区域降低了设备将检测并指示与用户无关(例如，未被测量)的矩形的风险，从而增强了设备的可操作性并使用户设备界面更高效(例如，通过帮助用户在操作设备/与设备交互时提供适当的输入并减少用户错误)。
在一些实施方案中，这一个或多个相机中的至少一个的视野包括(1018)该物理矩形区域的第一部分，并且第一区域对应于该物理矩形区域的第一部分(例如，如参考指示符5104所指示的区域所描述的，图5AB)。在一些实施方案中，电子设备检测电子设备的移动一个或多个相机中的至少一个的视野的移动(例如，如本文中参考图5AC至图5AD所示和所述)。在一些实施方案中，响应于检测到电子设备的使视野移动的移动，电子设备随时间更新视野的表示以显示与物理矩形区域的一个或多个额外部分相对应的一个或多个额外区域的一个或多个指示。在一些实施方案中，根据确定包括第一区域和随时间显示的一个或多个额外区域的聚合区域对应于整个物理矩形区域，电子设备在视野表示之上显示标签，该标签描述对应于该物理矩形区域的测量(例如，如本文中参考标签5110所述，图5AE)。在一些实施方案中，标签指示测量的面积(例如，整个物理矩形区域的面积)。随着视野改变，自动显示对应于物理矩形区域的附加区域的指示提供电子设备已正确检测到物理矩形区域的视觉反馈。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，在视野表示之上显示描述对应于该物理矩形区域的测量的标签之后，根据确定该聚合区域对应于整个物理矩形区域，电子设备检测(1020)电子设备的进一步移动，该进一步移动使这一个或多个相机中的至少一个的视野移动从而使得视野表示包括与物理矩形区域的第一部分相对应的第一区域。在一些实施方案中，根据确定该聚合区域对应于整个物理矩形区域，电子设备在对应于物理矩形区域的第一部分的第一区域之上显示描述对应于该物理矩形区域的测量的标签(例如，如本文中参考图5AF所述)。当(重新)显示这些部分时显示描述在物理矩形区域的不同部分处的物理矩形区域的测量的标签，提供了电子设备已正确检测物理矩形区域并且测量已正确地与物理矩形区域的所有部分相关联的视觉反馈。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
应当理解，对图10A至图10B中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1100、1200、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图10A至图10B描述的方法1000。例如，上面参考方法1000描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1100、1200、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图11A至图11B是示出根据一些实施方案的在增强现实环境中与测量信息交互并管理测量信息的方法1100的流程图。方法1100在包括触敏显示器(例如，触摸屏112(图1A)或结合输入设备302的显示生成部件304(图3B))，以及一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))、可选的用于检测与触敏显示器的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法1100中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1100通过响应于检测到关于测量表示的触摸输入而启动用于共享信息的过程，提供了共享关于测量的信息的直观方式。方法1100在共享关于测量的信息时减少来自用户的输入的数量、程度和/或性质，从而创建更高效的人机界面。针对电池驱动的电子设备，使得用户能够更快速且更高效地共享有关测量的信息节省了功率并增加了电池两次充电之间的数据间隔。
电子设备在触敏显示器上显示(1102)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的第一用户界面。
第一用户界面包括(1104)一个或多个相机中的至少一个的视野的表示。视野的表示基于由这一个或多个相机中的至少一个检测到的当前视觉数据的变化随时间更新(例如，视野的表示是实时视图)。视野包括三维空间(例如，物理世界中的空间)中的物理对象。物理对象的测量的表示叠加在视野表示中该物理对象的图像上。
在显示第一用户界面时，电子设备在测量表示上检测(1106)触敏显示器上的第一触摸输入(例如，所显示测量上的轻击、双击或按压输入)(例如，触摸输入5182，图5BL)。
响应于在测量表示上检测到触敏显示器上的第一触摸输入，电子设备启动(1108)用于共享关于测量的信息的过程(例如，将关于测量的信息发送至剪贴板处理或通信应用程序(例如，文本消息收发应用程序、电子邮件应用程序、文件传输应用程序)等)(例如，如本文中参考图5BL至图5BM所述)。在一些实施方案中，该方法包括将测量信息添加到剪贴板。在一些实施方案中，所述方法包括将信息发送至第二应用程序。在一些实施方案中，启动该过程包括显示第二用户界面，该第二用户界面包括用于共享关于测量的信息的用户可选选项，诸如共享表用户界面。在一些实施方案中，第二用户界面包括描述测量的信息。在一些实施方案中，该信息包括自动生成的语义标签，该语义标签对叠加有测量的物理对象(例如，窗口、墙壁、地板或桌子)进行分类。在一些实施方案中，该信息包括自动生成的语义标签，该语义标签对第一测量和物理对象之间的关系(例如，物理对象的长度、宽度、高度或深度)进行分类。
在一些实施方案中，启动共享关于测量的信息的过程包括(1110)复制关于测量的信息(例如，由电子设备的操作系统提供的剪贴板处理)。在一些实施方案中，在复制关于该测量的信息之后，电子设备检测用以将关于该测量的信息粘贴到电子设备上的目的地的一个或多个用户输入。在一些实施方案中，响应于检测到用以将关于该测量的信息粘贴到电子设备上的目的地的一个或多个用户输入，电子设备在电子设备上的目的地显示关于该测量的信息。通过启用复制和粘贴有关测量的信息，可以轻松地在同一应用程序内以及与电子设备上的其他应用程序共享测量。使信息可用于多个应用程序增强了设备的可操作性并使得用户设备界面更高效(例如，通过使得选择用于共享或发送测量的应用程序变得容易)。
在一些实施方案中，启动用于共享关于该测量的信息的过程包括(1112)显示包括一个或多个可激活用户界面元素的第二用户界面(例如，测量管理界面5184，图5BM)，其中这一个或多个可激活用户界面元素中的相应可激活用户界面元素对应于关于该测量的信息的相应目的地(例如，图标5192、5194和5196，图5BM)。在一些实施方案中，一个或多个可激活用户界面元素中的每一者对应于电子设备上的相应应用程序(除了第一应用程序之外)或进程(例如，即时消息应用程序(例如，图标5194，图5BM)、电子邮件应用程序(例如，图标5192，图5BM)、笔记应用程序、文件传输协议(例如，图标5196，图5BM)等)。在一些实施方案中，电子设备检测触敏显示器上在第二用户界面中的相应可激活用户界面元素上的第二触摸输入。在一些实施方案中，响应于检测到第二触摸输入，电子设备将关于该测量的信息发送到对应于相应可激活用户界面元素的相应目的地。
在一些实施方案中，将关于测量的信息发送到相应目的地包括将信息发送到电子设备上的第二应用程序(例如，笔记应用程序)。在一些实施方案中，将关于测量的信息发送到相应的目的地包括显示第三用户界面，用于在将信息发送到后续目的地之前查看、编辑和/或标注关于测量的信息(例如，第三用户界面包括示能表示，当选择该示能表示时，包括任何编辑和标注的信息从相应的目的地(例如，即时消息应用程序或电子邮件应用程序)发送到后续目的地(例如，另一电子设备))。在一些实施方案中，将关于测量的信息发送到相应的目的地包括经由电子设备和第二电子设备之间的文件传输协议将信息发送到第二电子设备。
为多个目的地提供具有可激活用户界面元素的用户界面(例如，带有目的地图标的共享表)用于共享测量使得与这些目的地共享测量变得容易。提供多个共享目的地选项增强了设备的可操作性并使得用户设备界面更高效(例如，通过使得选择用于共享或发送测量的应用程序变得容易)。
在一些实施方案中，响应于检测到触敏显示器上在测量的表示上的第一触摸输入，电子设备显示(1114)关于该测量的信息。在一些实施方案中，关于测量的信息包括测量的大小(例如，如测量管理界面5184中所示，图5BM)。在一些实施方案中，关于测量的信息包括对测量和物理对象之间的关系进行分类的语义标签(例如，物理对象的长度、宽度、高度或深度)(例如，如本文中参考测量管理界面5184中的标签5186-b所描述的，图5BM)。在一些实施方案中，关于测量的信息包括对测量与三维空间的识别的锚特征之间的关系进行分类的标签(例如，文本标签)(例如，视野表示中的区域是否对应于与地面平行的物理矩形区域)。在一些实施方案中，在测量对应于物理矩形区域并且包括长度测量、宽度测量和面积测量的情况下，显示长度、宽度和面积，并且长度和宽度比该区域更突出地显示。除了启动用于共享信息的过程之外，响应于检测到在测量表示上的触摸输入提供关于测量的信息，提供用户已选择正确的共享测量的视觉反馈，并允许用户查看和使用该信息。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，根据确定第一触摸输入满足第一标准来执行(1116)关于该测量的信息的显示，其中第一标准包括要求第一触摸输入中的接触的强度满足(例如，达到或超过)相应的强度阈值以便满足第一标准(例如，如本文中参考图5BL至图5BM所述)。在一些实施方案中，相应的强度阈值是高于接触检测强度阈值IT0的轻按压强度阈值ITL。响应于检测到满足强度标准的测量表示上的触摸输入而提供关于测量的信息减少了信息的意外的、不期望的显示。在满足强度标准时执行操作增强了设备的可操作性并使用户设备界面更高效(例如，通过帮助用户在操作设备/与设备交互时提供适当的输入并减少用户错误)。
在一些实施方案中，电子设备确定(1118)物理对象的分类(例如，将物理对象分类为相应的结构特征(诸如窗、墙壁、地板等)或作为相应的家具或夹具(诸如桌子))。在一些实施方案中，关于测量的信息包括指示物理对象的分类的标签(例如，如本文中参考测量管理界面5184中的标签5186-a所述，图5BM)。在一些实施方案中，电子设备基于一个或多个相机的视野表示的图像处理(例如，使用特征识别)对物理对象进行分类。自动对物理对象进行分类和标记，无需进一步的用户输入，通过减少(或消除)用户手动分类和标记物理对象的需要，增强了设备的可操作性并使用户设备界面更高效。
在一些实施方案中，至少部分地基于电子设备在测量期间在第一方向上的移动，测量的表示被添加到了(1120)应用程序的用户界面。在一些实施方案中，电子设备至少部分地基于在测量期间电子设备在第一方向上的移动来确定测量和物理对象之间的关系的分类(例如，测量的分类对应于物理对象的长度、宽度、高度或深度)(例如，如本文参考图5BM所述)。
在一些实施方案中，关于测量的信息包括指示测量和物理对象之间的关系的分类的标签。例如，电子设备基于在测量期间电子设备处于垂直方向的移动将测量分类为物理对象的高度，或基于在测量期间电子设备在水平方向上的移动将测量分类为物理对象的宽度。在一些实施方案中，电子设备进一步基于视野表示的图像处理对测量和物理对象之间的关系进行分类，以确定电子设备与物理对象上的相应点之间的相应距离，所述相应点对应于沿着测量的相应点。例如，电子设备进一步基于确定对应于测量的第一端点的物理对象上的第一点比电子设备上的对应于测量的第二端点的第二点更远离(或更接近)(例如，在z方向上)电子设备，将测量分类为物理对象的深度。
部分地基于设备在测量期间的移动而无需进一步的用户输入，自动对测量进行分类和标记，增强了设备的可操作性，并且通过减少(或消除)用户手动分类和标记测量的需要，使用户设备界面更高效。
应当理解，对图11A-图11B中的操作进行描述的具体次序仅仅是示例，并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1200、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图11A至图11B描述的方法1100。例如，上面参考方法1100描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1200、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图12A至图12C是示出根据一些实施方案的在增强现实环境中提供自动确定的对准引导的方法1200的流程图。方法1200在包括显示器(例如，触摸屏112(图1A)、显示器340(图3A)或显示生成部件304(图3B))、输入设备(例如，触摸屏112(图1A)、触摸板355(图3A)或输入设备302(图3B)，或与显示器分开的物理按钮)，以及一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))，可选的用于检测与输入设备的触敏表面的接触的强度的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)，或计算机系统301(图3B))处执行。方法1200中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1200提供了在基于增强现实的测量中提供(虚拟)引导的直观方式，其中引导沿着相机视野的移动方向延伸。提供测量指南有助于用户快速准确地定位和放置(虚拟)测量点。通过沿着相机视野的移动方向自动提供引导，方法1200在进行测量时减少来自用户的输入的数量、程度和/或性质，从而创建更高效的人机界面。针对电池驱动的电子设备，使得用户能够更快地进行测量且更有效地节省功率并增加了两次电池充电之间的间隔。
电子设备在显示器上显示(1202)应用程序(例如，增强现实测量应用程序或包括增强现实测量功能的应用程序)的用户界面。用户界面(1204)包括一个或多个相机中的至少一个的视野的表示；视野的表示基于由这一个或多个相机中的至少一个检测到的当前视觉数据的变化随时间更新(例如，视野的表示是实时视图)；并且视野包括三维空间的至少一部分(例如，物理世界中包括物理对象的空间)。
电子设备检测(1206)电子设备的移动，该电子设备沿第一方向(例如，水平或竖直)移动一个或多个相机中的至少一个的视野(或者，在一些实施方案中，基本上在第一方向上(例如，在第一方向的预定阈值角度内的方向，诸如在第一方向的10、15、20或25度内))。
在检测电子设备的使视野在第一方向上移动的移动(1208)时，电子设备根据电子设备的移动，更新(1210)视野的表示；识别(1212)视野表示中沿第一方向延伸的一个或多个第一元素(或特征结构)(例如，所检测的边缘、所检测的平面等)；并且，至少部分地基于一个或多个第一元素的确定，在视野表示中显示(1214)在第一方向上延伸并且对应于所识别的一个或多个元素中的一个的第一引导(例如，如本文中参考虚拟引导5050所描述的，图5M)。在一些实施方案中，电子设备在第一方向上显示多个引导(例如，如本文中参考虚拟引导5106所述，图5AB)。在一些实施方案中，多个引导中的每一个对应于沿第一方向延伸的相应识别元件(例如，沿第一方向延伸的三维空间中的相应物理对象的相应边缘)。在一些实施方案中，电子设备在检测电子设备的移动的同时在第一方向上显示一个或多个引导。
在一些实施方案中，视野包括(1216)多个元件，并且所述多个元件包括在除第一方向之外的方向上延伸的一个或多个元件(例如，垂直于(例如，在成垂直的预定义阈值角度内)或基本上垂直于第一方向的方向，或者距第一方向大于预定义阈值角度的方向，诸如距第一方向大于10度、15度、20度或25度)。在一些实施方案中，在检测电子设备的使视野在第一方向上移动的移动时，电子设备放弃显示在除第一方向以外的方向上延伸的引导(例如，如本文中参考图5AN至图5AO和图5AV所述)。例如，电子设备基于相机的移动方向确定物理对象(例如，桌子或墙壁)的轴线，沿着该轴线延伸引导。在一些实施方案中，电子设备显示一个或多个引导，所述一个或多个引导对应于视野中的一个或多个元件，所述一个或多个引导在至少一个相机的移动方向上延伸，不显示在除了至少一个相机的运动方向之外的方向上延伸的引导。沿着视野的移动方向提供一个或多个引导，而不提供在其他方向上延伸的引导，避免显示不太可能与正在进行的测量相关的引导。减少用户界面中的混乱增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，在检测到电子设备的沿第一方向移动视野的移动之前(1218)，电子设备检测触敏显示器上的第一触摸输入，并且响应于检测到第一触摸输入，在对应于三维空间中的第一位置的视野表示中的第一位置处添加并显示第一(虚拟)测量点(例如，测量点5054，图5R)。显示第一引导还基于确定一个或多个第一元素对应于三维空间中的第一位置(例如，第一位置是沿着所检测边缘的点)。另外，第一引导包括视野表示中的第一位置(例如，该引导与测量点重叠，或者沿第一方向从测量点延伸)(例如，如本文中参考虚拟引导5070所述，图5S)。提供沿着视野的移动方向从第一测量点延伸和/或包括第一测量点的引导有助于用户放置第二测量点，从而进行测量。提供该视觉反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的测量输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，在视野表示中的第一位置处的第一测量点是(1220)视野表示中最新近添加的测量点。提供沿着视野的移动方向从最新近添加的测量点延伸以及/或者包括最新近添加的测量点的引导，帮助用户放置下一个测量点，从而在两个最新近添加的测量点之间进行测量。提供该视觉反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的测量输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，在检测到电子设备的在第一方向上移动视野的移动之后(例如，水平地，如本文中参考图5S所述)，电子设备(1222)检测在第二方向上移动视野的电子设备的移动(例如，竖直地，如本文中参考图5T所述)。响应于检测到电子设备的在第二方向上移动视野的移动，电子设备停止显示沿第一方向延伸的第一引导。在一些实施方案中，电子设备停止在除第二方向之外的任何方向上或在第二方向的预定阈值角度内显示任何引导(例如，如本文中参考图5T所述)。在检测到电子设备的沿第二方向移动视野的移动时，电子设备根据电子设备的移动更新视野的表示，识别沿第二方向延伸的视野表示中的一个或多个第二元素，并且至少部分地基于一个或多个第二元素的确定，在视野表示中显示沿第二方向延伸并且对应于所识别的一个或多个第二元素之一的第二引导(例如，虚拟引导5072，图5T)。随着视野移动方向的改变，自动改变引导显示更有可能与正在进行的测量相关的引导(并且停止显示不太可能与正在进行的测量相关的引导)。减少用户界面中的混乱增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，第一引导对应的所识别的一个或多个第一元素中的至少一个是(1224)在三维空间中被识别为物理对象的边缘的元素(例如，如本文中参考图5S所述)。沿着沿第一方向运行的物理对象的边缘自动显示引导有助于用户放置测量点并沿边缘进行测量。沿对象边缘自动提供引导，无需进一步的用户输入，增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的测量输入并减少操作设备/与设备交互时的用户错误)。
在一些实施方案中，第一引导对应的所识别的一个或多个第一元素中的至少一个是(1226)在三维空间中被识别为平面的元素(例如，对应于三维空间中的物理对象的表面)。沿着沿第一方向延伸的平面自动显示引导有助于用户放置测量点并沿着平面进行测量。沿着平面自动提供引导，无需进一步的用户输入，增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的测量输入并减少操作设备/与设备交互时的用户错误)。
在一些实施方案中，用户界面包括(1228)显示在所述视野表示之上的测量点创建指示符。在一些实施方案中，电子设备在视野表示中的相应位置处显示相应测量点，所述相应位置对应于三维空间中的相应位置。在一些实施方案中，电子设备检测电子设备的使测量点创建指示符在视野表示中的相应测量点之上移动的移动，并且响应于检测到电子设备的移动，测量点创建指示符显示在相应的测量点之上时，电子设备显示多个引导。多个引导中的第一引导垂直于多个引导中的第二引导，并且多个引导在相应的测量点处相交。在此参考图5AT描述垂直引导的显示。
在一些实施方案中，至少部分地基于确定相应引导沿着从测量点延伸的视野表示中的元件延伸来显示多个引导中的相应引导。例如，如果测量点对应于三维空间中物理对象的角，所述一个或多个引导包括沿着沿第一方向延伸的物理对象的边缘(例如，对应于物理对象的(水平)长度的边缘)从物理对象的角部沿第一方向(例如，沿x轴)延伸的引导，如在视野表示中所示。在一些实施方案中，一个或多个引导包括沿着沿第二方向延伸的物理对象的边缘从物理对象的角部沿第二方向(例如，沿y轴)延伸的引导(例如，对应于物理对象的(竖直)高度)，如在视野表示中所示。在一些实施方案中，一个或多个引导包括沿着沿第三方向延伸的物理对象的边缘(例如，对应于物理对象的深度的边缘)从物理对象的角部沿第三方向(例如，沿z轴)延伸的引导，如在视野表示中所示。
在测量点之上显示测量点创建指示符时在测量点处自动显示多个垂直引导，帮助用户放置另外的测量点。在测量点处自动提供垂直引导，而无需进一步的用户输入，增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的测量输入并减少操作设备/与设备交互时的用户错误)。
在一些实施方案中，用户界面包括(1230)测量点创建指示符，其在视野表示中的第二位置上显示。在一些实施方案中，在显示沿第一方向延伸的第一引导时，电子设备检测触敏显示器上的第二触摸输入。响应于检测到第二触摸输入，并且根据确定第二位置和第一引导之间的距离(例如，最短距离)在阈值距离内，电子设备在第一引导上距第二位置该距离的位置处添加并显示第二(虚拟)测量点。例如，图5X示出了在虚拟引导5072上的点处添加测量点5090。响应于检测到第二触摸输入，并且根据确定第二位置和第一引导之间的距离不在阈值距离内，电子设备在第二位置添加并显示第二测量点(例如，测量点5080不在虚拟引导5072的阈值距离内，因此测量点5080不被添加到虚拟引导5072上的点)。根据测量点创建指示符和引导的位置之间的距离，自动在引导上添加测量点(例如，将测量点捕捉到引导上的某个位置)或将测量点添加到引导之外，帮助用户快速准确地放置测量点。在一组条件(例如，距离条件)得到满足时即执行操作而不需要进一步的用户输入，这增强了设备的可操作性，并且使得用户设备界面更加有效(例如，通过帮助用户提供适当的测量输入并且在与设备进行操作/交互时减少用户错误)。
应当理解，对图12A至图12C中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1100、1300和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图12A-图12C描述的方法1200。例如，上面参考方法1200描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1100、1300和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图13A至图13C是示出根据一些实施方案的自动移除先前添加的虚拟标注的方法1300的流程图。方法1300在包括一个或多个输入设备(例如，触摸屏112(图1A)、触摸板355(图3A)或输入设备302(图3B)，或与显示器分开的物理按钮)、一个或多个显示设备(例如，触摸屏112(图1A)、显示器340(图3A)或显示器生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))、用于检测与输入设备的触敏表面的接触强度的可选的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行。方法1300中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1300提供了一种直观的方式来自动删除与当前虚拟标注(诸如当前基于增强现实的测量)未连接或相关的先前虚拟标注(诸如先前基于增强现实的测量)。自动删除先前的不相关的虚拟标注可防止增强现实用户界面在创建新虚拟标注时变得与早期虚拟标注混乱。如本文所述，方法1300使得可以容易地进行单独的虚拟标注而无需手动删除先前的虚拟标注，并且在将新的虚拟标注添加到系列中时，还可以容易地获取一系列相关的虚拟标注(例如，连接的虚拟标注)而不删除系列中的早期虚拟标注。该方法在进行基于增强现实的虚拟标注时减少了来自用户的输入的数量、程度和/或性质，从而创建了更高效的人机界面。对于电池供电的电子设备，使用户能够更快更高效地进行基于增强现实的虚拟标注，从而节省电力并增加电池两次充电之间的时间。
具体地讲，当虚拟标注是基于增强现实的测量时，自动删除先前的不相关的基于增强现实的测量可防止测量用户界面在进行新测量时变得与早期测量混乱。这些自动删除还移除了电子设备可能不再具有到物理空间的精确映射的测量。如本文所述，方法1300使得可以容易地进行单独测量而无需手动删除先前的测量，并且还使得容易地进行一系列相关测量(例如，连接的测量)，而无需在系列中添加新测量时删除系列中的早期测量。该方法在进行基于增强现实的测量时减少了来自用户的输入的数量、程度和/或性质，从而创建了更高效的人机界面。对于电池供电的电子设备，使用户能够更快更高效地进行基于增强现实的测量，从而节省电力并增加电池两次充电之间的时间。
电子设备经由一个或多个显示设备显示(1302)包括物理空间的表示的用户界面(例如，在一个或多个相机中的至少一个的视野中的物理空间的一部分的实时预览)。例如，图5BS中的用户界面5006包括物理空间5000的表示。
在显示物理空间的表示时，电子设备接收(1304)第一组一个或多个输入以在物理空间的表示中创建虚拟标注(例如，形状、线、矩形、测量等)(例如，用于放下一个点的输入，随后是电子设备相对于物理空间的移动，接着是放下一个点的另一个输入)。
响应于接收到第一组一个或多个输入，电子设备将第一虚拟标注添加(1306)到物理空间的表示。第一虚拟标注链接到物理空间的表示的一部分。例如，如图5BS至图5BU所示，在用户界面5006中创建包括测量段5212及其相关联的端点5206和5216的虚拟标注，并将其链接到(物理)对象5202的表示。又如，如图5BV至图5BY所示，在用户界面5006中创建包括测量段5222及其相关联的端点5220和5224的虚拟标注，并将其链接到对象5202的表示。
在一些实施方案中，将虚拟标注添加到物理空间的表示包括创建虚拟标注并将其链接到物理空间的表示中的位置，使得虚拟标注在物理空间的表示中被固定或基本上固定。在一些实施方案中，虚拟标注“在”物理空间的表示中或“添加到”物理空间的表示实际上是添加到物理空间的模型中，并且当虚拟标注所链接的物理空间的表示部分出现在物理空间的相机图像中时，绘制在物理空间的相机图像之上，以给人一种虚拟标注在物理空间中的印象。在一些实施方案中，虚拟标注“从”物理空间的表示中“移除”实际上是从物理空间的模型中删除的，并且一旦它从物理空间的表示“移除”，当虚拟标注所链接的物理空间的表示部分出现在物理空间的相机图像中时，它不再被绘制在物理空间的相机图像之上，以给人一种虚拟标注不再在物理空间中的印象。
在将第一虚拟标注添加到物理空间的表示之后，电子设备接收(1310)与物理空间的表示相关联的第二组一个或多个输入。
响应于接收到与物理空间的表示相关联的第二组一个或多个输入(1312)，根据确定第二组一个或多个输入对应于在物理空间的表示中创建距第一虚拟标注阈值距离内的虚拟标注的请求(1314)，电子设备在物理空间的表示中创建第二虚拟标注(例如，链接到物理空间的表示的第二部分)，同时在物理空间的表示中保持第一虚拟标注。在一些实施方案中，同时显示第一虚拟标注和第二虚拟标注。在一些实施方案中，阈值距离为零(例如，第二虚拟标注必须与第一虚拟标注连接，以便在创建第二虚拟标注时保持第一虚拟标注)。在一些实施方案中，阈值距离大于零(例如，如果第二虚拟标注在距第一虚拟标注的预定距离内，则在创建第二虚拟标注时保持第一虚拟标注，即使第二虚拟标注未连接到或触摸第一虚拟标注)。例如，如图5BZ至图5CF所示，因为测量段5232在距先前添加的测量段5222的阈值距离内，当创建测量段5232时/之后，在用户界面5006中的物理空间5000的表示中维持先前添加的测量段5222。在另一个示例中，如图5CG至图5CK所示，因为测量段5242在距先前添加的测量段5232和5222的阈值距离内，当创建测量段5242时/之后，在用户界面5006中的物理空间5000的表示中维持先前添加的测量段5232和5222。
此外，响应于接收到与物理空间的表示相关联的第二组一个或多个输入(1312)，根据确定第二组一个或多个输入对应于在物理空间的表示中创建距第一虚拟标注阈值距离之外的虚拟标注的请求(1316)，电子设备在物理空间的表示中创建第二虚拟标注(例如，链接到物理空间的表示的第二部分)，并且从物理空间的表示中移除第一虚拟标注。在一些实施方案中，在没有显式请求移除第一虚拟标注的情况下移除第一虚拟标注(例如，设备不检测用户输入，与用于创建第二虚拟标注的第二组输入分开，请求删除第一虚拟标注)。例如，如图5BV至图5BY所示，因为测量段5222在距先前添加的测量段5212的阈值距离之外，所以在添加测量段5222时/之后移除先前添加的测量段5212。
在一些实施方案中，在物理空间的表示中保持第一虚拟标注的同时在物理空间的表示中创建第二虚拟标注包括(1318)在对应于第一虚拟标注的至少一部分的位置处开始创建第二虚拟标注(例如，如果图5CA至图5CF中的测量段5232的创建是代之以开始于图5CF中的测量点5234的放置并且以图5CA中的测量点5228的放置结束)。当在先前的虚拟标注上开始后续虚拟标注时自动保持先前的虚拟标注使得电子设备能够进行一系列相关的虚拟标注(例如，一系列相连接的测量)，当新的标注被添加到系列中时，不删除系列中的早期标注(例如，测量)。在一组条件得到满足时(例如，当在先前的虚拟标注上开始后续虚拟标注时)即执行操作而不需要进一步的用户输入，这增强了设备的可操作性，并且使得用户设备界面更加有效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误)。
在一些实施方案中，在物理空间的表示中创建第二虚拟标注同时在物理空间的表示中保持第一虚拟标注包括(1320)在对应于第一虚拟标注的至少一部分的位置处完成创建第二虚拟标注。例如，如图5BZ至图5CF所示，测量段5232的创建在对应于测量段5222的端点的位置处完成，并且测量段5222因此保持在物理空间5000的表示中。当在先前的虚拟标注上结束后续虚拟标注时自动保持先前的虚拟标注使得电子设备能够进行一系列相关的虚拟标注(例如，一系列相连接的测量)，当新的标注被添加到系列中时，不删除系列中的早期标注(例如，测量)。在一组条件得到满足时(例如，当在先前的虚拟标注上结束后续虚拟标注时)即执行操作而不需要进一步的用户输入，这增强了设备的可操作性，并且使得用户设备界面更加有效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误)。
在一些实施方案中，响应于接收与物理空间的表示相关联的第二组一个或多个输入(1322)，根据确定第二组一个或多个输入对应于将一个或多个相机中的至少一个的视野移位超过阈值量的请求(例如，将一个或多个相机中的至少一个的视野偏移一定量，该量导致第一虚拟标注与物理空间的表示之间的链接的跟踪的保真度降低超过阈值量)，电子设备从物理空间的表示中移除第一虚拟标注。在一些实施方案中，在没有显式请求移除第一虚拟标注的情况下移除第一虚拟标注(例如，电子设备不检测用户输入，请求删除第一虚拟标注)。在此参考图5CL至图5CM描述了根据相机的移动移除虚拟标注超过阈值量的示例。当后续虚拟标注的视野偏移超过阈值量时自动移除先前的虚拟标注(例如，测量)，减少了增强现实用户界面中的混乱，并且避免了跟踪和显示不接近新虚拟标注的先前虚拟标注的保真度的潜在问题。在一组条件得到满足时即执行操作而不需要进一步的用户输入，这增强了设备的可操作性，并且使得用户设备界面更加有效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误)。
在一些实施方案中，响应于接收与物理空间的表示相关联的第二组一个或多个输入(1324)，根据确定第二组一个或多个输入对应于使一个或多个相机中的至少一者的视野偏移使得第一虚拟标注不再可见超过阈值时间量的请求(例如，将一个或多个相机中的至少一者的视野偏移远离第一虚拟标注看起来链接的物理空间的部分超过阈值时间量)，电子设备从物理空间的表示中移除第一虚拟标注。在一些实施方案中，在没有显式请求移除第一虚拟标注的情况下移除第一虚拟标注(例如，设备不检测用户输入，请求删除第一虚拟标注)。在此参考图5CL至图5CM描述了根据相机的移动来移除虚拟标注以使得虚拟标注不再可见超过阈值时间量的示例。当后续虚拟标注的视野偏移超过阈值时间量时自动移除先前的虚拟标注(例如，测量)，减少了增强现实用户界面中的混乱，并且避免了跟踪和显示不接近新虚拟标注的先前虚拟标注的保真度的潜在问题。在一组条件得到满足时即执行操作而不需要进一步的用户输入，这增强了设备的可操作性，并且使得用户设备界面更加有效(例如，通过帮助用户提供适当的输入并且在与设备进行操作/交互时减少用户错误)。
在一些实施方案中，在接收到第二组一个或多个输入时并且在第一虚拟标注处于物理空间的表示中时，电子设备输出(1326)进一步输入将导致第一虚拟标注从物理空间的表示中被移除的指示。在一些实施方案中，该指示包括图形指示、音频指示和/或触觉指示。例如，如图5BW至图5BX所示，设备100改变测量段5212的外观以指示进一步的输入将使测量段5212从用户界面5006中的物理空间5000的表示中移除。在另一个示例中，如图5CA至图5CB所示，设备100改变测量段5222的外观以指示进一步的输入将使测量段5222从用户界面5006中的物理空间5000的表示中移除。提供进一步输入将删除先前虚拟标注(例如，测量)的视觉、音频和/或触觉反馈提供了改变输入的机会，使得不会意外地移除先前虚拟标注。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，该指示是(1328)在用户界面的预先确定的部分中显示的视觉指示，其用于显示提示(例如，用户界面中的指定提示区域，诸如标线5010上方的用户界面5006中的区域(例如，图5CM中显示错误消息5248的区域))。在用户界面的指定区域中提供用于显示提示的视觉反馈增加了用户将看到和理解反馈/提示的可能性。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，该指示是(1330)物理空间的表示中第一虚拟标注的外观的变化(例如，改变线条颜色、线条样式、线条粗细、填充、不透明度等)。例如，如图5BW至图5BX所示，改变测量段5212的外观(例如，线条颜色和线条样式)。在一些实施方案中，当点放置的标线远离第一虚拟标注时，第一虚拟标注的外观变化幅度增加。通过改变第一虚拟标注的外观来提供视觉反馈增加了用户将看到并理解如果相同输入继续将移除第一虚拟标注的可能性。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，第一虚拟标注是(1332)测量的表示，其包括测量的描述(例如，通过测量进行测量的距离或面积的文本描述)，并且第一虚拟标注的外观变化包括从测量的表示中移除描述，同时保持测量的表示的至少一部分。例如，如图5BV所示，当标线5010远离测量段5212移动时，移除与测量段5212相关联的标签。在保持表示测量的线条或其他形状的同时通过从测量中移除标签或其他描述来提供视觉反馈，增加了用户看到并理解如果相同输入继续将移除测量的可能性。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，在物理空间的表示中显示第一虚拟标注的外观变化之后(1334)，电子设备检测距第一虚拟标注的阈值距离(例如，当创建第二虚拟标注时，将用于确定是否从显示器移除第一虚拟标注的相同阈值距离)内的位置处的输入(例如，将标线悬停在第一虚拟标注上或附近用于点放置)，并且响应于检测到阈值距离内的位置处的输入形成第一虚拟标注，反转第一虚拟标注的外观变化(例如，为了指示如果第二虚拟标注包括在距第一虚拟标注的阈值距离内的位置处的部分，则在创建第二虚拟标注时将不移除第一虚拟标注)。例如，当焦点5012捕捉到测量段5222上的点时，图5CA至图5CB中的测量段5222的外观变化在图5CC中反转。在提供视觉反馈以指示将移除先前虚拟标注之后，并且在用户通过使输入更接近或在先前虚拟标注上改变其输入之后，提供反馈以指示将保持先前的虚拟标注有助于指导用户的输入。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
应当理解，对图13A至图13C中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1100、1200和1400)描述的其他过程的细节同样以类似的方式适用于上文参考图13A至图13C描述的方法1300。例如，上面参考方法1300描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1100、1200和1400)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
图14A至图14D是示出根据一些实施方案的用于指示物理空间中的对象是否已被识别为可以跟踪其在增强现实环境中的对应表示的对象的方法1400的流程图。方法1400在包括一个或多个输入设备(例如，触摸屏112(图1A)、触摸板355(图3A)或输入设备302(图3B)，或与显示器分开的物理按钮)、一个或多个显示设备(例如，触摸屏112(图1A)、显示器340(图3A)或显示器生成部件304(图3B))和一个或多个相机(例如，光学传感器164(图1A)或相机305(图3B))、用于检测与输入设备的触敏表面的接触强度的可选的一个或多个传感器(例如，接触强度传感器165，图1A)，以及可选的一个或多个触觉输出发生器(例如，触觉输出发生器163(图1A)或触觉输出发生器357(图3A))的电子设备(例如，便携式多功能设备100(图1A)、设备300(图3A)或计算机系统301(图3B))处执行。方法1400中的一些操作任选地被组合，并且/或者一些操作的顺序任选地被改变。
如下所述，方法1400在将增强现实环境中的虚拟标注(例如，虚拟测量)放置的同时提供视觉反馈。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
电子设备经由一个或多个显示设备显示(1402)标注放置用户界面。标注放置用户界面包括(1404)：物理空间的表示(例如，在一个或多个相机中的至少一个的视野中的物理空间的一部分的实时预览)；以及放置用户界面元素(例如，放置指示符)，其响应于检测到标注放置输入，指示将虚拟标注放置在物理空间的表示中的位置(例如，轻击放置点按钮或轻击放置用户界面元素)。例如，如图5CN所示，设备100显示包括物理空间5000的表示的用户界面5006以及标线5010形式的放置用户界面元素以及焦点5012，该焦点指示响应于检测到标注放置输入虚拟标注将被放置在物理空间5000的表示中的位置(例如，轻击测量添加按钮5014，或者在一些实施方案中，轻击标线5010和/或焦点5012)。
在显示标注放置用户界面时，电子设备检测(1406)一个或多个相机中的至少一个相对于物理空间的移动。当放置用户界面元素显示在物理空间的表示中对应于物理空间的第一部分的位置处时，一个或多个相机中的至少一个的移动开始(1408)。在一些实施方案中，该移动包括横向移动(例如，向上、向下、向左、向右移动)，旋转(例如，向右、向左、向上、向下旋转)或向前或向后移动中的一种或多种。
响应于检测到一个或多个相机中的至少一个相对于物理空间的移动，电子设备将放置用户界面元素移动(1410)到物理空间的表示中对应于物理空间的第二部分的位置，该第二部分不同于物理空间的第一部分，并且根据一个或多个相机中的至少一个相对于物理空间的移动，更新标注放置用户界面的外观，包括：根据确定电子设备无法识别物理空间的第二部分中的对象，该对象在物理空间的表示中的对应对象可以链接到虚拟标注，停止(1412)显示放置用户界面元素的至少一部分；并且根据确定设备已经识别出物理空间的第二部分中的对象，该对象在物理空间的表示中的对应对象可以链接到虚拟标注，保持(1414)放置用户界面元素的显示。例如，如图5CN所示，根据确定设备100已识别物理空间5000中的对象(桌子5200)来显示标线5010和焦点5012，使得测量可被添加到用户界面5006中的桌子5200的表示中。在图5CO中，根据确定设备100不能在物理空间5000中识别此类对象，不显示标线5010和焦点5012。提供电子设备无法识别物理空间中的对象且该对象在物理空间的表示中的对应对象可以链接到虚拟标注(例如，通过停止显示放置用户界面元素的至少一部分)的视觉反馈通知用户需要改变视野(通过移动电子设备)，直到识别出这样的对象。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，响应于检测到一个或多个相机中的至少一个相对于物理空间的移动(1416)：根据确定放置用户界面元素位于物理空间的表示中的位置，其中该位置对应于物理空间中距所述一个或多个相机之一第一距离的第一对象，电子设备以第一大小显示放置用户界面元素；并且根据确定放置用户界面元素位于物理空间的表示中的位置，其中该位置对应于物理世界中距所述一个或多个相机之一第二距离的第二对象，电子设备以第二大小显示所述放置用户界面元素。在一些实施方案中，第一距离大于第二距离，并且第一大小小于第二大小。例如，如图5BO和5BT所示，当定位在实时预览中对应于物理空间5000中的较远点的位置之上时(如图5BO所示)，标线5010和焦点5012以比当定位在实时预览中对应于物理空间5000中的较近点的位置之上时(如图5BT所示)小的相应大小显示。在另一示例中，如图5CG和5CJ所示，当定位在实时预览中对应于物理空间5000中的较远点的位置之上时(如图5CG所示)，标线5010和焦点5012以比当定位在实时预览中对应于物理空间5000中的较近点的位置之上时(如图5CJ所示)小的相应大小显示。当放置用户界面元素位于来自相机的实时视图中的给定对象的位置时，电子设备基于物理空间中从相机到给定对象的距离来调整放置用户界面元素的大小。这种视觉反馈向用户提供关于物理空间中的对象的相对位置的信息。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，放置用户界面元素在物理空间的表示中的第一大小相对于物理空间中第一对象比放置用户界面元素在物理空间的表示中的第二大小相对于物理空间中第二对象更大(1418)(例如，如本文参考图5BT所述)。尽管在一些实施方案中，放置用户界面元素的大小基于物理空间中从相机到给定对象的距离，但是为了避免使该大小在物体远离相机时过小(或者当物体非常靠近相机时过大)，在一些实施方案中，该大小并不是精确地随距离而缩放。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，放置用户界面元素包括(1420)第一部分(例如，标线，诸如图5CC中的标线5010)和第二部分(例如，点，诸如图5CC中的焦点5012，或者其他标记)。在一些实施方案中，响应于检测到一个或多个相机中的至少一个相对于物理空间的移动：根据确定放置用户界面元素位于物理空间的表示中对应于物理空间中的预定义类型的特征(例如，放置用户界面元素的第二部分可以对齐的拐角、线或其他特征)的位置，电子设备更新放置用户界面元素的外观，使得放置用户界面元素的第二部分相对于放置用户界面元素的第一部分被放大；并且根据确定放置用户界面元素位于物理空间的表示中与物理空间中的预定义类型的特征(例如，放置用户界面元素的第二部分可以对齐的拐角、线或其他特征)不对应的位置，电子设备保持放置用户界面元素的显示而不将放置用户界面元素的第二部分相对于放置用户界面元素的第一部分放大。例如，如图5CC和5CE所示，当焦点被对齐到锚定点(诸如先前添加的测量或物理对象的表示上的感兴趣点)时，焦点5012相对于标线5010(并且当未对齐到锚定点时相对于焦点5012的大小)被放大。当放置用户界面元素位于虚拟标注点可以对齐的特征之上时改变放置用户界面元素的外观(例如，通过增加放置点相对于放置用户界面元素其余部分的大小)，使得可以容易地在该特征处添加虚拟标注点。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在放置用户界面元素包括(1422)第一部分(例如，标线)和第二部分(例如，点或其他标记)的一些实施方案中，响应于检测到一个或多个相机中的至少一个相对于物理空间的移动：根据确定放置用户界面元素位于物理空间的表示中对应于物理空间中的预定义类型的特征(例如，放置用户界面元素的第二部分可以对齐的拐角、线或其他特征)的位置，电子设备更新放置用户界面元素的外观，使得放置用户界面元素的第二部分相对于放置用户界面元素的第一部分移位；并且根据确定放置用户界面元素位于物理空间的表示中与物理空间中的预定义类型的特征(例如，放置用户界面元素的第二部分可以对齐的拐角、线或其他特征)不对应的位置，电子设备保持放置用户界面元素的显示而不将放置用户界面元素的第二部分相对于放置用户界面元素的第一部分移位。例如，如图5CC和5CE所示，当焦点被对齐到锚定点(诸如先前添加的测量或物理对象的表示上的感兴趣点)时，焦点5012相对于标线5010(并且当未对齐到锚定点时相对于标线5010内的焦点5012的位置)被移位。当放置用户界面元素位于虚拟标注点可以对齐的特征之上时改变放置用户界面元素的外观(例如，通过移动放置点相对于放置用户界面元素其余部分的位置，使得放置点对齐到该特征)，使得可以容易地在该特征处添加虚拟标注点。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，响应于检测到一个或多个相机中的至少一个相对于物理空间的移动(1424)，根据确定设备无法识别物理空间的第二部分中的其在物理空间的表示中的对应对象可以链接到虚拟标注的对象，电子设备显示含有信息的提示(例如，与标注放置用户界面分离或重叠)，该信息指示电子设备无法识别物理空间的第二部分中的其在物理空间的表示中的对应对象可以链接到虚拟标注的对象。例如，如图5CO所示，响应于设备100进一步远离桌子5200的移动，设备100显示错误消息5250以指示设备100无法识别物理空间5000中的其在用户界面5006中物理空间5000的表示中的对应对象可以链接到虚拟标注(例如，虚拟测量)的对象。显示电子设备无法识别物理空间中其在物理空间的表示中的对应对象可以链接到虚拟标注的对象的提示通知用户需要改变视野(通过移动电子设备)，直到识别出这样的对象。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，响应于检测到一个或多个相机中的至少一个相对于物理空间的移动(1426)，根据确定设备无法识别物理空间的第二部分中的其在物理空间的表示中的对应对象可以链接到虚拟标注的对象，电子设备显示含有信息的提示(例如，与放置用户界面分离或重叠在放置用户界面上)，该信息指示电子设备无法识别物理空间的第二部分中其在物理空间的表示中的对应对象可以链接到虚拟标注的对象的原因。在一些实施方案中，该提示包括描述可以采取的步骤以提高电子设备识别物理空间中的对象的能力的信息。例如，如图5CO所示，响应于设备100进一步远离桌子5200的移动，设备100显示错误消息5250以指示设备100无法识别对象，因为设备100需要移动得更靠近相机的视野中的对象显示这样的提示：(1)解释电子设备为什么无法识别物理空间中的其在物理空间的表示中的对应对象可以链接到虚拟标注的对象，和/或(2)通知用户需要如果改变视野(例如，通过移动电子设备)，可以帮助纠正这种情况。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，指示电子设备无法识别物理空间的第二部分中其在物理空间的表示中的对应对象可以链接到虚拟标注的对象的原因的信息包括(1428)以下中的一个或多个：关于需要更多光的指示(例如，如图5D中所示)，关于一个或多个相机(或电子设备)中的至少一个移动得太快的指示，关于需要移动一个或多个相机(或电子设备)中的至少一个来定位物理空间中的表面的指示(例如，如图5E中所示)，关于一个或多个相机(或电子设备)中的至少一个需要移动得更远离物理空间中的对象的指示，以及关于一个或多个相机(或电子设备)中的至少一个需要移动得更靠近物理空间中的对象的指示(例如，如图5CO中所示)。
在一些实施方案中，当在物理空间的表示上对应于物理空间的第二部分的位置处显示放置用户界面元素时，电子设备检测(1430)放置输入(例如，放置用户界面元素上的轻击手势或触发在标注放置用户界面中放置虚拟标注的按钮)。在一些实施方案中，响应于检测到放置输入，电子设备将虚拟标注的至少一部分放置在物理空间的表示中对应于放置用户界面元素的位置处。在一些实施方案中，标注的该部分的放置包括放下测量中的第一点。在一些实施方案中，标注的该部分的放置包括放下测量中的第二或第三测量点。在一些实施方案中，标注的该部分的放置包括在物理空间的表示中完成测量的放置。例如，如图5BP-5BQ所示，标线5010和焦点5012上的触摸输入5204(例如，轻击手势)触发将测量点5206放置在用户界面5006中物理空间5000的表示中对应于焦点5012的位置处。响应于放置输入来将虚拟标注点放置在放置用户界面元素的显示位置处，使得容易将虚拟标注点定位在物理空间的表示中的正确位置处。提供改进的视觉反馈增强了设备的可操作性并使得用户-设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
在一些实施方案中，当在物理空间的表示上对应于物理空间的第二部分的位置处显示放置用户界面元素时，电子设备在对应于放置用户界面元素的位置处检测(1432)输入(例如，对于具有触敏显示器的电子设备，在放置用户界面元素上的轻击手势)。在一些实施方案中，响应于在对应于放置用户界面元素的位置处检测到输入，电子设备在标注放置用户界面中的另一用户界面元素附近(或旁边)显示图形指示，该图形指示表明，该另一用户界面元素的激活(例如，对于触敏显示器，通过在该另一用户界面元素上的轻击手势)将导致虚拟标注的至少一部分被放置在物理空间的表示中对应于放置用户界面元素的位置处(例如，电子设备显示轻击按钮以放下一个点的指示，其中该按钮与放置用户界面元素不同并且远离放置用户界面元素)。例如，如图5BR所示，标线5010和焦点5012上的触摸输入5204(例如，轻击手势)导致在测量添加按钮5014附近显示指示消息5208，以指示测量添加按钮5014的激活将导致将测量点放置在用户界面5006中物理空间5000的表示中的对应于焦点5012的位置处。在一些实施方案中，当用户尝试通过轻击放置用户界面元素(而不是轻击其他元素，诸如“+”、“添加”或类似元素)来创建虚拟标注点时，电子设备会在“+”、“添加”或类似元素旁边显示一条消息，指示这是用以轻击(而不是轻击放置用户界面元素)以创建虚拟标注点的正确元素。提供改进的反馈增强了设备的可操作性并使得用户设备界面更高效(例如，通过帮助用户提供正确的输入，并且减少在操作设备/与设备交互时出现的用户错误)。
应当理解，对图14A-14D中的操作进行描述的特定顺序仅仅是示例性的，并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外，应当指出的是，本文相对于本文所述的其他方法(例如，方法600、700、800、900、1000、1100、1200和1300)描述的其他过程的细节同样以类似的方式适用于上文参考图14A-14D描述的方法1400。例如，上面参考方法1400描述的输入、用户界面元素(例如，测量点、测量段、虚拟标注、物理空间或视野的表示、示能表示、提示、指示符、标签、锚定点和/或放置用户界面元素诸如标线和点)、触觉输出和强度阈值可选地具有本文参考本文所述的其他方法(例如，方法600、700、800、900、1000、1100、1200和1300)描述的输入、用户界面元素、触觉输出和强度阈值的一个或多个特征。为了简明起见，此处不再重复这些细节。
以上参考图6A-6C、图7A-7E、图8A-8C、图9A-9B、图10A-10B、图11A-11B、图12A-12C、图13A-13C以及图14A-14D所述的操作任选地由图1A至图1B中所描绘的部件来实施。例如，检测操作606、614、706、708、812、906、1006、1106、1206、1334、1430和1432，以及接收操作1304和1310任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触，并且事件分配器模块174将事件信息传送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较，并且确定触敏显示器上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件，诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义的事件或子事件时，事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施例中，事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地，本领域的技术人员会清楚地知道基于在图1A至图1B中所描绘的部件可如何实现其他过程。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
根据本发明的方法和产品的实施方案列于以下项目中：
1.一种方法，包括：
在具有触敏显示器和一个或多个相机的电子设备处：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
所述视野的表示以第一放大率显示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示的同时，检测所述触敏显示器上的第一触摸输入；
响应于检测到所述第一触摸输入，在所述视野的表示中的第一位置处添加和显示测量点，所述第一位置对应于所述三维空间中的第一位置；以及
在添加所述测量点之后并且在继续显示所述视野的表示时：
随着所述一个或多个相机中的至少一个移动，在所述视野的表示中与所述三维空间中的第一位置相对应的位置处显示所述测量点；
检测在所述触敏显示器上与所述视野的表示中所述测量点的当前位置相对应的位置处的第二触摸输入；以及
响应于检测到所述第二触摸输入，将所述视野的表示的至少一部分的显示从所述第一放大率放大到大于所述第一放大率的第二放大率，其中所述视野的表示的所述部分的放大显示包括所述测量点。
2.根据项目1所述的方法，其中：
所述一个或多个相机位于所述电子设备上与所述触敏显示器的一部分相邻，所述触敏显示器的所述部分靠近所述设备上所述一个或多个相机所在的一侧；
所述用户界面包括：
显示在所述触敏显示器的远离所述设备上所述一个或多个相机所在的一侧的部分中的第一示能表示，并且当所述第一示能表示被激活时，向所显示的所述视野的表示添加测量点，以及
根据所述电子设备的第一取向显示的一个或多个第二示能表示；并且
所述方法包括：
检测所述电子设备到第二取向的移动；以及
响应于检测到所述电子设备到所述第二取向的移动：
根据所述电子设备的所述第二取向更新所述一个或多个第二示能表示的显示；以及
继续在所述触敏显示器的远离所述设备上所述一个或多个相机所在的一侧的所述部分中显示所述第一示能表示。
3.根据项目1至2中任一项所述的方法，其中：
所述应用程序的所述用户界面包括与所述应用程序的操作相对应的一个或多个示能表示，包括捕获示能表示；以及
所述方法包括：
检测所述捕获示能表示上的第三触摸输入；以及
根据确定所述第三触摸输入满足第一媒体捕获标准，发起对第一类型的媒体的捕获，所述第一类型的媒体包括所述一个或多个相机中的至少一个的所述视野的图像序列。
4.根据项目3所述的方法，包括：
根据确定所述第三触摸输入满足第二媒体捕获标准，发起对第二类型的媒体的捕获，所述第二类型的媒体包括所述一个或多个相机中的至少一个的所述视野的单个图像。
5.根据项目1至4中任一项所述的方法，包括：
在显示所述应用程序的所述用户界面之前：
显示包括多个控件的控制面板用户界面，其中所述多个控件中的第一控件对应于所述应用程序；以及
检测激活所述第一控件的触摸输入；以及
响应于检测到激活所述第一控件的所述触摸输入，显示所述应用程序的所述用户界面。
6.根据项目1至5中任一项所述的方法，其中：
所述用户界面是所述应用程序中的多个用户界面中的第一用户界面；
所述第一用户界面对应于所述应用程序的测量模式；以及
所述多个用户界面中的第二用户界面对应于所述应用程序的调平模式。
7.根据项目1至6中任一项所述的方法，包括：
确定所述电子设备与所述三维空间中对应于所述测量点的第一位置之间的距离；
其中：
根据确定所确定的距离小于第一阈值距离，所述第一放大率和所述第二放大率之间的放大因子是第一放大因子；
根据确定所确定的距离大于第二阈值距离，所述放大因子是第二放大因子；以及
根据确定所确定的距离在所述第一阈值距离和所述第二阈值距离之间，所述放大因子是所述第一放大因子和所述第二放大因子之间的相应放大因子，所述相应放大因子取决于所述所确定的距离。
8.根据项目1至7中任一项所述的方法，包括：
在显示所述视野的表示的至少一部分的所述放大显示时，检测第四触摸输入，所述第四触摸输入包括检测所述测量点的当前位置处的接触和检测所述接触在所述触敏显示器上的移动；以及响应于检测到所述接触在所述触敏显示器上的所述移动：
根据所述第四触摸输入中的所述接触的所述移动，将所述测量点在所述视野的表示上移动。
9.根据项目1至8中任一项所述的方法，其中：
所述第一触摸输入在这样的示能表示上被检测到：当该示能表示被激活时，将测量点添加到所显示的所述视野的表示中；
所述示能表示显示在所述用户界面中的预定义位置；以及
所述视野的表示中最初响应于所述示能表示的激活而添加所述测量点的位置不同于所述示能表示的所述预定义位置。
10.一种电子设备，包括：
触敏显示器；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
所述视野的表示以第一放大率显示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示的同时，检测所述触敏显示器上的第一触摸输入；
响应于检测到所述第一触摸输入，在所述视野的表示中的第一位置处添加和显示测量点，所述第一位置对应于所述三维空间中的第一位置；以及
在添加所述测量点之后并且在继续显示所述视野的表示时：
随着所述一个或多个相机中的至少一个移动，在所述视野的表示中与所述三维空间中的第一位置相对应的位置处显示所述测量点；
检测在所述触敏显示器上与所述视野的表示中所述测量点的当前位置相对应的位置处的第二触摸输入；以及
响应于检测到所述第二触摸输入，将所述视野的表示的至少一部分的显示从所述第一放大率放大到大于所述第一放大率的第二放大率，其中所述视野的表示的所述部分的放大显示包括所述测量点。
11.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括触敏显示器和一个或多个相机的电子设备执行时，使得所述电子设备：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
所述视野的表示以第一放大率显示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示的同时，检测所述触敏显示器上的第一触摸输入；
响应于检测到所述第一触摸输入，在所述视野表示中的第一位置处添加和显示测量点，所述第一位置对应于所述三维空间中的第一位置；以及
在添加所述测量点之后并且在继续显示所述视野表示时：
随着所述一个或多个相机中的至少一个移动，在所述视野的表示中与所述三维空间中的第一位置相对应的位置处显示所述测量点；
检测在所述触敏显示器上与所述视野的表示中所述测量点的当前位置相对应的位置处的第二触摸输入；以及
响应于检测到所述第二触摸输入，将所述视野的表示的至少一部分的显示从所述第一放大率放大到大于所述第一放大率的第二放大率，其中所述视野的表示的所述部分的放大显示包括所述测量点。
12.一种电子设备，包括：
触敏显示器；
一个或多个相机；
用于在所述触敏显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
所述视野的表示以第一放大率显示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时启用的装置，用于检测所述触敏显示器上的第一触摸输入；
响应于检测到所述第一触摸输入而启用的装置，用于在所述视野的表示中的第一位置处添加和显示测量点，所述第一位置对应于所述三维空间中的第一位置；以及
在添加所述测量点之后并且在继续显示所述视野的表示时启用的装置，所述装置包括：
随着所述一个或多个相机中的至少一个移动而启用的装置，用于在所述视野的表示中与所述三维空间中的第一位置相对应的位置处显示所述测量点；
用于检测在所述触敏显示器上与所述视野的表示中所述测量点的当前位置相对应的位置处的第二触摸输入的装置；以及
响应于检测到所述第二触摸输入而启用的装置，用于将所述视野的表示的至少一部分的显示从所述第一放大率放大到大于所述第一放大率的第二放大率，其中所述视野的表示的所述部分的放大显示包括所述测量点。
13.一种用于在包括触敏显示器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述触敏显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
所述视野的表示以第一放大率显示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时启用的装置，用于检测所述触敏显示器上的第一触摸输入；
响应于检测到所述第一触摸输入而启用的装置，用于在所述视野的表示中的第一位置处添加和显示测量点，所述第一位置对应于所述三维空间中的第一位置；以及
在添加所述测量点之后并且在继续显示所述视野的表示时启用的装置，所述装置包括：
随着所述一个或多个相机中的至少一个移动而启用的装置，用于在所述视野的表示中与所述三维空间中的所述第一位置相对应的位置处显示所述测量点；
用于检测在所述触敏显示器上与所述视野的表示中所述测量点的当前位置相对应的位置处的第二触摸输入的装置；以及
响应于检测到所述第二触摸输入而启用的装置，用于将所述视野的表示的至少一部分的显示从所述第一放大率放大到大于所述第一放大率的第二放大率，其中所述视野的表示的所述部分的放大显示包括所述测量点。
14.一种电子设备，包括：
触敏显示器；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目1至9所述的方法中的任一方法的指令。
15.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括触敏显示器和一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目1至9所述的方法中的任一方法。
16.一种电子设备上的图形用户界面，所述电子设备包括触敏显示器、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目1至9所述的方法中的任一方法显示的用户界面。
17.一种电子设备，包括：
触敏显示器；
一个或多个相机；以及
用于执行根据项目1至9所述的方法中的任一方法的装置。
18.一种用于在包括触敏显示器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目1至9所述的方法中的任一方法的装置。
19.一种方法，所述方法包括：
在具有触敏显示器、用以检测与所述触敏显示器的接触的强度的一个或多个传感器以及一个或多个相机的电子设备处：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
检测所述触敏显示器上的接触；以及
在连续检测到所述触敏显示器上的所述接触时：
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时：
根据确定满足第一标准，在所述视野的表示中添加和显示对应于所述三维空间中的第一位置的第一测量点，其中所述第一标准包括要求所述接触的强度满足相应强度阈值以便所述第一标准得到满足；
在添加所述第一测量点之后，随着所述电子设备的移动更新所述视野的表示；以及
在所述电子设备移动之后，当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时满足所述第一标准：
在所述视野的表示中添加和显示对应于所述三维空间中的第二位置的第二测量点；以及
显示连接所述第一测量点和所述第二测量点的第一测量段。
20.根据项目19所述的方法，包括：在连续检测到所述触敏显示器上的所述接触时：
在添加所述第二测量点之后，随着所述电子设备的再次移动更新所述视野的表示；以及
在所述电子设备再次移动之后，当所述测量点创建指示符显示在所述视野表示中与所述三维空间中的第三位置相对应的第三位置之上时：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第三位置相对应的第三位置之上时满足所述第一标准：
在所述视野的表示中添加和显示对应于所述三维空间中的第三位置的第三测量点；以及
显示连接所述第二测量点和所述第三测量点的第二测量段。
21.根据项目19至20中任一项所述的方法，包括：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时不满足所述第一标准：
放弃在所述视野的表示中添加和显示对应于所述三维空间中的第二位置的所述第二测量点；以及
放弃显示连接所述第一测量点和所述第二测量点的所述第一测量段。
22.根据项目19至21中任一项所述的方法，包括：
在添加所述第二测量点之后，随着所述电子设备的再次移动更新所述视野的表示；以及
在所述电子设备再次移动之后，当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第三位置相对应的第三位置之上时：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第三位置相对应的第三位置之上时满足所述第一标准：
在所述视野的表示中添加和显示对应于所述三维空间中的第三位置的第三测量点；
根据确定满足第二标准，显示连接所述第二测量点和所述第三测量点的第二测量段，其中所述第二标准包括要求在满足所述第一标准以添加所述第二测量点和满足所述第一标准以添加所述第三测量点之间保持所述接触；以及
根据确定不满足所述第二标准，放弃显示连接所述第二测量点和所述第三测量点的所述第二测量段。
23.根据项目19至22中任一项所述的方法，其中所述电子设备包括一个或多个触觉输出发生器，并且所述方法包括：
根据确定所述接触的强度满足所述相应强度阈值，生成触觉输出。
24.根据项目19至23中任一项所述的方法，其中所述电子设备包括一个或多个触觉输出发生器，所述相应强度阈值是高于第一强度阈值的第二强度阈值，并且所述方法包括：
根据确定所述接触的强度不再满足所述第二强度阈值并且所述接触的强度满足所述第一强度阈值，生成触觉输出。
25.根据项目19至23中任一项所述的方法，其中：
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时，如果所述接触的强度满足所述相应强度阈值，则执行所述第一测量点的所述添加和所述显示；以及
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时，如果在所述电子设备移动之后所述接触的所述强度满足所述相应强度阈值，则执行所述第二测量点的所述添加和所述显示。
26.根据项目19至24中任一项所述的方法，其中：
所述相应强度阈值是高于所述第一强度阈值的第二强度阈值；
所述第一标准包括要求所述接触的强度在满足所述相应强度阈值之后下降到所述相应强度阈值以下以便满足所述第一标准；
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时，如果所述接触的强度降低到所述相应强度阈值以下，则执行所述第一测量点的所述添加和所述显示；以及
在所述电子设备移动之后并且当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时，如果所述接触的强度降低到所述相应强度阈值以下，则执行所述第二测量点的所述添加和所述显示。
27.根据项目19至26中任一项所述的方法，包括：
在显示所述一个或多个相机的所述视野的表示时：
确定所述一个或多个相机的所述视野的表示中对应于所述三维空间中的相应位置的锚定点；以及
随着所述一个或多个相机的移动，当所述测量点创建指示符在所述锚定点之上时，改变所述测量点创建指示符的视觉外观以指示：如果所述接触满足所述第一标准，则将在所述锚定点处添加相应测量点。
28.根据项目19至27中任一项所述的方法，其中所述用户界面包括示能表示，当所述示能表示被激活时，在所述视野的表示中所述测量点创建指示符在其之上显示的位置添加测量点，并且所述方法包括；
检测激活所述示能表示的触摸输入；以及
响应于检测到激活所述示能表示的所述触摸输入，在所述视野的表示中所述测量点创建指示符在其之上显示的所述位置添加和显示测量点。
29.一种电子设备，包括：
触敏显示器；
用于检测与所述触敏显示器的接触的强度的一个或多个传感器；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
检测所述触敏显示器上的接触；以及
在连续检测到所述触敏显示器上的所述接触时：
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时：
根据确定满足第一标准，在所述视野的表示中添加和显示对应于所述三维空间中的第一位置的第一测量点，其中所述第一标准包括要求所述接触的强度满足相应强度阈值以便所述第一标准得到满足；
在添加所述第一测量点之后，随着所述电子设备的移动更新所述视野的表示；以及
在所述电子设备移动之后，当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时满足所述第一标准：
在所述视野的表示中添加和显示对应于所述三维空间中的第二位置的第二测量点；以及
显示连接所述第一测量点和所述第二测量点的第一测量段。
30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由包括触敏显示器、用以检测与所述触敏显示器的接触的强度的一个或多个传感器以及一个或多个相机的电子设备执行时，使得所述电子设备：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
检测所述触敏显示器上的接触；以及
在连续检测到所述触敏显示器上的所述接触时：
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时：
根据确定满足第一标准，在所述视野的表示中添加和显示对应于所述三维空间中的第一位置的第一测量点，其中所述第一标准包括要求所述接触的强度满足相应强度阈值以便所述第一标准得到满足；
在添加所述第一测量点之后，随着所述电子设备的移动更新所述视野的表示；以及
在所述电子设备移动之后，当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时满足所述第一标准：
在所述视野的表示中添加和显示对应于所述三维空间中的第二位置的第二测量点；以及
显示连接所述第一测量点和所述第二测量点的第一测量段。
31.一种电子设备，包括：
触敏显示器；
用于检测与所述触敏显示器的接触的强度的一个或多个传感器；
一个或多个相机；
用于在所述触敏显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
用于检测所述触敏显示器上的接触的装置；以及
在连续检测到所述触敏显示器上的所述接触时启用的装置，所述装置包括：
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时启用的装置，所述装置包括：
根据确定满足第一标准而启用的装置，用于在所述视野的表示中添加和显示对应于所述三维空间中的第一位置的第一测量点，其中所述第一标准包括要求所述接触的强度满足相应强度阈值以便所述第一标准得到满足；
在添加所述第一测量点之后启用的装置，用于随着所述电子设备的移动更新所述视野的表示；以及
在所述电子设备移动之后，当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时启用的装置，所述装置包括：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时满足所述第一标准而启用的装置：
用于在所述视野的表示中添加和显示对应于所述三维空间中的第二位置的第二测量点的装置；以及
用于显示连接所述第一测量点和所述第二测量点的第一测量段的装置。
32.一种用于在包括触敏显示器、用以检测与所述触敏显示器的接触的强度的一个或多个传感器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述触敏显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
用于检测所述触敏显示器上的接触的装置；以及
在连续检测到所述触敏显示器上的所述接触时启用的装置，所述装置包括：
当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第一位置相对应的第一位置之上时启用的装置，所述装置包括：
根据确定满足第一标准而启用的装置，用于在所述视野的表示中添加和显示对应于所述三维空间中的第一位置的第一测量点，其中所述第一标准包括要求所述接触的强度满足相应强度阈值以便所述第一标准得到满足；
在添加所述第一测量点之后启用的装置，用于随着所述电子设备的移动更新所述视野的表示；以及
在所述电子设备移动之后，当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的第二位置之上时启用的装置，所述装置包括：
根据确定当所述测量点创建指示符显示在所述视野的表示中与所述三维空间中的第二位置相对应的所述第二位置之上时满足所述第一标准而启用的装置：
用于在所述视野的表示中添加和显示对应于所述三维空间中的第二位置的第二测量点的装置；以及
用于显示连接所述第一测量点和所述第二测量点的第一测量段的装置。
33.一种电子设备，包括：
触敏显示器；
用于检测与所述触敏显示器的接触的强度的一个或多个传感器；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目19至28所述的方法中的任一方法的指令。
34.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由包括触敏显示器、用以检测与所述触敏显示器的接触的强度的一个或多个传感器以及一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目19至28所述的方法中的任一方法。
35.一种电子设备上的图形用户界面，所述电子设备包括触敏显示器、用以检测与所述触敏显示器的接触的强度的一个或多个传感器、一个或多个相机、存储器、以及用以执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目19至28所述的方法中的任一方法显示的用户界面。
36.一种电子设备，包括：
触敏显示器；
用于检测与所述触敏显示器的接触的强度的一个或多个传感器；
一个或多个相机；以及
用于执行根据项目19至28所述的方法中的任一方法的装置。
37.一种用于在包括触敏显示器、用以检测与所述触敏显示器的接触的强度的一个或多个传感器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目19至28所述的方法中的任一方法的装置。
38.一种方法，包括：
在具有触敏显示器和一个或多个相机的电子设备处：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时：
确定所述视野的表示中对应于所述三维空间中的第一位置的位置处的锚定点；
随着所述一个或多个相机中的至少一个移动，当所述测量点创建指示符在所述锚定点之上时，改变所述测量点创建指示符的视觉外观以指示：如果所述触摸输入满足第一标准，则将在所述锚定点处添加测量点；
检测所述触敏显示器上满足所述第一标准的第一触摸输入；以及
响应于检测到满足所述第一标准的所述第一触摸输入：
根据确定当满足所述第一标准时所述测量点创建指示符在所述锚定点之上，在所述视野的表示中对应于所述三维空间中的第一位置的所述锚定点处添加和显示第一测量点；以及
根据确定当满足所述第一标准时所述测量点创建指示符不在所述锚定点之上，在所述视野的表示中离开所述锚定点的第一位置处添加和显示第一测量点。
39.根据项目38所述的方法，其中：
所确定的锚定点也是所显示的测量表示的端点；以及
在触摸输入满足第一标准的情况下在所述锚定点处添加测量点将不会在所述视野的表示中形成由多个所显示的测量段包围的区域。
40.根据项目38所述的方法，包括：
在所述视野的表示之上显示第一测量的表示，其中：
所述第一测量的所述表示包括对应于所述三维空间中的第二位置的第一端点；
所述第一测量的所述表示包括对应于所述三维空间中的第三位置的第二端点；
所述第一测量的所述表示包括连接所述第一端点和所述第二端点的第一线段；以及
所确定的锚定点为所述第一线段的中点。
41.根据项目38至40中任一项所述的方法，其中所述电子设备包括一个或多个触觉输出发生器，并且所述方法包括：
随着所述一个或多个相机中的至少一个移动，当所述测量点创建指示符在所述锚定点之上时：
结合改变所述测量点创建指示符的所述视觉外观，生成触觉输出；
其中在触摸输入满足第一标准的情况下在所述锚定点处添加测量点将不会在所述一个或多个相机的所述视野的表示中形成由多个所显示的测量段包围的区域。
42.根据项目38至41中任一项所述的方法，其中所述电子设备包括一个或多个触觉输出发生器，并且所述方法包括：
检测所述测量点创建指示符远离所述锚定点的移动；以及
响应于检测到所述测量点创建指示符远离所述锚定点的所述移动，生成触觉输出。
43.根据项目38至42中任一项所述的方法，其中所述电子设备包括一个或多个触觉输出发生器，并且所述方法包括：
响应于检测到满足所述第一标准的所述第一触摸输入：
添加所述第一测量点而不添加连接到所述第一测量点的测量段；以及
生成第一触觉输出；
检测所述测量点创建指示符到所述视野的表示中的第二位置的移动，所述第二位置对应于所述三维空间中的第二位置；
当所述测量点创建指示符在所述视野的表示中的第二位置之上时，检测到所述触敏显示器上的满足所述第一标准的第二触摸输入；以及
响应于检测到满足所述第一标准的所述第二触摸输入：
在所述视野的表示中的第二位置处添加第二测量点；
在所述第一测量点和所述第二测量点之间添加测量段；以及
生成与所述第一触觉输出不同的第二触觉输出。
44.根据项目38至43中任一项所述的方法，包括：
随着所述一个或多个相机中的至少一个移动：
当所述视野的表示包括与所述一个或多个相机中的至少一个的所述视野中的所述三维空间中所识别的物理特征相对应的区域时，显示所述测量点创建指示符；以及
当所述视野的表示不包括与所述三维空间中所识别的物理特征相对应的区域时，停止显示所述测量点创建指示符。
45.一种电子设备，包括：
触敏显示器；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时：
确定所述视野的表示中对应于所述三维空间中的第一位置的位置处的锚定点；
随着所述一个或多个相机中的至少一个移动，当所述测量点创建指示符在所述锚定点之上时，改变所述测量点创建指示符的视觉外观以指示：如果所述触摸输入满足第一标准，则将在所述锚定点处添加测量点；
检测所述触敏显示器上满足所述第一标准的第一触摸输入；以及
响应于检测到满足所述第一标准的所述第一触摸输入：
根据确定当满足所述第一标准时所述测量点创建指示符在所述锚定点之上，在所述视野的表示中对应于所述三维空间中的第一位置的所述锚定点处添加和显示第一测量点；以及
根据确定当满足所述第一标准时所述测量点创建指示符不在所述锚定点之上，在所述视野的表示中离开所述锚定点的第一位置处添加和显示第一测量点。
46.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括触敏显示器和一个或多个相机的电子设备执行时，使得所述电子设备：
在所述触敏显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时：
确定所述视野的表示中对应于所述三维空间中的第一位置的位置处的锚定点；
随着所述一个或多个相机中的至少一个移动，当所述测量点创建指示符在所述锚定点之上时，改变所述测量点创建指示符的视觉外观以指示：如果所述触摸输入满足第一标准，则将在所述锚定点处添加测量点；
检测所述触敏显示器上满足所述第一标准的第一触摸输入；以及
响应于检测到满足所述第一标准的所述第一触摸输入：
根据确定当满足所述第一标准时所述测量点创建指示符在所述锚定点之上，在所述视野的表示中对应于所述三维空间中的第一位置的所述锚定点处添加和显示第一测量点；以及
根据确定当满足所述第一标准时所述测量点创建指示符不在所述锚定点之上，在所述视野的表示中离开所述锚定点的第一位置处添加和显示第一测量点。
47.一种电子设备，包括：
触敏显示器；
一个或多个相机；以及
用于在所述触敏显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时启用的装置，所述装置包括：
用于确定所述视野的表示中对应于所述三维空间中的第一位置的位置处的锚定点的装置；
随着所述一个或多个相机中的至少一个移动并且当所述测量点创建指示符在所述锚定点之上时启用的装置，用于改变所述测量点创建指示符的视觉外观以指示：如果所述触摸输入满足第一标准，则将在所述锚定点处添加测量点；
用于检测所述触敏显示器上满足所述第一标准的第一触摸输入的装置；以及
响应于检测到满足所述第一标准的所述第一触摸输入而启用的装置，所述装置包括：
根据确定当满足所述第一标准时所述测量点创建指示符在所述锚定点之上而启用的装置，用于在所述视野的表示中对应于所述三维空间中的第一位置的所述锚定点处添加和显示第一测量点；以及
根据确定当满足所述第一标准时所述测量点创建指示符不在所述锚定点之上而启用的装置，用于在所述视野的表示中离开所述锚定点的第一位置处添加和显示第一测量点。
48.一种用于在包括触敏显示器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述触敏显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述用户界面包括显示在所述视野的表示之上的测量点创建指示符；以及
所述视野包括三维空间的至少一部分；
在显示所述视野的表示时启用的装置，所述装置包括：
用于确定所述视野的表示中对应于所述三维空间中的第一位置的位置处的锚定点的装置；
随着所述一个或多个相机中的至少一个移动并且当所述测量点创建指示符在所述锚定点之上时启用的装置，用于改变所述测量点创建指示符的视觉外观以指示：如果所述触摸输入满足第一标准，则将在所述锚定点处添加测量点；
用于检测所述触敏显示器上满足所述第一标准的第一触摸输入的装置；以及
响应于检测到满足所述第一标准的所述第一触摸输入而启用的装置，所述装置包括：
根据确定当满足所述第一标准时所述测量点创建指示符在所述锚定点之上而启用的装置，用于在所述视野的表示中对应于所述三维空间中的第一位置的所述锚定点处添加和显示第一测量点；以及
根据确定当满足所述第一标准时所述测量点创建指示符不在所述锚定点之上而启用的装置，用于在所述视野的表示中离开所述锚定点的第一位置处添加和显示第一测量点。
49.一种电子设备，包括：
触敏显示器；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目38至44所述的方法中的任一方法的指令。
50.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括触敏显示器和一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目38至44所述的方法中的任一方法。
51.一种电子设备上的图形用户界面，所述电子设备包括触敏显示器、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目38至44所述的方法中的任一方法显示的用户界面。
52.一种电子设备，包括：
触敏显示器；
一个或多个相机；以及
用于执行根据项目38至44所述的方法中的任一方法的装置。
53.一种用于在包括触敏显示器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目38至44所述的方法中的任一方法的装置。
54.一种方法，包括：
在具有显示器、输入设备以及一个或多个相机的电子设备处：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示的同时，经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示；以及
在所述视野的表示之上同时显示所述第一测量的所述表示和描述所述第一测量的第一标签，其中：
根据确定所述电子设备和所述物理对象之间的第一距离小于第一阈值距离，以第一阈值大小显示所述第一标签；
根据确定所述电子设备和所述物理对象之间的所述第一距离大于第二阈值距离，以小于所述第一阈值大小的第二阈值大小显示所述第一标签，其中所述第二阈值距离大于所述第一阈值距离；以及
根据确定所述电子设备和所述物理对象之间的所述第一距离在所述第一阈值距离和所述第二阈值距离之间，以所述第一阈值大小和所述第二阈值大小之间的大小显示所述第一标签，所述大小取决于所述电子设备和所述物理对象之间的所述第一距离。
55.根据项目54所述的方法，包括：
当在所述视野的表示之上同时显示所述测量的所述表示和描述所述测量的所述标签时：
当所述电子设备距所述物理对象第一距离时，沿着所述测量的所述表示以第一刻度显示一个或多个第一刻度标记；
检测将所述电子设备移动到距所述物理对象第二距离的所述电子设备的移动；以及
当所述电子设备距所述物理对象第二距离时，沿着所述测量的所述表示的至少一部分以与所述第一刻度不同的第二刻度显示一个或多个第二刻度标记。
56.根据项目54至55中任一项所述的方法，包括：
检测第二组一个或多个用户输入，所述第二组一个或多个用户输入在所述视野的表示之上添加与所述三维空间中的相应物理对象相对应的第二测量的表示；
在所述视野的表示之上同时显示所述第二测量的所述表示和描述所述第二测量的第二标签，其中：
根据确定所述电子设备和所述相应物理对象之间的第二距离小于所述第一阈值距离，以所述第一阈值大小显示所述第二标签；
根据确定所述电子设备和所述相应物理对象之间的所述第二距离大于所述第二阈值距离，以所述第二阈值大小显示所述第二标签；以及
根据确定所述电子设备和所述相应物理对象之间的所述第二距离在所述第一阈值距离和所述第二阈值距离之间，以所述第一阈值大小和所述第二阈值大小之间的大小显示所述第二标签，所述大小取决于所述电子设备和所述相应物理对象之间的所述第二距离。
57.根据项目56所述的方法，其中：
所述电子设备与所述第一测量所对应的所述物理对象之间的所述第一距离不同于所述电子设备与所述第二测量所对应的所述相应物理对象之间的所述第二距离；
所述第一标签以第一大小显示；
所述第二标签以第二大小显示；以及
所述第一大小不同于所述第二大小。
58.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示的同时，经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示；以及
在所述视野的表示之上同时显示所述第一测量的所述表示和描述所述第一测量的第一标签，其中：
根据确定所述电子设备和所述物理对象之间的第一距离小于第一阈值距离，以第一阈值大小显示所述第一标签；
根据确定所述电子设备和所述物理对象之间的所述第一距离大于第二阈值距离，以小于所述第一阈值大小的第二阈值大小显示所述第一标签，其中所述第二阈值距离大于所述第一阈值距离；以及
根据确定所述电子设备和所述物理对象之间的所述第一距离在所述第一阈值距离和所述第二阈值距离之间，以所述第一阈值大小和所述第二阈值大小之间的大小显示所述第一标签，所述大小取决于所述电子设备和所述物理对象之间的所述第一距离。
59.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述电子设备：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示的同时，经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示；以及
在所述视野的表示之上同时显示所述第一测量的所述表示和描述所述第一测量的第一标签，其中：
根据确定所述电子设备和所述物理对象之间的第一距离小于第一阈值距离，以第一阈值大小显示所述第一标签；
根据确定所述电子设备和所述物理对象之间的所述第一距离大于第二阈值距离，以小于所述第一阈值大小的第二阈值大小显示所述第一标签，所述第二阈值距离大于所述第一阈值距离；以及
根据确定所述电子设备和所述物理对象之间的所述第一距离在所述第一阈值距离和所述第二阈值距离之间，以所述第一阈值大小和所述第二阈值大小之间的大小显示所述第一标签，所述大小取决于所述电子设备和所述物理对象之间的所述第一距离。
60.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；以及
用于在所述显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示时启用的装置，用于经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示；以及
用于在所述视野的表示之上同时显示所述第一测量的所述表示和描述所述第一测量的第一标签的装置，其中：
根据确定所述电子设备和所述物理对象之间的第一距离小于第一阈值距离，以第一阈值大小显示所述第一标签；
根据确定所述电子设备和所述物理对象之间的所述第一距离大于第二阈值距离，以小于所述第一阈值大小的第二阈值大小显示所述第一标签，所述第二阈值距离大于所述第一阈值距离；以及
根据确定所述电子设备和所述物理对象之间的所述第一距离在所述第一阈值距离和所述第二阈值距离之间，以所述第一阈值大小和所述第二阈值大小之间的大小显示所述第一标签，所述大小取决于所述电子设备和所述物理对象之间的所述第一距离。
61.一种用于在包括显示器、输入设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示时启用的装置，用于经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示；以及
用于在所述视野的表示之上同时显示所述第一测量的所述表示和描述所述第一测量的第一标签的装置，其中：
根据确定所述电子设备和所述物理对象之间的第一距离小于第一阈值距离，以第一阈值大小显示所述第一标签；
根据确定所述电子设备和所述物理对象之间的所述第一距离大于第二阈值距离，以小于所述第一阈值大小的第二阈值大小显示所述第一标签，所述第二阈值距离大于所述第一阈值距离；以及
根据确定所述电子设备和所述物理对象之间的所述第一距离在所述第一阈值距离和所述第二阈值距离之间，以所述第一阈值大小和所述第二阈值大小之间的大小显示所述第一标签，所述大小取决于所述电子设备和所述物理对象之间的所述第一距离。
62.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目54至57所述的方法中的任一方法的指令。
63.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述计算机系统执行根据项目54至57所述的方法中的任一方法。
64.一种电子设备上的图形用户界面，所述电子设备包括显示器、输入设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目54至57所述的方法中的任一方法显示的用户界面。
65.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；以及
用于执行根据项目54至57所述的方法中的任一方法的装置。
66.一种用于在包括显示器、输入设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目54至57所述的方法中的任一方法的装置。
67.一种方法，包括：
在具有显示器、输入设备以及一个或多个相机的电子设备处：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示的同时，经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示，其中：
所述第一测量的所述表示包括对应于所述物理对象上的第一位置的第一端点；
所述第一测量的所述表示包括对应于所述物理对象上的第二位置的第二端点；以及
所述第一测量的所述表示包括连接所述第一端点和所述第二端点的第一线段；
部分地基于所述第一测量，确定所述视野的表示中与所述第一测量的所述第一线段毗邻的第一区域，其中所述第一区域对应于所述三维空间中的物理矩形区域；以及
在所述用户界面中显示所述第一区域的指示，其中所述指示覆盖在所述视野的表示中的所述第一区域上。
68.根据项目67的方法，其中所述用户界面包括显示在所述视野的表示之上的测量点创建指示符，并且所述方法包括：
当所述测量点创建指示符在所述第一区域之上时，经由所述输入设备检测用户输入；
响应于在所述测量点创建指示符在所述第一区域之上时检测到所述用户输入：
改变所述第一区域的所述指示的视觉外观以指示所述第一区域已被确认。
69.根据项目67至68中任一项所述的方法，其中：
所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第二测量的表示，其中：
所述第二测量的所述表示包括对应于所述物理对象上的所述第二位置的所述第二端点；
所述第二测量的所述表示包括对应于所述物理对象上的第三位置的第三端点；并且
所述第二测量的所述表示包括连接所述第二端点和所述第三端点的第二线段；并且
所述一个或多个相机的所述视野的表示中的所述第一区域是基于所述第一测量和所述第二测量而确定的。
70.根据项目67至69中任一项所述的方法，其中所述一个或多个相机中的至少一个的所述视野包括所述物理矩形区域的第一部分，并且所述第一区域对应于所述物理矩形区域的所述第一部分，并且所述方法包括：
检测所述电子设备的移动，所述移动使所述一个或多个相机中的至少一个的所述视野移动；
响应于检测到使所述视野移动的所述电子设备的移动，随时间更新所述视野的表示以显示与所述物理矩形区域的一个或多个额外部分相对应的一个或多个额外区域的一个或多个指示；以及
根据确定包括所述第一区域和随时间显示的所述一个或多个额外区域的聚合区域对应于所述整个物理矩形区域，在所述视野的表示之上显示标签，所述标签描述与所述物理矩形区域相对应的测量。
71.根据项目70所述的方法，包括：
在根据确定所述聚合区域对应于所述整个物理矩形区域而在所述视野的表示之上显示描述与所述物理矩形区域相对应的所述测量的所述标签之后，检测所述电子设备的进一步移动，所述进一步移动使所述一个或多个相机中的至少一个的所述视野移动从而使得所述视野的表示包括与所述物理矩形区域的所述第一部分相对应的所述第一区域；以及
根据确定所述聚合区域对应于所述整个物理矩形区域，在与所述物理矩形区域的所述第一部分相对应的所述第一区域之上显示描述与所述物理矩形区域相对应的所述测量的所述标签。
72.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示的同时，经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示，其中：
所述第一测量的所述表示包括对应于所述物理对象上的第一位置的第一端点；
所述第一测量的所述表示包括对应于所述物理对象上的第二位置的第二端点；以及
所述第一测量的所述表示包括连接所述第一端点和所述第二端点的第一线段；
部分地基于所述第一测量，确定所述视野的表示中与所述第一测量的所述第一线段毗邻的第一区域，其中所述第一区域对应于所述三维空间中的物理矩形区域；以及
在所述用户界面中显示所述第一区域的指示，其中所述指示覆盖在所述视野的表示中的所述第一区域上。
73.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述电子设备：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示的同时，经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示，其中：
所述第一测量的所述表示包括对应于所述物理对象上的第一位置的第一端点；
所述第一测量的所述表示包括对应于所述物理对象上的第二位置的第二端点；以及
所述第一测量的所述表示包括连接所述第一端点和所述第二端点的第一线段；
部分地基于所述第一测量，确定所述视野的表示中与所述第一测量的所述第一线段毗邻的第一区域，其中所述第一区域对应于所述三维空间中的物理矩形区域；以及
在所述用户界面中显示所述第一区域的指示，其中所述指示覆盖在所述视野的表示中的所述第一区域上。
74.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
用于在所述显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示时启用的装置，用于经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示，其中：
所述第一测量的所述表示包括对应于所述物理对象上的第一位置的第一端点；
所述第一测量的所述表示包括对应于所述物理对象上的第二位置的第二端点；以及
所述第一测量的所述表示包括连接所述第一端点和所述第二端点的第一线段；
用于部分地基于所述第一测量来确定所述视野的表示中与所述第一测量的所述第一线段毗邻的第一区域的装置，其中所述第一区域对应于所述三维空间中的物理矩形区域；以及
用于在所述用户界面中显示所述第一区域的指示的装置，其中所述指示覆盖在所述视野的表示中的所述第一区域上。
75.一种用于在包括显示器、输入设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间中的物理对象；
在显示所述视野的表示时启用的装置，用于经由所述输入设备检测一个或多个用户输入，所述一个或多个用户输入在所述视野的表示之上添加与所述物理对象相对应的第一测量的表示，其中：
所述第一测量的所述表示包括对应于所述物理对象上的第一位置的第一端点；
所述第一测量的所述表示包括对应于所述物理对象上的第二位置的第二端点；以及
所述第一测量的所述表示包括连接所述第一端点和所述第二端点的第一线段；
用于部分地基于所述第一测量来确定所述视野的表示中与所述第一测量的所述第一线段毗邻的第一区域的装置，其中所述第一区域对应于所述三维空间中的物理矩形区域；以及
用于在所述用户界面中显示所述第一区域的指示的装置，其中所述指示覆盖在所述视野的表示中的所述第一区域上。
76.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目67至71所述的方法中的任一方法的指令。
77.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目67至71所述的方法中的任一方法。
78.一种电子设备上的图形用户界面，所述电子设备包括显示器、输入设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目67至71所述的方法中的任一方法显示的用户界面。
79.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；以及
用于执行根据项目67至71所述的方法中的任一方法的装置。
80.一种用于在包括显示器、输入设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目67至71所述的方法中的任一方法的装置。
81.一种方法，包括：
在具有触敏显示器和一个或多个相机的电子设备处：
在所述触敏显示器上显示应用程序的第一用户界面，其中：
所述第一用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述视野包括三维空间中的物理对象；以及
所述物理对象的测量的表示叠加在所述视野的表示中所述物理对象的图像上；
在显示所述第一用户界面的同时，检测所述触敏显示器上在所述测量的所述表示上的第一触摸输入；以及
响应于检测到所述触敏显示器上在所述测量的所述表示上的所述第一触摸输入，启动用于共享关于所述测量的信息的过程。
82.根据项目81所述的方法，其中启动用于共享关于所述测量的信息的所述过程包括复制关于所述测量的所述信息，并且所述方法包括：
在复制关于所述测量的所述信息之后，检测用以将关于所述测量的所述信息粘贴到所述电子设备上的目的地的一个或多个用户输入；以及
响应于检测到用以将关于所述测量的所述信息粘贴到所述电子设备上的所述目的地的所述一个或多个用户输入，在所述电子设备上的所述目的地显示关于所述测量的所述信息。
83.根据项目81所述的方法，其中：
启动用于共享关于所述测量的所述信息的所述过程包括显示包括一个或多个可激活用户界面元素的第二用户界面，其中所述一个或多个可激活用户界面元素中的相应可激活用户界面元素对应于关于所述测量的所述信息的相应目的地；以及
所述方法包括：
检测所述触敏显示器上在所述第二用户界面中的相应可激活用户界面元素上的第二触摸输入；以及
响应于检测到所述第二触摸输入，将关于所述测量的所述信息发送到对应于所述相应可激活用户界面元素的相应目的地。
84.根据项目81至83中任一项所述的方法，包括：
响应于检测到所述触敏显示器上在所述测量的所述表示上的所述第一触摸输入，显示关于所述测量的所述信息。
85.根据项目84所述的方法，其中根据确定所述第一触摸输入满足第一标准来执行关于所述测量的所述信息的所述显示，其中所述第一标准包括要求所述第一触摸输入中的接触的强度满足相应强度阈值以便满足所述第一标准。
86.根据项目81至85中任一项所述的方法，包括：
确定所述物理对象的分类；
其中关于所述测量的所述信息包括指示所述物理对象的所述分类的标签。
87.根据项目81至86中任一项所述的方法，其中至少部分地基于所述电子设备在所述测量期间在第一方向上的移动，所述测量的所述表示被添加到了所述应用程序的所述用户界面，并且所述方法包括：
至少部分地基于所述电子设备在所述测量期间在所述第一方向上的所述移动来确定所述测量和所述物理对象之间的关系的分类；
其中，关于所述测量的所述信息包括指示所述测量和所述物理对象之间的所述关系的所述分类的标签。
88.一种电子设备，包括：
触敏显示器；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述触敏显示器上显示应用程序的第一用户界面，其中：
所述第一用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述视野包括三维空间中的物理对象；以及
所述物理对象的测量的表示叠加在所述视野的表示中所述物理对象的图像上；
在显示所述第一用户界面的同时，检测所述触敏显示器上在所述测量的所述表示上的第一触摸输入；以及
响应于检测到所述触敏显示器上在所述测量的所述表示上的所述第一触摸输入，启动用于共享关于所述测量的信息的过程。
89.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括触敏显示器和一个或多个相机的电子设备执行时，使得所述电子设备：
在所述触敏显示器上显示应用程序的第一用户界面，其中：
所述第一用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述视野包括三维空间中的物理对象；以及
所述物理对象的测量的表示叠加在所述视野的表示中所述物理对象的图像上；
在显示所述第一用户界面的同时，检测所述触敏显示器上在所述测量的所述表示上的第一触摸输入；以及
响应于检测到所述触敏显示器上在所述测量的所述表示上的所述第一触摸输入，启动用于共享关于所述测量的信息的过程。
90.一种电子设备，包括：
触敏显示器；
一个或多个相机；
用于在所述触敏显示器上显示应用程序的第一用户界面的装置，其中：
所述第一用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述视野包括三维空间中的物理对象；以及
所述物理对象的测量的表示叠加在所述视野的表示中所述物理对象的图像上；
在显示所述第一用户界面时启用的装置，用于检测所述触敏显示器上在所述测量的所述表示上的第一触摸输入；以及
响应于检测到所述触敏显示器上在所述测量的所述表示上的所述第一触摸输入而启用的装置，用于启动用于共享关于所述测量的信息的过程。
91.一种用于在包括触敏显示器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述触敏显示器上显示应用程序的第一用户界面的装置，其中：
所述第一用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；
所述视野包括三维空间中的物理对象；以及
所述物理对象的测量的表示叠加在所述视野的表示中所述物理对象的图像上；
在显示所述第一用户界面时启用的装置，用于检测所述触敏显示器上在所述测量的所述表示上的第一触摸输入；以及
响应于检测到所述触敏显示器上在所述测量的所述表示上的所述第一触摸输入而启用的装置，用于启动用于共享关于所述测量的信息的过程。
92.一种电子设备，包括：
触敏显示器；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目81至87所述的方法中的任一方法的指令。
93.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括触敏显示器和一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目81至87所述的方法中的任一方法。
94.一种电子设备上的图形用户界面，所述电子设备包括触敏显示器、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目81至87所述的方法中的任一方法显示的用户界面。
95.一种电子设备，包括：
触敏显示器；
一个或多个相机；以及
用于执行根据项目81至87所述的方法中的任一方法的装置。
96.一种用于在包括触敏显示器以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目81至87所述的方法中的任一方法的装置。
97.一种方法，包括：
在具有显示器、输入设备以及一个或多个相机的电子设备处：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
检测所述电子设备的移动，所述移动使所述一个或多个相机中的至少一个的所述视野在第一方向上移动；
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动时：
根据所述电子设备的所述移动来更新所述视野的表示；
识别所述视野的表示中沿所述第一方向延伸的一个或多个第一元素；以及
至少部分地基于所述一个或多个第一元素的确定，在所述视野的表示中显示在所述第一方向上延伸并且对应于所识别的一个或多个第一元素中的一个的第一引导。
98.根据项目97所述的方法，其中所述视野包括多个元素，并且所述多个元素包括在所述第一方向以外的方向上延伸的一个或多个元素，并且所述方法包括：
在检测使所述视野在所述第一方向上移动的所述电子设备的移动时，放弃显示在所述第一方向以外的方向上延伸的引导。
99.根据项目97至98中任一项所述的方法，包括：
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动之前：
检测所述触敏显示器上的第一触摸输入；以及
响应于检测到所述第一触摸输入，在所述视野的表示中的第一位置处添加和显示第一测量点，所述第一位置对应于所述三维空间中的第一位置；
其中：
显示所述第一引导还基于确定所述一个或多个第一元素对应于所述三维空间中的第一位置；以及
所述第一引导包括所述视野的表示中的第一位置。
100.根据项目99所述的方法，其中在所述视野的表示中的第一位置处的所述第一测量点是所述视野的表示中最新近添加的测量点。
101.根据项目97至100中任一项所述的方法，包括：
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动之后，检测使所述视野在第二方向上移动的所述电子设备的移动；
响应于检测到使所述视野在所述第二方向上移动的所述电子设备的移动，停止显示在所述第一方向上延伸的所述第一引导；以及
在检测到使所述视野在所述第二方向上移动的所述电子设备的移动时：
根据所述电子设备的所述移动来更新所述视野的表示；
识别所述视野的表示中沿所述第二方向延伸的一个或多个第二元素；以及
至少部分地基于所述一个或多个第二元素的确定，在所述视野的表示中显示在所述第二方向上延伸并且对应于所识别的一个或多个第二识别元素中的一个的第二引导。
102.根据项目97至101中任一项所述的方法，其中所述第一引导对应的所识别的一个或多个第一元素中的至少一个是在所述三维空间中被识别为物理对象的边缘的元素。
103.根据项目97至101中任一项所述的方法，其中所述第一引导对应的所识别的一个或多个第一元素中的至少一个是在所述三维空间中被识别为平面的元素。
104.根据项目97至103中任一项所述的方法，其中所述用户界面包括显示在所述视野的表示之上的测量点创建指示符，并且所述方法包括：
在所述视野的表示中的相应位置处显示相应测量点，所述相应位置对应于所述三维空间中的相应位置；
检测使所述测量点创建指示符在所述视野的表示中的所述相应测量点之上移动的所述电子设备的移动；
响应于当所述测量点创建指示符显示在所述相应测量点之上时检测到所述电子设备的所述移动，显示多个引导，其中所述多个引导中的第一引导垂直于所述多个引导中的第二引导，并且其中所述多个引导在所述相应测量点处相交。
105.根据项目97至104中任一项所述的方法，其中所述用户界面包括显示在所述视野的表示中的第二位置之上的测量点创建指示符，并且所述方法包括：
在显示在所述第一方向上延伸的所述第一引导时：
检测所述触敏显示器上的第二触摸输入；
响应于检测到所述第二触摸输入：
根据确定所述第二位置与所述第一引导之间的距离在阈值距离内，在所述第一引导上距所述第二位置该距离的位置处添加和显示第二测量点；以及
根据确定所述第二位置与所述第一引导之间的距离不在所述阈值距离内，在所述第二位置处添加和显示所述第二测量点。
106.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
检测所述电子设备的移动，所述移动使所述一个或多个相机中的至少一个的所述视野在第一方向上移动；
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动时：
根据所述电子设备的所述移动来更新所述视野的表示；
识别所述视野的表示中沿所述第一方向延伸的一个或多个第一元素；以及
至少部分地基于所述一个或多个第一元素的确定，在所述视野的表示中显示在所述第一方向上延伸并且对应于所识别的一个或多个第一元素中的一个的第一引导。
107.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述电子设备：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
检测所述电子设备的移动，所述移动使所述一个或多个相机中的至少一个的所述视野在第一方向上移动；
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动时：
根据所述电子设备的所述移动来更新所述视野的表示；
识别所述视野的表示中沿所述第一方向延伸的一个或多个第一元素；以及
至少部分地基于所述一个或多个第一元素的确定，在所述视野的表示中显示在所述第一方向上延伸并且对应于所识别的一个或多个第一元素中的一个的第一引导。
108.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；以及
用于在所述显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
用于检测使所述一个或多个相机中的至少一个的所述视野在第一方向上移动的所述电子设备的移动的装置；
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动时启用的装置，所述装置包括：
用于根据所述电子设备的所述移动来更新所述视野的表示的装置；
用于识别所述视野的表示中沿所述第一方向延伸的一个或多个第一元素的装置；以及
至少部分地基于所述一个或多个第一元素的确定而启用的装置，用于在所述视野的表示中显示在所述第一方向上延伸并且对应于所识别的一个或多个第一元素中的一个的第一引导。
109.一种用于在包括显示器、输入设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于在所述显示器上显示应用程序的用户界面的装置，其中：
所述用户界面包括所述一个或多个相机中的至少一个的视野的表示；
基于由所述一个或多个相机中的至少一个检测到的当前视觉数据的变化，随时间更新所述视野的表示；以及
所述视野包括三维空间的至少一部分；
用于检测使所述一个或多个相机中的至少一个的所述视野在第一方向上移动的所述电子设备的移动的装置；
在检测到使所述视野在所述第一方向上移动的所述电子设备的移动时启用的装置，所述装置包括：
用于根据所述电子设备的所述移动来更新所述视野的表示的装置；
用于识别所述视野的表示中沿所述第一方向延伸的一个或多个第一元素的装置；以及
至少部分地基于所述一个或多个第一元素的确定而启用的装置，用于在所述视野的表示中显示在所述第一方向上延伸并且对应于所识别的一个或多个第一元素中的一个的第一引导。
110.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目97至105所述的方法中的任一方法的指令。
111.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目97至105所述的方法中的任一方法。
112.一种电子设备上的图形用户界面，所述电子设备包括显示器、输入设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目97至105所述的方法中的任一方法显示的用户界面。
113.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；以及
用于执行根据项目97至105所述的方法中的任一方法的装置。
114.一种用于在包括显示器、输入设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目97至105所述的方法中的任一方法的装置。
115.一种方法，包括：
在具有一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备处：
经由所述一个或多个显示设备显示包括物理空间的表示的用户界面；
在显示所述物理空间的所述表示时，接收用以在所述物理空间的所述表示中创建虚拟标注的第一组一个或多个输入；
响应于接收到所述第一组一个或多个输入，将第一虚拟标注添加到所述物理空间的所述表示，其中所述第一虚拟标注链接到所述物理空间的所述表示的一部分；
在将所述第一虚拟标注添加到所述物理空间的所述表示之后，接收与所述物理空间的所述表示相关联的第二组一个或多个输入；以及
响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入：
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注阈值距离内的虚拟标注的请求，在所述物理空间的所述表示中创建第二虚拟标注，同时在所述物理空间的所述表示中保持所述第一虚拟标注；以及
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注所述阈值距离外的虚拟标注的请求，在所述物理空间的所述表示中创建第二虚拟标注并且从所述物理空间的所述表示中移除所述第一虚拟标注。
116.根据项目115所述的方法，其中在所述物理空间的所述表示中创建所述第二虚拟标注同时在所述物理空间的所述表示中保持所述第一虚拟标注包括：在与所述第一虚拟标注的至少一部分相对应的位置处开始创建所述第二虚拟标注。
117.根据项目115所述的方法，其中在所述物理空间的所述表示中创建所述第二虚拟标注同时在所述物理空间的所述表示中保持所述第一虚拟标注包括：在与所述第一虚拟标注的至少一部分相对应的位置处完成所述第二虚拟标注的创建。
118.根据项目115至117中任一项所述的方法，包括：响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入，根据确定所述第二组一个或多个输入对应于将所述一个或多个相机中的至少一个的视野移动超过阈值量的请求，从所述物理空间的所述表示中移除所述第一虚拟标注。
119.根据项目115至118中任一项所述的方法，包括：响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入，根据确定所述第二组一个或多个输入对应于将所述一个或多个相机中的至少一个的视野移动以使得所述第一虚拟标注在超过阈值时间量内不再可见的请求，从所述物理空间的所述表示中移除所述第一虚拟标注。
120.根据项目115至119中任一项所述的方法，包括在接收到所述第二组一个或多个输入时并且在所述第一虚拟标注处于所述物理空间的所述表示中时，输出表明进一步输入将导致所述第一虚拟标注从所述物理空间的所述表示中被移除的指示。
121.根据项目120所述的方法，其中所述指示是在所述用户界面的用于显示提示的预定部分中显示的视觉指示。
122.根据项目120所述的方法，其中所述指示是所述物理空间的所述表示中的所述第一虚拟标注的外观变化。
123.根据项目122所述的方法，其中所述第一虚拟标注是包括测量的描述的所述测量的表示，并且所述第一虚拟标注的所述外观变化包括从所述测量的所述表示中移除所述描述，同时保持所述测量的所述表示的至少一部分。
124.根据项目122所述的方法，包括，在显示所述物理空间的所述表示中的所述第一虚拟标注的所述外观变化之后：
检测在距所述第一虚拟标注阈值距离内的位置处的输入；以及
响应于检测到在距所述第一虚拟标注所述阈值距离内的所述位置处的所述输入，反转所述第一虚拟标注的所述外观变化。
125.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述一个或多个显示设备显示包括物理空间的表示的用户界面；
在显示所述物理空间的所述表示时，接收用以在所述物理空间的所述表示中创建虚拟标注的第一组一个或多个输入；
响应于接收到所述第一组一个或多个输入，将第一虚拟标注添加到所述物理空间的所述表示，其中所述第一虚拟标注链接到所述物理空间的所述表示的一部分；
在将所述第一虚拟标注添加到所述物理空间的所述表示之后，接收与所述物理空间的所述表示相关联的第二组一个或多个输入；以及
响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入：
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注阈值距离内的虚拟标注的请求，在所述物理空间的所述表示中创建第二虚拟标注，同时在所述物理空间的所述表示中保持所述第一虚拟标注；以及
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注所述阈值距离外的虚拟标注的请求，在所述物理空间的所述表示中创建第二虚拟标注并且从所述物理空间的所述表示中移除所述第一虚拟标注。
126.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备执行时，使得所述电子设备：
经由所述一个或多个显示设备显示包括物理空间的表示的用户界面；
在显示所述物理空间的所述表示时，接收用以在所述物理空间的所述表示中创建虚拟标注的第一组一个或多个输入；
响应于接收到所述第一组一个或多个输入，将第一虚拟标注添加到所述物理空间的所述表示，其中所述第一虚拟标注链接到所述物理空间的所述表示的一部分；
在将所述第一虚拟标注添加到所述物理空间的所述表示之后，接收与所述物理空间的所述表示相关联的第二组一个或多个输入；以及
响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入：
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注阈值距离内的虚拟标注的请求，在所述物理空间的所述表示中创建第二虚拟标注，同时在所述物理空间的所述表示中保持所述第一虚拟标注；以及
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注所述阈值距离外的虚拟标注的请求，在所述物理空间的所述表示中创建第二虚拟标注并且从所述物理空间的所述表示中移除所述第一虚拟标注。
127.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；
用于经由所述一个或多个显示设备显示包括物理空间的表示的用户界面的装置；
在显示所述物理空间的所述表示时被启用的装置，用于接收用以在所述物理空间的所述表示中创建虚拟标注的第一组一个或多个输入；
响应于接收到所述第一组一个或多个输入而被启用的装置，用于将第一虚拟标注添加到所述物理空间的所述表示，其中所述第一虚拟标注链接到所述物理空间的所述表示的一部分；
在将所述第一虚拟标注添加到所述物理空间的所述表示之后被启用的装置，用于接收与所述物理空间的所述表示相关联的第二组一个或多个输入；以及
响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入而被启用的装置，所述装置包括：
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注阈值距离内的虚拟标注的请求而被启用的装置，用于在所述物理空间的所述表示中创建第二虚拟标注，同时在所述物理空间的所述表示中保持所述第一虚拟标注；以及
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注所述阈值距离外的虚拟标注的请求而被启用的装置，用于在所述物理空间的所述表示中创建第二虚拟标注并且从所述物理空间的所述表示中移除所述第一虚拟标注。
128.一种用于在包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于经由所述一个或多个显示设备显示包括物理空间的表示的用户界面的装置；
在显示所述物理空间的所述表示时被启用的装置，用于接收用以在所述物理空间的所述表示中创建虚拟标注的第一组一个或多个输入；
响应于接收到所述第一组一个或多个输入而被启用的装置，用于将第一虚拟标注添加到所述物理空间的所述表示，其中所述第一虚拟标注链接到所述物理空间的所述表示的一部分；
在将所述第一虚拟标注添加到所述物理空间的所述表示之后被启用的装置，用于接收与所述物理空间的所述表示相关联的第二组一个或多个输入；以及
响应于接收到与所述物理空间的所述表示相关联的所述第二组一个或多个输入而被启用的装置，所述装置包括：
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注阈值距离内的虚拟标注的请求而被启用的装置，用于在所述物理空间的所述表示中创建第二虚拟标注，同时在所述物理空间的所述表示中保持所述第一虚拟标注；以及
根据确定所述第二组一个或多个输入对应于在所述物理空间的所述表示中创建距所述第一虚拟标注所述阈值距离外的虚拟标注的请求而被启用的装置，用于在所述物理空间的所述表示中创建第二虚拟标注并且从所述物理空间的所述表示中移除所述第一虚拟标注。
129.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目115至124所述的方法中的任一方法的指令。
130.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目115至124所述的方法中的任一方法。
131.一种电子设备上的图形用户界面，所述电子设备包括一个或多个输入设备、一个或多个显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目115至124所述的方法中的任一方法显示的用户界面。
132.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；以及
用于执行根据项目115至124所述的方法中的任一方法的装置。
133.一种用于在包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目115至124所述的方法中的任一方法的装置。
134.一种方法，包括：
在具有一个或多个输入设备、一个或多个显示设备，以及一个或多个相机的电子设备处：
经由所述一个或多个显示设备显示标注放置用户界面，所述标注放置用户界面包括：
物理空间的表示；以及
放置用户界面元素，所述放置用户界面元素指示响应于检测到标注放置输入，虚拟标注将被放置在所述物理空间的所述表示中的位置；
在显示所述标注放置用户界面时，检测所述一个或多个相机中的至少一个相对于所述物理空间的移动，其中当所述放置用户界面元素显示在所述物理空间的所述表示中对应于所述物理空间的第一部分的位置处时，所述一个或多个相机中的至少一个的所述移动开始；以及
响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，将所述放置用户界面元素移动到所述物理空间的所述表示中对应于所述物理空间的第二部分的位置，所述第二部分不同于所述物理空间的所述第一部分，并且根据所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，更新所述标注放置用户界面的外观，包括：
根据确定所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，停止显示所述放置用户界面元素的至少一部分；以及
根据确定所述设备已经识别出所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，保持所述放置用户界面元素的显示。
135.根据项目134所述的方法，其中响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动：
根据确定所述放置用户界面元素位于所述物理空间的所述表示中的与所述物理空间中距所述一个或多个相机之一第一距离的第一对象相对应的位置，以第一大小显示所述放置用户界面元素；以及
根据确定所述放置用户界面元素位于所述物理空间的所述表示中的与所述物理空间中距所述一个或多个相机之一第二距离的第二对象相对应的位置，以第二大小显示所述放置用户界面元素，其中所述第一距离大于所述第二距离并且所述第一大小小于所述第二大小。
136.根据项目135所述的方法，其中所述放置用户界面元素在所述物理空间的所述表示中的所述第一大小相对于所述物理空间中的所述第一对象比所述放置用户界面元素在所述物理空间的所述表示中的所述第二大小相对于所述物理空间中的所述第二对象更大。
137.根据项目134至136中任一项所述的方法，其中所述放置用户界面元素包括第一部分和第二部分，并且所述方法包括，响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动：
根据确定所述放置用户界面元素位于所述物理空间的所述表示中与所述物理空间中的预定义类型的特征相对应的位置，更新所述放置用户界面元素的外观以使得所述放置用户界面元素的所述第二部分相对于所述放置用户界面元素的所述第一部分被放大；以及
根据确定所述放置用户界面元素位于所述物理空间的所述表示中与所述物理空间中的预定义类型的特征不对应的位置，保持所述放置用户界面元素的显示而不将所述放置用户界面元素的所述第二部分相对于所述放置用户界面元素的所述第一部分放大。
138.根据项目134至136中任一项所述的方法，其中所述放置用户界面元素包括第一部分和第二部分，并且所述方法包括，响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动：
根据确定所述放置用户界面元素位于所述物理空间的所述表示中与所述物理空间中的预定义类型的特征相对应的位置，更新所述放置用户界面元素的外观以使得所述放置用户界面元素的所述第二部分相对于所述放置用户界面元素的所述第一部分移位；以及
根据确定所述放置用户界面元素位于所述物理空间的所述表示中与所述物理空间中的预定义类型的特征不对应的位置，保持所述放置用户界面元素的显示而不将所述放置用户界面元素的所述第二部分相对于所述放置用户界面元素的所述第一部分移位。
139.根据项目134至138中任一项所述的方法，包括响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的移动，根据确定所述设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，显示含有信息的提示，所述信息指示所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象。
140.根据项目134至138中任一项所述的方法，包括响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的移动，根据确定所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，显示含有信息的提示，所述信息指示所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象的原因。
141.根据项目140所述的方法，其中指示所述电子设备无法识别所述物理空间的所述第二部分中其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象的原因的所述信息包括以下中的一个或多个：关于需要更多光的指示，关于所述一个或多个相机中的至少一个移动得太快的指示，关于需要移动所述一个或多个相机中的至少一个来定位所述物理空间中的表面的指示，关于所述一个或多个相机中的至少一个需要移动得更远离所述物理空间中的对象的指示，以及关于所述一个或多个相机中的至少一个需要移动得更靠近所述物理空间中的对象的指示。
142.根据项目134至141中任一项所述的方法，包括，当在所述物理空间的所述表示上对应于所述物理空间的所述第二部分的位置处显示所述放置用户界面元素时：
检测放置输入；以及
响应于检测到所述放置输入，将虚拟标注的至少一部分放置在所述物理空间的所述表示中对应于所述放置用户界面元素的位置处。
143.根据项目134至141中任一项所述的方法，包括，当在所述物理空间的所述表示上对应于所述物理空间的所述第二部分的位置处显示所述放置用户界面元素时：
检测对应于所述放置用户界面元素的位置处的输入；以及
响应于检测到对应于所述放置用户界面元素的所述位置处的所述输入，在所述标注放置用户界面中显示与一不同的用户界面元素相邻的图形指示，所述图形指示指示所述不同的用户界面元素的激活将导致虚拟标注的至少一部分被放置在所述物理空间的所述表示中对应于所述放置用户界面元素的位置处。
144.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述一个或多个显示设备显示标注放置用户界面，所述标注放置用户界面包括：
物理空间的表示；以及
放置用户界面元素，所述放置用户界面元素指示响应于检测到标注放置输入，虚拟标注将被放置在所述物理空间的所述表示中的位置；
在显示所述标注放置用户界面时，检测所述一个或多个相机中的至少一个相对于所述物理空间的移动，其中当所述放置用户界面元素显示在所述物理空间的所述表示中对应于所述物理空间的第一部分的位置处时，所述一个或多个相机中的至少一个的所述移动开始；以及
响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，将所述放置用户界面元素移动到所述物理空间的所述表示中对应于所述物理空间的第二部分的位置，所述第二部分不同于所述物理空间的所述第一部分，并且根据所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，更新所述标注放置用户界面的外观，包括：
根据确定所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，停止显示所述放置用户界面元素的至少一部分；以及
根据确定所述电子设备已经识别出所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，保持所述放置用户界面元素的显示。
145.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备执行时，使得所述电子设备：
经由所述一个或多个显示设备显示标注放置用户界面，所述标注放置用户界面包括：
物理空间的表示；以及
放置用户界面元素，所述放置用户界面元素指示响应于检测到标注放置输入，虚拟标注将被放置在所述物理空间的所述表示中的位置；
在显示所述标注放置用户界面时，检测所述一个或多个相机中的至少一个相对于所述物理空间的移动，其中当所述放置用户界面元素显示在所述物理空间的所述表示中对应于所述物理空间的第一部分的位置处时，所述一个或多个相机中的至少一个的所述移动开始；以及
响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，将所述放置用户界面元素移动到所述物理空间的所述表示中对应于所述物理空间的第二部分的位置，所述第二部分不同于所述物理空间的所述第一部分，并且根据所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，更新所述标注放置用户界面的外观，包括：
根据确定所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，停止显示所述放置用户界面元素的至少一部分；以及
根据确定所述电子设备已经识别出所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象，保持所述放置用户界面元素的显示。
146.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；
用于经由所述一个或多个显示设备显示标注放置用户界面的装置，所述标注放置用户界面包括：
物理空间的表示；以及
放置用户界面元素，所述放置用户界面元素指示响应于检测到标注放置输入，虚拟标注将被放置在所述物理空间的所述表示中的位置；
在显示所述标注放置用户界面时启用的装置，用于检测所述一个或多个相机中的至少一个相对于所述物理空间的移动，其中当所述放置用户界面元素显示在所述物理空间的所述表示中对应于所述物理空间的第一部分的位置处时，所述一个或多个相机中的至少一个的所述移动开始；以及
响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动而启用的装置，用于将所述放置用户界面元素移动到所述物理空间的所述表示中对应于所述物理空间的第二部分的位置，所述第二部分不同于所述物理空间的所述第一部分，并且用于根据所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，更新所述标注放置用户界面的外观，包括：
根据确定所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象而启用的装置，用于停止显示所述放置用户界面元素的至少一部分；以及
根据确定所述电子设备已经识别出所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象而启用的装置，用于保持所述放置用户界面元素的显示。
147.一种用于在包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于经由所述一个或多个显示设备显示标注放置用户界面的装置，所述标注放置用户界面包括：
物理空间的表示；以及
放置用户界面元素，所述放置用户界面元素指示响应于检测到标注放置输入，虚拟标注将被放置在所述物理空间的所述表示中的位置；
在显示所述标注放置用户界面时启用的装置，用于检测所述一个或多个相机中的至少一个相对于所述物理空间的移动，其中当所述放置用户界面元素显示在所述物理空间的所述表示中对应于所述物理空间的第一部分的位置处时，所述一个或多个相机中的至少一个的所述移动开始；以及
响应于检测到所述一个或多个相机中的至少一个相对于所述物理空间的所述移动而启用的装置，用于将所述放置用户界面元素移动到所述物理空间的所述表示中对应于所述物理空间的第二部分的位置，所述第二部分不同于所述物理空间的所述第一部分，并且用于根据所述一个或多个相机中的至少一个相对于所述物理空间的所述移动，更新所述标注放置用户界面的外观，包括：
根据确定所述电子设备无法识别所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象而启用的装置，用于停止显示所述放置用户界面元素的至少一部分；以及
根据确定所述电子设备已经识别出所述物理空间的所述第二部分中的其在所述物理空间的所述表示中的对应对象能够链接到虚拟标注的对象而启用的装置，用于保持所述放置用户界面元素的显示。
148.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；
一个或多个处理器；以及
存储一个或多个程序的存储器，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据项目134至143所述的方法中的任一方法的指令。
149.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备执行时，使得所述电子设备执行根据项目134至143所述的方法中的任一方法。
150.一种电子设备上的图形用户界面，所述电子设备包括一个或多个输入设备、一个或多个显示设备、一个或多个相机、存储器以及用于执行被存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据项目134至143所述的方法中的任一方法显示的用户界面。
151.一种电子设备，包括：
一个或多个输入设备；
一个或多个显示设备；
一个或多个相机；以及
用于执行根据项目134至143所述的方法中的任一方法的装置。
152.一种用于在包括一个或多个输入设备、一个或多个显示设备以及一个或多个相机的电子设备中使用的信息处理装置，包括：
用于执行根据项目134至143所述的方法中的任一方法的装置。

Claims (16)

1.一种在具有显示器、输入设备以及一个或多个相机的电子设备处执行的方法，包括：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个相机的视野的表示；
基于由所述一个或多个相机中的至少一个相机检测到的当前视觉数据的变化，随时间更新所述视野的所述表示；以及
所述视野包括三维空间中的物理对象；
当所述电子设备距所述物理对象第一距离时，在所述视野的所述表示之上显示与所述物理对象相对应的测量的第一表示；
检测将所述电子设备移动到距所述物理对象第二距离处的所述电子设备的移动，其中所述第二距离与所述第一距离不同；以及
当所述电子设备距所述物理对象所述第二距离时，显示所述测量的第二表示，所述测量的所述第二表示包括沿着所述测量的所述第二表示的至少一部分的、没有与所述测量的所述第一表示一起显示的一个或多个刻度标记。
2.根据权利要求1所述的方法，其中，沿所述测量的所述第二表示以第一间隔显示所述一个或多个刻度标记，并且所述第一间隔对应于从所述物理对象到所述电子设备的所述第二距离。
3.根据权利要求1所述的方法，其中，所述测量的所述第一表示不包括刻度标记。
4.根据权利要求3所述的方法，其中
在所述测量的所述第二表示中包括的所述一个或多个刻度标记包括沿着所述测量的所述第二表示以第一刻度显示的一个或多个第一刻度标记；并且
所述方法包括：
检测将所述电子设备移动到距所述物理对象第三距离处的所述电子设备的移动，其中所述第三距离小于所述第二距离；以及
当所述电子设备距所述物理对象所述第三距离时，显示所述测量的第三表示，所述测量的所述第三表示包括沿着所述测量的所述第三表示的至少一部分显示的、以与所述第一刻度不同的第二刻度显示的一个或多个刻度标记。
5.根据权利要求4所述的方法，其中
根据确定所述电子设备与所述物理对象之间的所述第二距离大于第一阈值距离，执行以所述第一刻度显示所述一个或多个刻度标记；以及
根据确定所述电子设备与所述物理对象之间的所述第三距离小于所述第一阈值距离，执行以所述第二刻度显示所述一个或多个刻度标记。
6.根据权利要求4所述的方法，其中，所述测量的所述第二表示包括第一数量的刻度标记，并且所述测量的所述第三表示包括大于所述第一数量的刻度标记的第二数量的刻度标记。
7.根据权利要求1-6中任一项所述的方法，包括：
与所述测量的所述第一表示和所述测量的所述第二表示同时地显示描述所述测量的标签，其中：
当所述电子设备距所述物理对象所述第一距离时，以第一尺寸显示所述标签；并且
当所述电子设备距所述物理对象所述第二距离时，以不同于所述第一尺寸的第二尺寸显示所述标签。
8.一种电子设备，包括：
显示器；
输入设备；
一个或多个相机；
一个或多个处理器；以及
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个相机的视野的表示；
基于由所述一个或多个相机中的至少一个相机检测到的当前视觉数据的变化，随时间更新所述视野的所述表示；以及
所述视野包括三维空间中的物理对象；
当所述电子设备距所述物理对象第一距离时，在所述视野的所述表示之上显示与所述物理对象相对应的测量的第一表示；
检测将所述电子设备移动到距所述物理对象第二距离处的所述电子设备的移动，其中所述第二距离与所述第一距离不同；以及
当所述电子设备距所述物理对象所述第二距离时，显示所述测量的第二表示，所述测量的所述第二表示包括沿着所述测量的所述第二表示的至少一部分的、没有与所述测量的所述第一表示一起显示的一个或多个刻度标记。
9.根据权利要求8所述的电子设备，其中，沿所述测量的所述第二表示以第一间隔显示所述一个或多个刻度标记，并且所述第一间隔对应于从所述物理对象到所述电子设备的所述第二距离。
10.根据权利要求8所述的电子设备，其中，所述测量的所述第一表示不包括刻度标记。
11.根据权利要求10所述的电子设备，其中
在所述测量的所述第二表示中包括的所述一个或多个刻度标记包括沿着所述测量的所述第二表示以第一刻度显示的一个或多个第一刻度标记；并且
所述一个或多个程序包括用于进行以下操作的指令：
检测将所述电子设备移动到距所述物理对象第三距离处的所述电子设备的移动，其中所述第三距离小于所述第二距离；以及
当所述电子设备距所述物理对象所述第三距离时，显示所述测量的第三表示，所述测量的所述第三表示包括沿着所述测量的所述第三表示的至少一部分显示的、以与所述第一刻度不同的第二刻度显示的一个或多个刻度标记。
12.根据权利要求11所述的电子设备，其中
根据确定所述电子设备与所述物理对象之间的所述第二距离大于第一阈值距离，执行以所述第一刻度显示所述一个或多个刻度标记；以及
根据确定所述电子设备与所述物理对象之间的所述第三距离小于所述第一阈值距离，执行以所述第二刻度显示所述一个或多个刻度标记。
13.根据权利要求11所述的电子设备，其中，所述测量的所述第二表示包括第一数量的刻度标记，并且所述测量的所述第三表示包括大于所述第一数量的刻度标记的第二数量的刻度标记。
14.根据权利要求8-13中任一项所述的电子设备，其中所述一个或多个程序包括用于进行以下操作的指令：
与所述测量的所述第一表示和所述测量的所述第二表示同时地显示描述所述测量的标签，其中：
当所述电子设备距所述物理对象所述第一距离时，以第一尺寸显示所述标签；并且
当所述电子设备距所述物理对象所述第二距离时，以不同于所述第一尺寸的第二尺寸显示所述标签。
15.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有显示器、输入设备以及一个或多个相机的电子设备执行时，使得所述电子设备：
在所述显示器上显示应用程序的用户界面，其中：
所述用户界面包括所述一个或多个相机中的至少一个相机的视野的表示；
基于由所述一个或多个相机中的至少一个相机检测到的当前视觉数据的变化，随时间更新所述视野的所述表示；以及
所述视野包括三维空间中的物理对象；
当所述电子设备距所述物理对象第一距离时，在所述视野的所述表示之上显示与所述物理对象相对应的测量的第一表示；检测将所述电子设备移动到距所述物理对象第二距离处的所述电子设备的移动，其中所述第二距离与所述第一距离不同；以及
当所述电子设备距所述物理对象所述第二距离时，显示所述测量的第二表示，所述测量的所述第二表示包括沿着所述测量的所述第二表示的至少一部分的、没有与所述测量的所述第一表示一起显示的一个或多个刻度标记。
16.根据权利要求15所述的计算机可读存储介质，其中所述一个或多个程序包括指令，所述指令在由所述电子设备执行时使得所述电子设备执行根据权利要求2-7中任一项所述的方法。
CN202110660753.5A 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法 Active CN113340199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110660753.5A CN113340199B (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201862668249P 2018-05-07 2018-05-07
US62/668,249 2018-05-07
US201862679952P 2018-06-03 2018-06-03
US62/679,952 2018-06-03
DKPA201870352 2018-06-11
DKPA201870352A DK180640B1 (en) 2018-05-07 2018-06-11 Devices and methods of measurement using augmented reality
US16/145,025 2018-09-27
US16/145,025 US11073374B2 (en) 2018-05-07 2018-09-27 Devices and methods for measuring using augmented reality
CN202110660753.5A CN113340199B (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法
CN201910194257.8A CN110455179A (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910194257.8A Division CN110455179A (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法

Publications (2)

Publication Number Publication Date
CN113340199A CN113340199A (zh) 2021-09-03
CN113340199B true CN113340199B (zh) 2023-06-20

Family

ID=68165234

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110660753.5A Active CN113340199B (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法
CN202310918606.2A Pending CN116772727A (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310918606.2A Pending CN116772727A (zh) 2018-05-07 2019-03-14 使用增强现实进行测量的设备和方法

Country Status (7)

Country Link
US (7) US10612908B2 (zh)
EP (1) EP4328731A3 (zh)
JP (2) JP7097991B2 (zh)
KR (2) KR102543095B1 (zh)
CN (2) CN113340199B (zh)
AU (4) AU2019267352B2 (zh)
DK (3) DK201870350A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745479B (zh) * 2014-02-10 2023-01-17 谷歌有限责任公司 智能相机用户界面
EP3958557A1 (en) 2015-04-23 2022-02-23 Apple Inc. Digital viewfinder user interface for multiple cameras
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11422833B1 (en) * 2017-06-30 2022-08-23 Cognex Corporation System and method for automatic generation of human-machine interface in a vision system
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US11770601B2 (en) * 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
JP2020067422A (ja) * 2018-10-26 2020-04-30 株式会社ミツトヨ 撮像補助装置およびプログラム
US20200150767A1 (en) * 2018-11-09 2020-05-14 Immersion Corporation Devices and methods for controlling a haptic actuator
KR102600509B1 (ko) * 2019-02-22 2023-11-09 삼성전자주식회사 전자 장치 및 그 촬영 관련 정보 안내 방법
CN110136190A (zh) * 2019-03-26 2019-08-16 华为技术有限公司 一种测距方法及电子设备
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US10679062B1 (en) * 2019-12-03 2020-06-09 Primer Supply, Inc. Systems and methods for device positioning surface detection
US10936148B1 (en) * 2019-12-26 2021-03-02 Sap Se Touch interaction in augmented and virtual reality applications
USD949191S1 (en) 2019-12-26 2022-04-19 Sap Se Display screen or portion thereof with graphical user interface
US11080879B1 (en) * 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
TWI779305B (zh) 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
US11140313B1 (en) * 2020-07-29 2021-10-05 Gopro, Inc. Image capture device with scheduled capture capability
KR20220021757A (ko) 2020-08-14 2022-02-22 삼성전자주식회사 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치
US20220067993A1 (en) 2020-08-31 2022-03-03 Popshop Technologies, Inc. Live streaming object image capture and image conversion to product catalog
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
CN112183657B (zh) * 2020-10-14 2022-03-01 北京字跳网络技术有限公司 获取标注信息的方法、装置、电子设备和计算机可读介质
US11782577B2 (en) * 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11417054B1 (en) * 2021-03-17 2022-08-16 Facebook Technologies, Llc. Mixed reality objects in virtual reality environments
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN112954577B (zh) * 2021-04-25 2022-05-31 北京有竹居网络技术有限公司 评测设备和耳机评测实时展示方法
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11966555B2 (en) * 2022-01-07 2024-04-23 Charles Allan Wolford Method and apparatus for increasing measurement accuracy using a camera enabled portable computing device
US11985410B2 (en) * 2022-03-03 2024-05-14 Jsc Yukon Advanced Optics Worldwide Controlling an imaging device operational state
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
EP4361582A1 (de) 2022-10-24 2024-05-01 Wilo Se Verfahren zur zustandsuntersuchung bei einem pumpenaggregat sowie softwareapplikation, speichermedium und untersuchungsgerät zur ausführung des verfahrens
CN117745988A (zh) * 2023-12-20 2024-03-22 亮风台（上海）信息科技有限公司 一种用于呈现ar标签信息的方法与设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607423A (zh) * 2011-03-03 2012-07-25 裵相模 用于使用移动终端摄像头测量物体真实尺寸的方法
CN103218854A (zh) * 2013-04-01 2013-07-24 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
WO2016017254A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105554247A (zh) * 2015-12-07 2016-05-04 魅族科技（中国）有限公司 测量方法、测量系统和终端
CN105608746A (zh) * 2016-03-16 2016-05-25 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
CN106251185A (zh) * 2016-08-24 2016-12-21 四川见山科技有限责任公司 基于ue4引擎的vr房产展示与交互系统
JP2017536618A (ja) * 2014-11-25 2017-12-07 マイクロソフト テクノロジー ライセンシング，エルエルシー ウェアラブル可視化デバイスのための仮想測定ツール

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072810B2 (en) 2001-06-08 2006-07-04 Tata Consultancy Services Limited Method and apparatus for pattern based generation of graphical user interfaces (GUI)
US7412658B2 (en) 2002-11-14 2008-08-12 Sap Ag Modeling system for graphic user interface
CN100375124C (zh) 2003-12-17 2008-03-12 中国科学院自动化研究所 一种骨架化物体重建方法
JP2008217590A (ja) 2007-03-06 2008-09-18 Fuji Xerox Co Ltd 情報共有支援システム、情報処理装置及び制御プログラム
GB0707216D0 (en) 2007-04-14 2007-05-23 Livesey Carl Interactive shopping platform
JP4858375B2 (ja) * 2007-04-19 2012-01-18 富士ゼロックス株式会社 情報処理装置及びプログラム
CN101334277B (zh) 2007-06-28 2010-12-08 鸿富锦精密工业（深圳）有限公司 点镭射自动对焦扫描影像量测系统及方法
JP5311143B2 (ja) 2008-01-09 2013-10-09 株式会社ニコン 測定装置および方法、並びに、プログラム
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
US20100235734A1 (en) 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
US8677259B2 (en) * 2009-04-28 2014-03-18 Stipple Inc. System and method for annotating multimedia objects
US8244462B1 (en) 2009-05-21 2012-08-14 Google Inc. System and method of determining distances between geographic positions
US8365081B1 (en) 2009-05-28 2013-01-29 Amazon Technologies, Inc. Embedding metadata within content
JP5434338B2 (ja) 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像方法、プログラム
WO2011029209A2 (en) 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
CN102726051B (zh) 2009-09-11 2016-02-03 迪斯尼实业公司 3d视频中的虚拟插件
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
JP2011199560A (ja) 2010-03-19 2011-10-06 Nec Corp 携帯電話機およびスケール表示方法
JP5018980B2 (ja) 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
US20110252405A1 (en) 2010-04-10 2011-10-13 Ilan Meirman Detecting user interface defects in a software application
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US20110279445A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
EP2537141B1 (en) 2010-06-10 2016-03-30 Sartorius Stedim Biotech GmbH Assembling method, operating method, augmented reality system and computer program product
JP5784213B2 (ja) 2011-03-29 2015-09-24 クアルコム，インコーポレイテッド 骨格追跡を使用した物理的表面上への仮想投影上での選択的な手のオクルージョン
WO2013008649A1 (ja) 2011-07-11 2013-01-17 Kddi株式会社 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
KR101824413B1 (ko) 2011-08-30 2018-02-02 삼성전자주식회사 휴대단말기의 동작 모드 제어 방법 및 장치
WO2013059599A1 (en) 2011-10-19 2013-04-25 The Regents Of The University Of California Image-based measurement tools
US10514542B2 (en) 2011-12-19 2019-12-24 Dolby Laboratories Licensing Corporation Head-mounted display
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
US9541417B2 (en) 2012-06-05 2017-01-10 Apple Inc. Panning for three-dimensional maps
JP5571269B2 (ja) 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
JP6080248B2 (ja) * 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
JP6080249B2 (ja) 2012-09-13 2017-02-15 富士フイルム株式会社 ３次元画像表示装置および方法並びにプログラム
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9524585B2 (en) 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US20150221345A1 (en) 2012-12-17 2015-08-06 Bo Zhao Embedding thumbnail information into video streams
JP6048575B2 (ja) 2013-03-29 2016-12-21 日本電気株式会社 サイズ測定装置及びサイズ測定方法
EP2983140A4 (en) 2013-04-04 2016-11-09 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
WO2014171142A1 (ja) 2013-04-17 2014-10-23 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
WO2014181725A1 (ja) * 2013-05-07 2014-11-13 シャープ株式会社 画像計測装置
US20160125276A1 (en) 2013-06-04 2016-05-05 Clic RWeight ,LLC Methods and systems for marking animals
US9678651B2 (en) 2013-06-08 2017-06-13 Apple Inc. Mapping application with interactive compass
US20150062123A1 (en) 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
KR102153366B1 (ko) 2013-08-30 2020-10-15 삼성전자 주식회사 전자 기기의 화면 전환 방법 및 장치
CN110780792B (zh) 2013-09-03 2023-10-24 苹果公司 利用磁属性来操控用户界面对象的用户界面
CN105580012A (zh) 2013-09-11 2016-05-11 辛赛股份有限公司 视频内容的动态绑定
CN110379019A (zh) 2013-09-24 2019-10-25 苹果公司 在真实环境的视图中表示兴趣点的方法以及移动设备
CN105814516B (zh) 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
US20150193982A1 (en) 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US9600925B2 (en) 2014-01-06 2017-03-21 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
US11314905B2 (en) 2014-02-11 2022-04-26 Xactware Solutions, Inc. System and method for generating computerized floor plans
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102223282B1 (ko) 2014-08-07 2021-03-05 엘지전자 주식회사 스마트 줄자를 구비한 이동 단말기 및 그의 물체 길이 측정 방법
EP3186784B1 (en) 2014-08-26 2021-10-27 Honeywell International Inc. Annotating three-dimensional displays
US10114545B2 (en) * 2014-09-03 2018-10-30 Intel Corporation Image location selection for use in depth photography system
US9898868B2 (en) 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
JP6488653B2 (ja) 2014-11-07 2019-03-27 セイコーエプソン株式会社 表示装置、表示制御方法および表示システム
US9754419B2 (en) 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9665960B1 (en) 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9661308B1 (en) 2015-04-20 2017-05-23 Samsung Electronics Co., Ltd. Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
WO2016205074A1 (en) 2015-06-15 2016-12-22 United States Postal Service Dimensional measuring system
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US20170053621A1 (en) 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Roundtrip Reintegration of Asynchronous 3D Session
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10049500B2 (en) 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
EP3154008B1 (en) 2015-10-09 2017-12-20 Pricer AB Determination of a product position along a fixture
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US9767606B2 (en) 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
KR102559625B1 (ko) 2016-01-25 2023-07-26 삼성전자주식회사 증강 현실 출력 방법 및 이를 지원하는 전자 장치
EP3408848A4 (en) 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
JPWO2017134886A1 (ja) * 2016-02-02 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10257505B2 (en) 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
US10296574B2 (en) 2016-03-28 2019-05-21 Microsoft Technology Licensing, Llc Contextual ink annotation in a mapping interface
US10367919B2 (en) 2016-03-31 2019-07-30 Verizon Patent And Licensing Inc. Methods and systems for efficient distribution of virtual reality media content
CN106020871A (zh) * 2016-05-11 2016-10-12 青岛海信移动通信技术股份有限公司 一种移动设备的屏幕启动方法和装置
JP7187446B2 (ja) 2016-05-27 2022-12-12 ホロビルダー インコーポレイテッド 拡張された仮想現実
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10445867B2 (en) 2016-07-13 2019-10-15 The Boeing Company System and method for generating enhanced stereographic videos of aircraft build processes
CA3072632A1 (en) 2016-09-16 2018-03-22 Christopher Ghaleb A floorplan visualisation system
US10852936B2 (en) 2016-09-23 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for a unified annotation layer for annotating content displayed on a device
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
KR101809440B1 (ko) 2016-11-21 2017-12-15 김승정 스마트 기기의 증강현실을 이용한 사이즈 측정 방법
KR101899981B1 (ko) 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이
US10540699B1 (en) 2016-12-05 2020-01-21 Amazon Technologies, Inc. Methods and systems for scene driven content creation
CN111899003A (zh) 2016-12-13 2020-11-06 创新先进技术有限公司 基于增强现实的虚拟对象分配方法及装置
JP6794838B2 (ja) 2017-01-13 2020-12-02 コニカミノルタ株式会社 医用画像表示装置
TWI616799B (zh) 2017-01-16 2018-03-01 宏碁股份有限公司 輸入裝置
US11132840B2 (en) 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
WO2018164932A1 (en) 2017-03-08 2018-09-13 Vid Scale, Inc. Zoom coding using simultaneous and synchronous multiple-camera captures
US10249095B2 (en) 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20180336732A1 (en) 2017-05-16 2018-11-22 Michael J. Schuster Augmented reality task identification and assistance in construction, remodeling, and manufacturing
US10777018B2 (en) 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3639154A4 (en) 2017-06-15 2021-01-27 Tencent Technology (Shenzhen) Company Limited SYSTEM AND PROCEDURE FOR CUSTOMIZING A USER INTERFACE PANEL ON THE BASIS OF PHYSICAL SIZES
CN110945365A (zh) 2017-06-16 2020-03-31 特克特朗尼克公司 与增强现实相关联的测试和测量设备、系统和方法
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
CN109802931B (zh) 2017-11-17 2021-08-06 腾讯科技（深圳）有限公司 一种通信处理方法、终端及存储介质
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US20190180506A1 (en) 2017-12-11 2019-06-13 Tsunami VR, Inc. Systems and methods for adding annotations to virtual objects in a virtual environment
WO2019136315A2 (en) 2018-01-05 2019-07-11 Aquifi, Inc. Systems and methods for volumetric sizing
US10922862B2 (en) 2018-04-05 2021-02-16 Lenovo (Singapore) Pte. Ltd. Presentation of content on headset display based on one or more condition(s)
US11086474B2 (en) 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
WO2019217148A1 (en) 2018-05-07 2019-11-14 Apple Inc. Devices and methods for measuring using augmented reality
AU2019100486B4 (en) 2018-05-07 2019-08-01 Apple Inc. Devices and methods for measuring using augmented reality
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10853946B2 (en) 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
US10977868B2 (en) 2018-06-29 2021-04-13 Factualvr, Inc. Remote collaboration methods and systems
US10896546B2 (en) 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
TWI675583B (zh) 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
EP3655928B1 (en) 2018-09-26 2021-02-24 Google LLC Soft-occlusion for computer graphics rendering
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US10679420B2 (en) 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
US11090561B2 (en) 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US10999629B1 (en) 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
US11138798B2 (en) 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US11494953B2 (en) 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
WO2021118962A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11204678B1 (en) 2019-12-11 2021-12-21 Amazon Technologies, Inc. User interfaces for object exploration in virtual reality environments
US11521063B1 (en) 2019-12-17 2022-12-06 Bae Systems Information And Electronic Systems Integration Inc. System and method for terminal acquisition with a neural network
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US20210286502A1 (en) 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607423A (zh) * 2011-03-03 2012-07-25 裵相模 用于使用移动终端摄像头测量物体真实尺寸的方法
CN103218854A (zh) * 2013-04-01 2013-07-24 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
WO2016017254A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN106575299A (zh) * 2014-08-01 2017-04-19 索尼公司 信息处理装置、信息处理方法和程序
JP2017536618A (ja) * 2014-11-25 2017-12-07 マイクロソフト テクノロジー ライセンシング，エルエルシー ウェアラブル可視化デバイスのための仮想測定ツール
CN105554247A (zh) * 2015-12-07 2016-05-04 魅族科技（中国）有限公司 测量方法、测量系统和终端
CN105608746A (zh) * 2016-03-16 2016-05-25 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
CN106251185A (zh) * 2016-08-24 2016-12-21 四川见山科技有限责任公司 基于ue4引擎的vr房产展示与交互系统

Also Published As

Publication number Publication date
KR102543095B1 (ko) 2023-06-14
AU2022231686B2 (en) 2024-02-29
JP7097991B2 (ja) 2022-07-08
EP4328731A2 (en) 2024-02-28
AU2021240284B2 (en) 2022-10-06
AU2022231686A1 (en) 2022-10-06
US11073374B2 (en) 2021-07-27
EP4328731A3 (en) 2024-05-29
JP2021521557A (ja) 2021-08-26
KR20230088517A (ko) 2023-06-19
US10444005B1 (en) 2019-10-15
CN113340199A (zh) 2021-09-03
CN116772727A (zh) 2023-09-19
DK201870350A1 (en) 2019-12-05
US11073375B2 (en) 2021-07-27
JP7467534B2 (ja) 2024-04-15
DK201870351A1 (en) 2020-01-13
DK180640B1 (en) 2021-11-09
US20210254962A1 (en) 2021-08-19
KR20200140378A (ko) 2020-12-15
AU2024202935A1 (en) 2024-05-23
US20240011764A1 (en) 2024-01-11
AU2021240284A1 (en) 2021-10-28
US20190339839A1 (en) 2019-11-07
US10612908B2 (en) 2020-04-07
US20190339058A1 (en) 2019-11-07
JP2022130583A (ja) 2022-09-06
US11391561B2 (en) 2022-07-19
AU2019267352B2 (en) 2021-08-19
US11808562B2 (en) 2023-11-07
AU2019267352A1 (en) 2020-11-05
DK201870352A1 (en) 2019-12-09
US20200232783A1 (en) 2020-07-23
US20190340799A1 (en) 2019-11-07
US20220276041A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
CN113340199B (zh) 使用增强现实进行测量的设备和方法
US20210150121A1 (en) Device, Method, and Graphical User Interface for Providing Handwriting Support in Document Editing
AU2019100486A4 (en) Devices and methods for measuring using augmented reality
CN111414081A (zh) 用于提供触觉反馈的设备、方法和图形用户界面
WO2019217148A1 (en) Devices and methods for measuring using augmented reality
CN109974581B (zh) 使用增强现实进行测量的设备和方法
EP3901741B1 (en) Devices and methods for measuring using augmented reality
JP2024096769A (ja) 拡張現実を使用して測定するためのデバイス及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant