CN117120956A - 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 - Google Patents
用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 Download PDFInfo
- Publication number
- CN117120956A CN117120956A CN202280015105.7A CN202280015105A CN117120956A CN 117120956 A CN117120956 A CN 117120956A CN 202280015105 A CN202280015105 A CN 202280015105A CN 117120956 A CN117120956 A CN 117120956A
- Authority
- CN
- China
- Prior art keywords
- user
- cameras
- body part
- representation
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 220
- 238000005259 measurement Methods 0.000 title claims description 140
- 230000003190 augmentative effect Effects 0.000 title description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 303
- 230000033001 locomotion Effects 0.000 claims description 132
- 230000004044 response Effects 0.000 claims description 86
- 210000000707 wrist Anatomy 0.000 claims description 67
- 238000004891 communication Methods 0.000 claims description 57
- 238000004513 sizing Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 23
- 230000010365 information processing Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 10
- 230000001976 improved effect Effects 0.000 description 54
- 210000003811 finger Anatomy 0.000 description 40
- 230000003287 optical effect Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 19
- 239000003086 colorant Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 210000000245 forearm Anatomy 0.000 description 9
- 230000000977 initiatory effect Effects 0.000 description 9
- 241000699666 Mus <mouse, genus> Species 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 210000004247 hand Anatomy 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000012384 transportation and delivery Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005562 fading Methods 0.000 description 4
- 230000021317 sensory perception Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003010 carpal bone Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种计算机系统显示将身体部分移动到一个或多个相机的视野中的视觉提示。该计算机系统检测在该一个或多个相机的该视野中并且对应于该身体部分的用户身体的部分。该计算机系统显示该用户身体的该部分的表示,包括:根据确定该用户身体的该部分满足第一标准,经由该显示设备以第一透明度显示处于该一个或多个相机的该视野中的该用户身体的该部分的该表示;以及根据确定该用户身体的该部分未能满足第一标准,将该用户身体的该部分的该表示显示为具有第二透明度。
Description
相关专利申请
本专利申请要求于2021年2月15日提交的美国临时专利申请号63/149,553的优先权,并且为于2022年1月14日提交的美国专利申请号17/576,735的继续,上述专利申请中的每个专利申请据此全文以引用方式并入。
技术领域
本发明整体涉及用于增强现实的计算机系统,包括但不限于用于使用在增强现实环境中显示的虚拟对象来进行测量的电子设备。
背景技术
近年来,用于增强现实的计算机系统的发展显著增加。但用于与包括至少一些虚拟元素的环境(例如,增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦且低效。
使用增强现实来进行测量的常规方法不提供帮助用户移动到用于测量身体部分的正确位置的指导,并且不在用户位置进展时提供动态定位指导。在一些情况下,存储使用增强现实来获得的测量的常规方法不轻易地允许设备与另一个设备共享测量信息。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
发明内容
因此,需要具有用于使用增强现实环境来进行测量的更快速、更有效的方法和界面的计算机系统。此类方法和界面任选地补充或替换用于使用增强现实环境来进行测量的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质,并且产生更有效的人机界面。对于电池驱动设备,此类方法和界面可节省用电并且增加两次电池充电之间的时间。
通过所公开的计算机系统减小或消除了与用于虚拟/增强现实的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,计算机系统包括台式计算机。在一些实施方案中,计算机系统是便携式的(例如,笔记本电脑、平板电脑或手持设备)。在一些实施方案中,计算机系统包括个人电子设备(例如,可穿戴电子设备,诸如手表)。在一些实施方案中,计算机系统具有触控板(和/或与触控板通信)。在一些实施方案中,该计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与触敏显示器通信)。在一些实施方案中,计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中,这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、电子表格制作、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
根据一些实施方案,在与显示设备和一个或多个相机通信的计算机系统处执行一种方法。该方法包括在第一用户界面的第一区域中显示将身体部分移动到该一个或多个相机的视野中的视觉提示。该方法包括,在显示将该身体部分移动到该一个或多个相机的该视野中的该视觉提示时:使用该一个或多个相机来检测在该一个或多个相机的该视野中并且对应于该身体部分的用户身体的部分;以及响应于检测到该用户身体的该部分,显示该用户身体的该部分的表示。该方法还包括:根据确定处于该一个或多个相机的该视野中的该用户身体的该部分满足第一位置标准,经由该显示设备以第一透明度显示处于该一个或多个相机的该视野中的该用户身体的该部分的该表示;以及根据确定处于该一个或多个相机的该视野中的该用户身体的该部分未能满足第一标准,将该用户身体的该部分的该表示显示为具有指示尚未满足该第一标准的第二透明度。
根据一些实施方案,在与显示设备和一个或多个相机通信的计算机系统处执行一种方法。该方法包括在用户界面中显示在该一个或多个相机的视野中的身体部分的第一表示。该方法包括使用该一个或多个相机来检测该身体部分的移动,其中根据该身体部分的该移动来更新所显示的该身体部分的第一表示。该方法包括,当显示该身体部分的该第一表示时,在相对于该身体部分的该第一表示的固定位置处显示指示符。在覆盖该身体部分的该表示的至少一部分的该用户界面中的第一位置处显示该指示符。根据该身体部分的该移动来更新该指示符。该指示符包括该身体部分的建议移动方向的指示。
根据一些实施方案,在与显示设备和一个或多个相机通信的计算机系统处执行一种方法。该方法包括使用该一个或多个相机来检测在该一个或多个相机的该视野中的用户身体的部分。该方法包括扫描在该一个或多个相机的该视野中的该用户身体的该部分以确定在该一个或多个相机的该视野中的该用户身体的该部分的测量。该方法还包括,在扫描该用户身体的该部分之后,生成机器可读代码,该机器可读代码包括基于该用户身体的该部分的该测量来识别可穿戴对象的一个或多个定尺寸参数或者描述该用户身体的该部分的该测量的信息。
根据一些实施方案,在与显示设备和一个或多个相机通信的计算机系统处执行一种方法。该方法包括在第一用户界面内的第一固定位置处显示指示用于将身体部分移动到该一个或多个相机的视野中的位置的第一视觉提示。该方法包括,在显示指示用于将该身体部分移动到该一个或多个相机的该视野中的该位置的该第一视觉提示时,使用该一个或多个相机来检测在该一个或多个相机的该视野中并且对应于该身体部分的用户身体的部分。该方法包括,响应于检测到在该一个或多个相机的该视野中的该用户身体的该部分:显示该用户身体的该部分的表示;以及显示固定在相对于该用户身体的该部分的该表示的预定义位置处的第二视觉提示,其中相对于该第一视觉提示的位置的该第二视觉提示的位置指示满足身体部分定位前提条件所需要的该身体部分的移动。
根据一些实施方案,一种计算机系统包括显示生成部件(例如,显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(例如,连续地或以固定间隔重复地提供相机视野内的至少一部分内容的实时预览并且任选地生成包括捕获相机视野内的内容的一个或多个图像帧流的视频输出的摄影机)、以及一个或多个输入设备(例如,触敏表面,诸如触敏遥控器,或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、棒控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机)、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、一个或多个处理器、以及存储一个或多个程序的存储器(并且/或者与这些部件通信);一个或多个程序被配置为由一个或多个处理器执行,并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施方案,一种计算机可读存储介质在其中存储有指令,这些指令在由包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(并且/或者与这些部件通信)的计算机系统执行时,使得计算机系统执行本文所述的任一方法的操作或使得本文所述的任一方法的操作被执行。根据一些实施方案,在包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、存储器、以及用于执行存储在存储器中的一个或多个程序的一个或多个处理器(并且/或者与这些部件通信)的计算机系统上的图形用户界面包括在本文所述的任一方法中显示的一个或多个元素,该一个或多个元素响应于输入而更新,如本文所述的任一方法所述。根据一些实施方案,一种计算机系统包括(并且/或者与以下部件通信):显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、任选的一个或多个触觉输出发生器、以及用于执行本文所述的任一方法的操作或使得本文所述的任一方法的操作被执行的装置。根据一些实施方案,一种在包括显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触的强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(并且/或者与这些部件通信)的计算机系统中使用的信息处理装置包括用于执行本文所述的任一方法的操作或使得本文所述的任一方法的操作被执行的装置。
因此,具有(和/或与之通信)显示生成部件、一个或多个相机、一个或多个输入设备、任选的一个或多个姿势传感器、任选的用以检测与触敏表面的接触的强度的一个或多个传感器和任选的一个或多个触觉输出发生器的计算机系统被设置有用于使用增强现实环境来进行测量的改进的方法和界面,从而提高这种计算机系统的有效性、效率和用户满意度。此类方法和界面可补充或替换用于使用增强现实环境来进行测量的常规方法。
附图说明
为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2A示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图2B示出了根据一些实施方案的具有光学传感器和深度传感器(例如,飞行时间传感器)的便携式多功能设备。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图3B至图3C是根据一些实施方案的示例性计算机系统的框图。
图4A示出了根据一些实施方案的便携式多功能设备上的应用程序菜单的示例性用户界面。
图4B示出了根据一些实施方案的用于具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A至图5P示出了根据一些实施方案的用于发起用于测量用户的身体部分(例如,手部或手腕)并且提示用户将身体部分定位在计算机系统的一个或多个相机的视野中的过程的示例性用户界面。
图6A至图6N示出了根据一些实施方案的用于提示用户移动身体部分以捕获一个或多个图像的示例性用户界面。
图7A至图7T示出了根据一些实施方案的用于确定用户的身体部分的测量的示例性用户界面。
图8A至图8F示出了根据一些实施方案的用于存储用户的身体部分的测量的示例性用户界面。
图9A至图9C是根据一些实施方案的用于向用户提供视觉反馈以指示用于测量的正确位置的过程的流程图。
图10A至图10D是根据一些实施方案的用于提供用于测量用户身体的部分的虚拟化进度指示符的过程的流程图。
图11A至图11C是根据一些实施方案的用于生成存储关于测量的信息的机器可读代码的过程的流程图。
图12A至图12D是根据一些实施方案的用于提示用户将用户的身体部分的位置调整到用于测量的正确位置中的过程的流程图。
具体实施方式
如上所述,通过使得视觉指示符能够被叠加在物理环境上,增强现实环境对于测量物理环境中的对象(包括用户身体的部分)是有用的,其中视觉指示符促进将用户身体的待测量的部分放置到适当位置中并且视觉地指示朝向完成用户身体的该部分的测量的进度。使用增强现实来进行测量的常规方法不提供帮助用户移动到用于测量的正确位置的指导,也不在用户位置进展时提供动态指导。在一些情况下,存储使用增强现实来获得的测量的常规方法不轻易地允许设备与另一个设备共享测量信息。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。例如,通过提供对用户身体的部分的特征的自动检测、提供对用户身体的待测量的部分的适当位置(例如,相对于进行测量的设备或系统)的视觉指示、以及用于向用户示出测量过程在用户移动时如何进展的改进指导,它们使得更容易测量用户身体的部分。
下面,图1A至图1B、图2和图3A至图3C示出了示例性设备。图4A至图4B、图5A至图5P、图6A至图6N、图7A至图7T和图8A至图8F示出了用于在增强现实环境中测量用户身体的部分的示例性用户界面。图9A至图9C示出了向用户提供视觉反馈以指示用于测量的正确位置的方法的流程图。图10A至图10D示出了提供用于测量用户身体的部分的虚拟化进度指示符的方法的流程图。图11A至图11C示出了生成存储关于测量的信息的机器可读代码的方法的流程图。图12A至图12D示出了提示用户将用户的身体部分的位置调整到用于测量的正确位置的方法的流程图。图5A至图5P、图6A至图6N、图7A至图7T以及图8A至图8F中的用户界面用于示出图9A至图9C、图10A至图10D、图11A至图11C以及图12A至图12D中的过程。
示例性设备
现在将详细地参考实施方案,这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节,以便提供对各种所描述的实施方案的充分理解。但是,对本领域的普通技术人员将显而易见的是,各种所描述的实施方案可以在没有这些具体细节的情况下被实践。在其他情况下,没有详细地描述众所周知的方法、过程、部件、电路和网络,从而不会不必要地使实施方案的各个方面晦涩难懂。
还将理解的是,虽然在一些情况下,术语“第一”、“第二”等在本文中用于描述各种元件,但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一接触可被命名为第二接触,并且类似地,第二接触可被命名为第一接触,而不脱离各种所描述的实施方案的范围。第一接触和第二接触均为接触,但它们不是同一个接触,除非上下文另外明确指示。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”和/或“包含”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
如本文中所使用,根据上下文,术语“如果”任选地被解释为意思是“当……时”后“在……时”或“响应于确定”或“响应于检测”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
用于虚拟/增强现实的计算机系统包括产生虚拟/增强现实环境的电子设备。本文描述了电子设备、此类设备的用户界面和使用此类设备的相关联的进程的实施方案。在一些实施方案中,该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备,诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.,Cupertino,California的iPod />和/>设备。任选地使用其他便携式电子设备,诸如具有触敏表面(例如,触摸屏显示器和/或触控板)的膝上型计算机或平板电脑。还应当理解的是,在一些实施方案中,该设备并非便携式通信设备,而是具有触敏表面(例如,触摸屏显示器和/或触控板)的台式计算机,其还包括一个或多个相机或与其通信。
在下面的讨论中,描述了一种计算机系统,其包括具有显示器和触敏表面(和/或与这些部件通信)的电子设备。然而,应当理解,该计算机系统可选地包括一个或多个其他物理用户接口设备,诸如物理键盘、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户的手的位置的相机。
该设备通常支持各种应用程序,诸如以下中的一者或多者:游戏应用程序、笔记记录应用程序、绘图应用程序、演示文稿应用程序、文字处理应用程序、电子表格应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备,诸如触敏表面。触敏表面的一种或多种功能以及由所述设备显示的对应信息任选地对于不同应用程序被调整和/或变化,和/或在相应应用程序内被调整和/或变化。这样,设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器系统112有时为了方便而被叫做“触摸屏”,并且有时被简称为触敏显示器。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入、或控制设备116吗、和外部端口124。设备100可选地包括一个或多个光学传感器164(例如,作为一个或多个相机的一部分)。设备100任选地包括用于检测设备100上的接触的强度的一个或多个强度传感器165(例如,触敏表面,诸如设备100的触敏显示系统112)。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器163(例如,在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如本说明书和权利要求书中所使用的,术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前部位的物理位移、设备的部件(例如,触敏表面)相对于设备的另一个部件(例如,外壳)的物理位移、或部件相对于设备的质心的位移。例如,在设备或设备的部件与用户对触摸敏感的表面(例如,手指、手掌或用户手部的其他部分)接触的情况下,通过物理位移生成的触觉输出将由用户解释为触感,该触感对应于设备或设备的部件的物理特征的所感知的变化。例如,触敏表面(例如,触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下,用户将感觉到触感,诸如“按下点击”或“松开点击”,即使在通过用户的移动而物理地被按压(例如,被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如,即使在触敏表面的光滑度无变化时,触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制,但是对触摸的许多感官知觉是大多数用户共有的。因此,当触觉输出被描述为对应于用户的特定感官知觉(例如,“按下点击”、“松开点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其部件的物理位移,该物理位移将会生成典型(或普通)用户的所述感官知觉。使用触觉输出向用户提供触觉反馈增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这还通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解,设备100仅仅是便携式多功能设备的一个示例,并且设备100任选地具有比所示出的部件更多或更少的部件,任选地组合两个或更多个部件,或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件在硬件、软件、固件、或它们的任何组合(包括一个或多个信号处理电路和/或专用集成电路)中实施。
存储器102任选地包括高速随机存取存储器,并且还任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备或其他非易失性固态存储器设备。设备100的其他部件(诸如CPU 120和外围设备接口118)对存储器102的访问任选地由存储器控制器122来控制。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。
在一些实施方案中,外围设备接口118、CPU 120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中,它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信,这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如,蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。该无线通信任选地使用多种通信标准、协议和技术中的任一者,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如,IEEE802.11a、IEEE 802.11ac、IEEE 802.11ax、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如,可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文档提交日期还未开发出的通信协议的其他任何适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据转换为电信号,并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中,音频电路110还包括耳麦插孔(例如,图2A中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口,该外围设备为诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触敏显示器系统112和其他输入或控制设备116与外围设备接口118耦接。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。一个或多个输入控制器160从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的实施方案中,一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者):键盘、红外线端口、USB端口、触笔、和/或指针设备诸如鼠标。一个或多个按钮(例如,图2A中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如,图2A中的206)。
触敏显示器系统112提供设备与用户之间的输入接口和输出接口。显示控制器156从触敏显示器系统112接收电信号和/或将电信号发送至该触敏显示器系统。触敏显示器系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中,一些视觉输出或全部的视觉输出对应于用户界面对象。如本文所用,术语“示能表示”是指用户交互式图形用户界面对象(例如,被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
触敏显示器系统112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。触敏显示器系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触敏显示器系统112上的接触(和该接触的任何移动或中断),并且将检测到的接触转换为与被显示在触敏显示器系统112上的用户界面对象(例如,一个或多个软按键、图标、网页或图像)的交互。在一些实施方案中,在触敏显示器系统112和用户之间的接触点对应于用户的手指或触笔。
触敏显示器系统112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术,但是在其他实施方案中使用其他显示技术。触敏显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触敏显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一些实施方案中,使用投射式互电容感测技术,诸如从Apple Inc.(Cupertino,California)的iPod />和/>中发现的技术。
触敏显示器系统112任选地具有超过100dpi的视频分辨率。在一些实施方案中,触摸屏视频分辨率超过400dpi(例如,500dpi、800dpi或更大)。用户任选地使用任何合适的物体或附加物诸如触笔、手指等来与触敏显示系统112接触。在一些实施方案中,将用户界面设计成与基于手指的接触和手势一起工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些实施方案中,设备将基于手指的粗略输入转化为精确的指针/光标部位或命令以用于执行用户所期望的动作。
在一些实施方案中,除了触摸屏之外,设备100任选地还包括用于激活或去激活特定功能的触摸板。在一些实施方案中,触摸板是设备的触敏区域,与触摸屏不同,该触敏区域不显示视觉输出。触控板任选地是与触敏显示器系统112分开的触敏表面,或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164(例如,作为一个或多个相机的一部分)。图1A示出与I/O子系统106中的光学传感器控制器158耦接的光学传感器。一个或多个光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。一个或多个光学传感器164从环境接收通过一个或多个透镜而投射的光,并且将光转换为表示图像的数据。结合成像模块143(也被叫做相机模块),一个或多个光学传感器164任选地捕获静态图像和/或视频。在一些实施方案中,光学传感器位于设备100的与设备前部上的触敏显示系统112相背对的后部上,使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中,另一光学传感器位于设备的前部上,从而获取该用户的图像(例如,用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。对由设备100的一个或多个相机捕获的图像的所有引用应被理解为任选地包括来自设备100的一个或多个深度传感器(例如,一个或多个飞行时间传感器、结构光传感器(也称为结构光扫描器)等)的深度信息,以促进对一个或多个相机的视野中的对象的测量。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了与I/O子系统106中的强度传感器控制器159耦接的接触强度传感器。一个或多个接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气式力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。一个或多个接触强度传感器165从环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些实施方案中,至少一个接触强度传感器与触敏表面(例如,触敏显示器系统112)并置排列或邻近。在一些实施方案中,至少一个接触强度传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了与外围设备接口118耦接的接近传感器166。另选地,接近传感器166与I/O子系统106中的输入控制器160耦接。在一些实施方案中,当多功能设备被置于用户耳朵附近时(例如,用户正在打电话时),接近传感器关闭并禁用触敏显示器系统112。
设备100任选地还包括一个或多个触觉输出发生器163。图1A示出了与I/O子系统106中的触觉反馈控制器161耦接的触觉输出发生器。在一些实施方案中,一个或多个触觉输出发生器163包括一个或多个电声设备诸如扬声器或其他音频部件;和/或用于将能量转换成线性运动的机电设备诸如电机、螺线管、电活性聚合器、压电致动器、静电致动器、或其他触觉输出生成部件(例如,将电信号转换成设备上的触觉输出的部件)。一个或多个触觉输出发生器163从触觉反馈模块133接收触觉反馈生成指令,并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中,至少一个触觉输出发生器与触敏表面(例如,触敏显示器系统112)并置排列或邻近,并且任选地通过竖直地(例如,向设备100的表面内/外)或侧向地(例如,在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中,至少一个触觉输出发生器传感器位于设备100的与位于设备100的前部上的触敏显示系统112相背对的后部上。
设备100任选地还包括用于获得关于设备的姿势(例如,位置和取向或姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如,作为惯性测量单元(IMU)的一部分)。图1A示出了与外围设备接口118耦接的传感器167、168和169。另选地,传感器167、168和169任选地与I/O子系统106中的输入控制器160耦接。在一些实施方案中,基于对从该一个或多个加速度计所接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图来显示信息。设备100任选地包括用于获得关于设备100的位置的信息的GPS(或GLONASS或其他全球导航系统)接收器。
在一些实施方案中,存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、触觉反馈模块(或指令集)133、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135、以及应用程序(或指令集)136。此外,在一些实施方案中,存储器102存储设备/全局内部状态157,如图在1A和图3中所示的。设备/全局内部状态157包括以下中的一者或多者:活动应用程序状态,其指示哪些应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其他信息占据触敏显示器系统112的各个区;传感器状态,其包括从设备的各个传感器和其他输入或控制设备116获得的信息;以及关于设备的姿势(例如,位置和/或姿态)的位置和/或位置信息。
操作系统126(例如,iOS、Android、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、电源管理等)的各种软件组件和/或驱动器,并且有利于各种硬件和软件组件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信,并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如,通用串行总线(USB)、火线等)适于直接耦接到其他设备,或间接地通过网络(例如,互联网、无线LAN等)进行耦接。在一些实施方案中,外部端口是与Apple Inc.(Cupertino,California)的一些iPod />和/>设备中所使用的30针连接器相同或类似和/或兼容的多针(例如,30针)连接器。在一些实施方案中,外部端口是与Apple Inc.(Cupertino,California)的一些/>iPod />和/>设备中所使用的Lightning连接器相同或类似和/或兼容的Lightning连接器。在一些实施方案中,外部端口是与Apple Inc.(Cupertino,California)的一些电子设备中所使用的USB C型连接器相同或类似和/或兼容的USB C型连接器。
接触/运动模块130任选地检测与触敏显示器系统112(结合显示控制器156)和其他触敏设备(例如,触控板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与(例如通过手指或触笔)接触检测相关的各种操作,诸如确定是否已发生接触(例如,检测手指按下事件)、确定接触的强度(例如,接触的力或压力,或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪跨触敏表面的移动(例如,检测一个或多个手指拖动事件),以及确定接触是否已停止(例如,检测手指抬离事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变),所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如,单指接触或触笔接触)或者多点同时接触(例如,“多点触摸”/多指接触)。在一些实施方案中,接触/运动模块130和显示控制器156检测触摸板上的接触。
接触/运动模块130任选地检测由用户进行的手势输入。触敏表面上的不同手势具有不同的接触模式(例如,所检测到的接触的不同运动、计时和/或强度)。因此,任选地通过检测特定接触模式来检测手势。例如,检测单指轻击手势包括检测手指按下事件,然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如,在图标位置处)检测手指抬起(抬离)事件。又如,检测触敏表面上的手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检测手指抬起(抬离)事件。类似地,通过检测触笔的特定接触图案来任选地检测触笔的轻击、轻扫、拖动和其他手势。
在一些实施方案中,检测手指轻击手势取决于检测手指按下事件与手指抬起事件之间的时间长度,但是与检测手指按下事件与手指抬起事件之间的手指接触强度无关。在一些实施方案中,根据确定手指按下事件与手指抬起事件之间的时间长度小于预先确定的值(例如,小于0.1秒、0.2秒、0.3秒、0.4秒或0.5秒),检测轻击手势,而不管轻击期间手指接触的强度是否达到给定的强度阈值(大于标称接触检测强度阈值),诸如轻按压或深按压强度阈值。因此,手指轻击手势可以满足特定输入标准,该特定输入标准不要求接触的特征强度满足给定强度阈值以满足特定输入标准。为清楚起见,轻击手势中的手指接触通常需要满足标称接触检测强度阈值以检测到手指按下事件,低于该标称接触检测强度阈值时,不会检测到接触。类似的分析适用于通过触笔或其他接触检测轻击手势。在设备能够检测在触敏表面上方悬停的手指或触笔接触的情况下,标称接触检测强度阈值任选地不与手指或触笔与触敏表面之间的物理接触对应。
同样的概念以类似方式适用于其他类型的手势。例如,可基于满足与手势中包括的接触的强度无关或者不要求执行手势的一个或多个接触达到强度阈值以便被识别的标准来任选地检测轻扫手势、捏合手势、展开手势和/或长按压手势。例如,基于一个或多个接触的移动的量来检测轻扫手势;捏合手势基于两个或更多个接触朝彼此的移动来检测;展开手势基于两个或更多个接触背离彼此的移动来检测;长按压手势基于触敏表面上具有少于阈值移动量的接触的持续时间来检测。因此,关于特定手势识别标准不要求接触强度满足相应的强度阈值以满足特定手势识别标准的陈述意味着特定手势识别标准能够在手势中的接触未达到相应的强度阈值时被满足,并且还能够在手势中的一个或多个接触达到或超过相应的强度阈值的情况下被满足。在一些实施方案中,基于确定在预定义时间段内检测到手指按下事件和手指抬起事件来检测轻击手势,而不考虑在预定义时间段期间接触是高于还是低于相应的强度阈值,并且基于确定接触移动大于预定义量值来检测轻扫手势,即使在接触移动结束时接触高于相应的强度阈值也是如此。即使在对手势的检测受到执行手势的接触的强度的影响的具体实施中(例如,当接触的强度高于强度阈值时,设备更快地检测到长按压,或者当接触的强度更高时,设备会延迟对轻击输入的检测),只要在接触未达到特定强度阈值的情况下可以满足识别手势的标准,则对这些手势的检测也不会要求接触达到特定强度阈值(例如,即使识别手势所需的时间量发生变化)。
在某些情况下,接触强度阈值、持续时间阈值和移动阈值以各种不同组合进行组合,以便创建启发式算法来区分针对相同输入元素或区域的两个或更多个不同手势,使得与相同输入元素的多个不同交互能够提供更丰富的用户交互和响应的集合。关于一组特定手势识别标准不要求一个或多个接触的强度满足相应的强度阈值以便满足特定手势识别标准的陈述不排除对其他强度相关手势识别标准进行同时评估,以识别具有当手势包括具有高于相应强度阈值的强度的接触时被满足的标准的其他手势。例如,在某些情况下,第一手势的第一手势识别标准(其不要求接触的强度满足相应的强度阈值以满足第一手势识别标准)与第二手势的第二手势识别标准(其取决于达到相应强度阈值的接触)竞争。在此类竞争中,如果第二手势的第二手势识别标准首先得到满足,则手势任选地不被识别为满足第一手势的第一手势识别标准。例如,如果在接触移动预定义的移动量之前接触达到相应的强度阈值,则检测到深按压手势而不是轻扫手势。相反,如果在接触达到相应的强度阈值之前接触移动预定义的移动量,则检测到轻扫手势而不是深按压手势。即使在此类情况下,第一手势的第一手势识别标准仍然不要求接触的强度满足相应的强度阈值以满足第一手势识别标准,因为如果接触保持低于相应的强度阈值直到手势结束(例如,具有不会增大到高于相应强度阈值的强度的接触的轻扫手势),手势将被第一手势识别标准识别为轻扫手势。因此,不要求接触的强度满足相应的强度阈值以满足特定手势识别标准的特定手势识别标准将会(A)在某些情况下,忽略相对于强度阈值的接触强度(例如,对于轻击手势而言)和/或(B)在某些情况下,如果在特定手势识别标准识别与输入对应的手势之前,一组竞争的强度相关手势识别标准(例如,对于深按压手势而言)将输入识别为与强度相关手势对应,则不能满足特定手势识别标准(例如,对于长按压手势而言),从这个意义上来讲,仍然取决于相对于强度阈值的接触强度(例如,对于与深按压手势竞争识别的长按压手势而言)。
结合加速度计167、陀螺仪168和/或磁力仪169,姿势模块131任选地检测关于设备的姿势信息,诸如在特定参考系中设备的姿势(例如,滚转、仰俯、偏航和/或位置)。姿势模块131包括用于执行与检测设备位置和检测设备姿势变化相关的各种操作的软件组件。
图形模块132包括用于在触敏显示器系统112或其他显示器上渲染和显示图形的各种已知软件组件,包括用于改变所显示的图形的视觉冲击(例如,亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用,术语“图形”包括可被显示给用户的任何对象,非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中,图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码,在必要的情况下还一起接收坐标数据和其他图形属性数据,并且然后生成屏幕图像数据,以输出至显示控制器156。
触觉反馈模块133包括用于生成指令(例如,由触觉反馈控制器161使用的指令)的各种软件部件,以响应于用户与设备100的交互而使用一个或多个触觉输出发生器163在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如,联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置并提供该信息以在各种应用程序中使用(例如,提供至电话138以用于基于位置的拨号;提供至相机143作为图片/视频元数据;以及提供至提供基于位置的服务的应用程序诸如天气桌面小程序、当地黄页桌面小程序和地图/导航桌面小程序)。
虚拟/増强现实模块145向实现増强现实特征,并且在一些实施方案中实现虚拟现实特征的应用程序136提供虚拟和/或増强现实逻辑部件。虚拟/增强现实模块145促进虚拟内容诸如虚拟用户界面对象在一个或多个相机的视场的至少一部分的表示上的叠加。例如,在虚拟/增强现实模块145的帮助下,一个或多个相机的视场的至少一部分的表示可以包括相应的物理对象,并且虚拟用户界面对象可以在显示的增强现实环境中显示在基于一个或多个相机的视场中的相应物理对象确定的位置处,或显示在基于计算机系统的至少一部分的姿势(例如,用于向计算机系统的用户显示用户界面的显示设备的姿势)确定的虚拟现实环境中。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集:
·联系人模块137(有时称作通讯录或联系人列表);
·电话模块138;
·视频会议模块139;
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·健身支持模块142;
·用于静态图像和/或视频图像的相机模块143;
·图像管理模块144;
·浏览器模块147;
·日历模块148;
·桌面小程序模块149,其任选地包括以下各项中的一者或多者:天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5和由用户获得的其他桌面小程序,以及用户创建的桌面小程序149-6;
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150;
·搜索模块151;
·视频和音乐播放器模块152,任选地由视频播放器模块和音乐播放器模块构成;
·便笺模块153;
·地图模块154;和/或
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134,联系人模块137包括可执行指令用于管理通讯录或联系人列表(例如,存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中),包括:添加姓名到通讯录;从通讯录删除姓名;将电话号码、电子邮件地址、物理地址或其他信息与姓名关联;将图像与姓名关联;对姓名进行归类和分类;提供电话号码和/或电子邮件地址来发起和/或促进通过电话138、视频会议139、电子邮件140或IM 141的通信;等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、和文本输入模块134,电话模块138包括用于进行以下操作的可执行指令:输入与电话号码对应的字符序列、访问通讯录137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话、以及当会话完成时断开或挂断。如上所述,无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触敏显示系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132、文本输入模块134、联系人列表137和电话模块138,视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与者之间的视频会议的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,即时消息模块141包括用于进行以下操作的可执行指令:输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如,使用针对基于电话的即时消息的短消息服务(SMS)或多媒体消息服务(MMS)协议或者使用针对基于互联网的即时消息的XMPP、SIMPLE、Apple推送通知服务(APNs)或IMPS)、接收即时消息,以及查看所接收的即时消息。在一些实施方案中,所传输和/或接收的即时消息任选地包括图形、相片、音频文件、视频文件、和/或MMS和/或增强消息服务(EMS)中所支持的其他附接件。如本文所用,“即时消息”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE、APNs或IMPS发送的消息)两者。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154以及视频和音乐播放器模块152,健身支持模块142包括可执行指令用于创建健身(例如,具有时间、距离和/或卡路里燃烧目标);与(体育设备和智能手表中的)健身传感器通信;接收健身传感器数据;校准用于监视健身的传感器;为健身选择和播放音乐;以及显示、存储和传输健身数据。
结合触敏显示器系统112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触模块130、图形模块132和图像管理模块144,相机模块143包括用于进行以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征、和/或从存储器102删除静态图像或视频。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、和相机模块143,图像管理模块144包括用于排列、修改(例如,编辑)、或以其他方式操纵、加标签、删除、展示(例如,在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,浏览器模块147包括用于根据用户指令浏览互联网(包括搜索、链接到、接收和显示网页或其部分,以及链接到网页的附件和其他文件)的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括用于根据用户指令创建、显示、修改和存储日历以及与日历相关联的数据(例如,日历条目、待办事项等)的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如,天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如,用户创建的桌面小程序149-6)。在一些实施方案中,小组件包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中,小组件包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!小组件)。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序创建器模块150包括用于创建桌面小程序(例如,将网页的用户指定部分转到桌面小程序中)的可执行指令。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,搜索模块151包括用于根据用户指令搜索存储器102中的与一个或多个搜索条件(例如,一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如,MP3或AAC文件)存储的所录制的音乐和其他声音文件的可执行指令,以及用于(例如,在触敏显示器系统112上,或在无线连接或经由外部端口124连接的外部显示器上)显示、呈现或以其他方式回放视频的可执行指令。在一些实施方案中,设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132和文本输入模块134,记事本模块153包括用于根据用户指令来创建和管理笔记、待办事项等的可执行指令。
结合RF电路108、触敏显示器系统112、显示控制器156、接触模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154包括用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如,驾驶方向;特定位置处或附近的商店和其他兴趣点的数据;和其他基于位置的数据)的可执行指令。
结合触敏显示器系统112、显示控制器156、接触模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括允许用户访问、浏览、接收(例如,通过流式传输和/或下载)、回放(例如,在触摸屏112上,或在无线连接或经由外部端口124连接的外部显示器上)、发送具有指向特定在线视频的链接的电子邮件、以及以其他方式管理一种或多种文件格式诸如H.264的在线视频的可执行指令。在一些实施方案中,使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。
上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如,本文中所描述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即,指令集)不必以独立的软件程序、过程或模块实现,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中,存储器102任选地存储上述模块和数据结构的子组。此外,存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中,设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触摸板作为用于操作设备100的主要输入控制设备,任选地减少设备100上的物理输入控制设备(例如,下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触摸板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中,触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、主桌面菜单或根菜单。在此类实施方案中,使用触敏表面来实现“菜单按钮”。在一些其他实施方案中,菜单按钮是物理下压按钮或者其他物理输入控制设备,而不是触敏表面。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中,存储器102(图1A中)或存储器370(图3A)包括事件分类器170(例如,在操作系统126中)和相应的应用程序136-1(例如,前述应用程序136、137至155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中,应用程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或正在执行时在触敏显示器系统112上显示的一个或多个当前应用程序视图。在一些实施方案中,设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的,并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中,应用程序内部状态192包括附加信息,诸如以下各项中的一者或多者:当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列,以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如,作为多点触摸手势的一部分的触敏显示器系统112上的用户触摸)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计167和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106所接收的信息包括来自触敏显示器系统112或触敏表面的信息。
在一些实施方案中,事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应,外围设备接口118传输事件信息。在其他实施方案中,外围设备接口118仅当存在显著事件(例如,接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中,事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器系统112显示多于一个视图时,命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如,在其中检测到触摸的最低水平视图任选地被称为命中视图,并且被辨别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定,所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下,命中视图是发起子事件(即形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块所识别,命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中,活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图,并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中,即使触摸子事件完全被局限到与一个特定视图相关联的区域,分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如,事件识别器180)。在包括活动事件识别器确定模块173的实施方案中,事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中,事件分配器模块174在事件队列中存储事件信息,该事件信息由相应事件接收器模块182进行检索。
在一些实施方案中,操作系统126包括事件分类器170。另选地,应用程序136-1包括事件分类器170。在又一个实施方案中,事件分类器170是独立模块,或者是存储在存储器102中的另一个模块(诸如,接触/运动模块130)的一部分。
在一些实施方案中,应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191,其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常,相应应用程序视图191包括多个事件识别器180。在其他实施方案中,事件识别器180中的一个或多个事件识别器是独立模块的一部分,该独立模块为诸如用户界面工具包或应用程序136-1从中继承方法和其他属性的更高级别的对象。在一些实施方案中,相应事件处理程序190包括以下各项中的一者或多者:数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地,应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外,在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179),并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中,事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182从事件分类器170接收事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息任选地还包括子事件的速率和方向。在一些实施方案中,事件包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向取向,或反之亦然),并且事件信息包括关于设备的当前姿势(例如,位置和取向)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该比较来确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施方案中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中,事件187中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中,事件1(187-1)的定义是被显示对象上的双击。例如,双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬起(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬起(触摸结束)。在另一个示例中,事件2(187-2)的定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器系统112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中,事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中,事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在触敏显示器系统112上显示三个用户界面对象的应用程序视图中,当在触敏显示器系统112上检测到触摸时,事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如,事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中,相应事件187的定义还包括延迟动作,这些延迟动作延迟事件信息的递送,直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型之后为止。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时,该相应事件识别器180进入事件不可能、事件失败或事件结束状态,在此之后忽略基于触摸的手势的后续子事件。在这种情况下,对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中,相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中,元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中,元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中,当事件的一个或多个特定子事件被识别时,相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中,相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中,事件识别器180抛出与所辨别出的事件相关联的标记,并且与该标记相关联的事件处理程序190获取该标记并执行预定义进程。
在一些实施方案中,事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反,子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的进程。
在一些实施方案中,数据更新器176创建并更新在应用程序136-1中使用的数据。例如,数据更新器176对联系人模块137中所使用的电话号码进行更新,或者对视频或音乐播放器模块152中所使用的视频文件进行存储。在一些实施方案中,对象更新器177创建并更新在应用程序136-1中使用的对象。例如,对象更新器177创建新的用户界面对象或更新用户界面对象的部位。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息,并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中,事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178,或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中,它们被包括在两个或更多个软件模块中。
应当理解,关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入,并不是所有用户输入都是在触摸屏上发起的。例如,任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下;触控板上的接触移动,诸如轻击、拖动、滚动等;触控笔输入;基于对由一个或多个相机获得的视频图像的实时分析的输入;设备的移动;口头指令;检测到的眼睛移动;生物特征输入;和/或它们的任何组合任选地被用作对应于限定要辨别的事件的子事件的输入。
图2A示出了根据一些实施方案的具有触摸屏(例如,触敏显示系统112,图1A)的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在这些实施方案中以及在下文中描述的其他实施方案中,用户能够通过例如利用一个或多个手指202(在图中未按比例绘制)或一个或多个触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮,诸如“主桌面”或菜单按钮204。如前所述,菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。作为另外一种选择,在一些实施方案中,菜单按钮被实现为被显示在触摸屏显示器上的GUI中的软键。
在一些实施方案中,设备100包括触摸屏显示器、菜单按钮204(有时称为主屏幕按钮204)、用于使设备通电/断电和用于锁定设备的下压按钮206、音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁进程。在一些实施方案中,设备100还通过麦克风113来接受用于激活或停用某些功能的语音输入。设备100还任选地包括用于检测触敏显示器系统112上的接触强度的一个或多个接触强度传感器165,和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器163。
图2B示出了任选地包括光学传感器164-1和164-2以及深度传感器220(例如,一个或多个飞行时间(“ToF”)传感器、结构光传感器(也称为结构光扫描器)等)的便携式多功能设备100(例如,设备100的背部的视图)。当光学传感器(例如,相机)164-1和164-2同时捕获物理环境的表示(例如,图像或视频)时,便携式多功能设备可以根据由光学传感器同时捕获的信息之间的差异(例如,捕获的图像之间的差异)来确定深度信息。由使用光学传感器164-1和164-2确定的(例如,图像)差异提供的深度信息可能缺乏准确性,但通常提供高分辨率。为了提高由图像之间的差异提供的深度信息的准确度,深度传感器220任选地与光学传感器164-1和164-2结合使用。在一些实施方案中,深度传感器220发射波形(例如,来自发光二极管(LED)或激光器的光),并且测量波形(例如,光)的反射返回到ToF传感器220所花费的时间。根据光返回到深度传感器220所花费的测量时间来确定深度信息。深度传感器通常提供高准确度(例如,相对于测量的距离或深度1cm或更好的准确度),但可能缺乏高分辨率(例如,深度传感器220的分辨率任选地为光学传感器164的分辨率的四分之一,或小于光学传感器164的分辨率的四分之一,或为光学传感器164的分辨率的十六分之一,或小于光学传感器164的分辨率的十六分之一)。因此,将来自深度传感器(例如,深度传感器220,诸如ToF传感器)的深度信息与由使用光学传感器(例如,相机)确定的(例如,图像)差异提供的深度信息相结合,提供既准确又具有高分辨率的深度图。
图3A是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中,设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如,家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于将这些部件互联的一根或多根通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330,该显示器可选地为触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如,类似于以上参考图1A所述的一个或多个触觉输出发生器163)、传感器359(例如,光学传感器、深度传感器、加速度传感器、接近传感器、触敏传感器、和/或类似于以上参考图1A所述的一个或多个接触强度传感器165的接触强度传感器)。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备;并且任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中,存储器370存储与便携式多功能设备100(图1A)的存储器102中所存储的程序、模块和数据结构类似的程序、模块、和数据结构,或它们的子集。此外,存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如,设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390,而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3A中上述所识别的元件中的每个元件任选地存储在先前提到的存储器设备中的一个或多个存储器设备中。上述所识别的模块中的每个模块对应于用于执行上述功能的指令集。上述所识别的模块或程序(即,指令集)不必被实现为独立的软件程序、过程或模块,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。在一些实施方案中,存储器370任选地存储上述模块和数据结构的子组。此外,存储器370任选地存储上文未描述的附加模块和数据结构。
图3B-3C为根据一些实施方案的示例性计算机系统301的框图。
在一些实施方案中,计算机系统301包括以下部件和/或与之通信:
·输入设备(302和/或307,例如,触敏表面,诸如触敏遥控器,或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器,以及/或者跟踪用户的一个或多个特征诸如用户的手部的位置的相机);
·虚拟/増强现实逻辑部件303(例如,虚拟/増强现实模块145);
·显示生成部件(304和/或308,例如,显示器、投影仪、头戴式显示器、平视显示器等),用于向用户显示虚拟用户界面元素;
·用于捕获设备的视野的图像的相机(例如,305和/或311),例如,用于确定虚拟用户界面元素的放置、确定设备的姿势和/或显示相机所在物理环境的一部分的图像;对由计算机系统(例如,301-a、301-b或301-c)的一个或多个相机捕获的图像的所有引用应被理解为任选地包括来自计算机系统的一个或多个深度传感器(例如,一个或多个飞行时间传感器、
结构光传感器(也称为结构光扫描器)等)的深度信息,以促进对一个或多个相机的视野中的对象的测量;以及
·姿势传感器(例如,306和/或311),用于确定设备相对于物理环境的姿势和/或设备姿势的变化。
在一些计算机系统(例如,图3B中的301-a)中,输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304、相机305以及姿势传感器306均集成到计算机系统(例如,图1A至图1B中的便携式多功能设备100或图3中的设备300,诸如智能电话或平板电脑)中。
在一些计算机系统(例如,301-b)中,除了集成输入设备302、虚拟/增强现实逻辑部件303、显示生成部件304、相机305;和姿势传感器306之外,计算机系统还与独立于计算机系统的附加设备通信,诸如独立的输入设备307,诸如触敏表面、触笔、遥控器等和/或独立的显示生成部件308,诸如虚拟现实头戴耳机或覆盖物理环境上的虚拟对象的增强现实眼镜。
在一些计算机系统(例如,图3C中的301-c)中,输入设备307、显示生成部件309、相机311和/或姿势传感器312与计算机系统分离并与计算机系统通信。在一些实施方案中,使用计算机系统301中的并与该计算机系统通信的部件的其他组合。例如,在一些实施方案中,显示生成部件309、相机311和姿势传感器312结合在与计算机系统集成或与计算机系统通信的头戴式耳机中。
在一些实施方案中,下文参考图5A至图5P、图6A至图6N、图7A至图7T和图8A至图8F描述的所有操作在具有虚拟/增强现实逻辑部件303的单个计算设备(例如,以下参考图3B描述的计算机系统301-a)上执行。然而,应当理解,经常将多个不同的计算设备链接在一起以执行下文参考图5A至图5P、图6A至图6N、图7A至图7T和图8A至图8F描述的操作(例如,具有虚拟/增强现实逻辑部件303的计算设备与具有显示器450的独立计算设备和/或具有触敏表面451的独立计算设备通信)。在任何这些实施方案中,下文参考图5A至图5P、图6A至图6N、图7A至图7T和图8A至图8F描述的计算设备是包含虚拟/增强现实逻辑部件303的一个或多个计算设备。另外,应当理解,在各种实施方案中,虚拟/增强现实逻辑部件303可被划分在多个不同模块或计算设备之间;然而,出于本文描述的目的,虚拟/增强现实逻辑部件303将主要被称为驻留在单个计算设备中,以避免不必要地模糊实施方案的其他方面。
在一些实施方案中,虚拟/增强现实逻辑部件303包括一个或多个模块(例如,一个或多个事件处理程序190,包括如上文参考图1B更详细地描述的一个或多个对象更新器177和一个或多个GUI更新器178),所述一个或多个模块接收解释输入,并且响应于这些解释输入,根据解释输入生成用于更新图形用户界面的指令,所述解释输入随后用于更新显示器上的图形用户界面。在一些实施方案中,已经被检测(例如,通过图1A和图3中的接触运动模块130)、识别(例如,通过图1B中的事件识别器180)和/或分配(例如,通过图1B中的事件分类器170)的输入的解释输入用于更新显示器上的图形用户界面。在一些实施方案中,解释输入由计算设备上的模块生成(例如,计算设备接收原始接触输入数据,以便从原始接触输入数据识别手势)。在一些实施方案中,解释输入的一些或全部被计算设备接收为解释输入(例如,包括触敏表面451的计算设备处理原始接触输入数据,以便从原始接触输入数据识别手势并且将指示手势的信息发送到包括虚拟/增强现实逻辑部件303的计算设备)。
在一些实施方案中,显示器和触敏表面两者均与包含虚拟/增强现实逻辑部件303的计算机系统(例如,图3B中的301-a)集成。例如,该计算机系统可以是具有集成显示器(例如,图3中的340)和触控板(例如,图3中的355)的台式计算机或膝上型计算机。又如,计算设备可以是具有触摸屏(例如,图2A中的112)的便携式多功能设备100(例如,智能电话、PDA、平板电脑等)。
在一些实施方案中,触敏表面与计算机系统集成,而显示器不与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如,该计算机系统可以是具有集成触控板(例如,图3中的355)的设备300(例如,台式计算机或膝上型计算机等),其中该集成触控板与独立显示器(例如,计算机监视器、电视等)相连(通过有线或无线连接)。又如,计算机系统可以是具有触摸屏(例如,图2A中的112)的便携式多功能设备100(例如,智能电话、PDA、平板电脑等),其中该触摸屏与独立显示器(例如,计算机监视器、电视等)相连(通过有线或无线连接)。
在一些实施方案中,显示器与计算机系统集成,而触敏表面不与包含虚拟/增强现实逻辑部件303的计算机系统集成。例如,该计算机系统可以是具有集成显示器(例如,图3中的340)的设备300(例如,台式计算机、膝上型计算机、带集成式机顶盒的电视),其中该集成显示器与独立触敏表面(例如,远程触控板、便携式多功能设备等)相连(通过有线或无线连接)。又如,计算机系统可以是具有触摸屏(例如,图2A中的112)的便携式多功能设备100(例如,智能电话、PDA、平板电脑等),其中该触摸屏与独立触敏表面(例如,远程触控板、另一个触摸屏作为远程触控板使用的便携式多功能设备等)相连(通过有线或无线连接)。
在一些实施方案中,显示器和触敏表面两者均不与包含虚拟/增强现实逻辑部件303的计算机系统(例如,图3C中的301-c)集成。例如,该计算机系统可以是连接(通过有线或无线连接)到独立触敏表面(例如,远程触控板、便携式多功能设备等)和独立显示器(例如,计算机监视器、电视等)的独立计算设备300(例如,机顶盒、游戏控制台等)。
在一些实施方案中,计算机系统具有集成音频系统(例如,便携式多功能设备100中的音频电路110和扬声器111)。在一些实施方案中,计算设备和独立于计算设备的音频系统通信。在一些实施方案中,音频系统(例如,集成在电视单元中的音频系统)与单独显示器集成。在一些实施方案中,音频系统(例如,立体音响系统)是与该计算机系统和显示器分开的独立系统。
现在将注意力转到任选地在便携式多功能设备100上实现的用户界面(“UI”)的实施方案。
图4A示出根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,用户界面400包括以下元件或者其子集或超集:
·无线通信诸如蜂窝信号和Wi-Fi信号的信号强度指示符;
·时间;
·蓝牙指示符;
·电池状态指示符;
·具有常用应用程序图标的托盘408,诸如:
○电话模块138的被标记为“电话”的图标416,该图标任选地包括未接来电或语音留言的数量的指示符414;
○电子邮件客户端模块140的被标记为“邮件”的图标418,该图标任选地包括未读电子邮件的数量的指示符410;
○浏览器模块147的被标记为“浏览器”的图标420;以及
○视频和音乐播放器模块152的被标记为“音乐”的图标422;
以及
其他应用程序的图标,诸如:
○IM模块141的被标记为“消息”的图标424;
○日历模块148的被标记为“日历”的图标426;
○图像管理模块144的被标记为“照片”的图标428;
○相机模块143的被标记为“相机”的图标430;
○在线视频模块155的被标记为“在线视频”的图标432;
○股市桌面小程序149-2的被标记为“股市”的图标434;
○地图模块154的被标记为“地图”的图标436;
○天气桌面小程序149-1的被标记为“天气”的图标438;
○闹钟桌面小程序149-4的被标记为“时钟”的图标440;
○健身支持模块142的被标记为“健身支持”的图标442;
○备忘录模块153的被标记为“备忘录”的图标444;
○设置应用程序或模块的被标记为“设置”的图标446,该图标提供对设备100及其各种应用程序136的设置的访问;
○测量桌面小程序的被标记为“量器”的图标448;以及
○商店模块的被标记为“电子商店”的图标449。
应当注意,图4A中示出的图标标签仅仅是示例性的。例如,其他标签任选地用于各种应用程序图标。在一些实施方案中,相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中,特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450分开的触敏表面451(例如,图3A中的平板电脑或触控板355)的设备(例如,图3A中的设备300)上的示例性用户界面。尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出随后的许多示例,但是在一些实施方案中,设备检测与显示器分开的触敏表面上的输入,如图4B中所示。在一些实施方案中,触敏表面(例如,图4B中的451)具有与显示器(例如,450)上的主轴线(例如,图4B中的453)对应的主轴线(例如,图4B中的452)。根据这些实施方案,设备检测与显示器上相应位置对应的位置处的与触敏表面451的接触(例如,图4B中的460和462)(例如,在图4B中,460对应于468并且462对应于470)。这样,在触敏表面(例如,图4B中的451)与多功能设备的显示器(例如,图4B中的450)是分开的时侯,由设备在触敏表面上所检测到的用户输入(例如,接触460和462以及它们的移动)被该设备用于操纵显示器上的用户界面。应当理解,类似的方法任选地用于本文所述的其他用户界面。
附加地,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势等)来给出下面的示例,但是应当理解的是,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一个输入设备的输入(例如,基于鼠标的输入或触笔输入)替换。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
用户界面和相关联的过程
现在将注意力转向可以在包括显示生成部件(例如,显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(例如,连续提供相机的视野内的至少一部分内容的实时预览并且可选地生成包括捕获相机的视野内的内容的一个或多个图像帧流的视频输出的摄影机),以及一个或多个输入设备(例如,触敏表面,诸如触敏遥控器,或者也用作显示生成部件的触摸屏显示器、鼠标、操纵杆、触笔控制器和/或跟踪用户的一个或多个特征诸如用户的手部的位置的相机)、可选的一个或多个姿势传感器、可选的用以检测与触敏表面的接触的强度的一个或多个传感器,以及可选的一个或多个触觉输出发生器(和/或与这些部件通信)的计算机系统(例如,便携式多功能设备100、设备300、或设备800)上实现的用户界面(“UI”)和相关过程的实施方案。
图5A至图5P示出了根据一些实施方案的用于发起用于测量用户的身体部分的过程的示例性用户界面。图6A至图6N示出了根据一些实施方案的用于获得用户的身体部分的测量的示例性用户界面。图7A至图7T示出了根据一些实施方案的用于获得测量(例如,通过提示用户定位和移动用户的身体部分,以及扫描用户的身体部分)的示例性用户界面。图8A至图8F示出了根据一些实施方案的用于存储用户的身体部分的测量信息的示例性用户界面。这些附图中的用户界面用于示出下文所述的过程,包括图9A至图9C、图10A至图10D、图11A至图11C和图12A至图12D中的过程。为了便于解释,将参考在具有触敏显示器系统112的设备上执行的操作来论述实施方案中的一些实施方案。在此类实施方案中,焦点选择器为任选地:相应手指或触笔接触、对应于手指或触笔接触的表示点(例如,相应接触的重心或与相应接触相关联的点)、或在触敏显示器系统112上所检测到的两个或更多个接触的重心。然而,响应于当在显示器450上显示附图中示出的用户界面连同焦点选择器时检测到触敏表面451上的接触,任选地在具有显示器450和独立的触敏表面451的设备上执行类似的操作。
图5A至图5P示出了根据一些实施方案的用于测量用户的身体部分的示例性用户界面。
图5A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,在图5A中的用户界面上提供的应用程序包括如参考图4A所描述的应用程序。设备在被标记为“量器”的应用程序图标448上检测用户输入502。在一些实施方案中,响应于在“量器”图标上检测到的用户输入502,在设备100上启动“量器”应用程序。在一些实施方案中,在启动的“量器”应用程序内,在“量器”应用程序内提供用户界面以发起用户的身体部分的测量。例如,在启动“量器”应用程序之后,设备任选地向用户呈现图5D所示的用户界面。
图5B示出了在对应于被标记为“电子商店”的应用程序图标449的应用程序菜单的用户界面内的位置处检测到的用户输入504。在一些实施方案中,响应于设备检测到用户输入504,设备启动应用程序(例如,“电子商店”)。
图5C示出了设备在响应于用户输入504(例如,和/或用户输入502)而启动的应用程序中显示的示例性用户界面。例如,图5C示出了用于购买附件(例如,手表和/或手表带)的示例性用户界面。在一些实施方案中,用于购买附件的用户界面包括测量附件的尺寸(例如,身体部分的尺寸)的选项。例如,图5C示出了用于购买手表的用户界面,并且提供按钮506(例如,用户可选择的示能表示或按钮)以测量用户的表带(例如,手表带)尺寸。在一些实施方案中,用户经由用户输入508(例如,轻击输入)来选择按钮506。
图5D示出了由设备响应于检测到对按钮506的选择而显示的示例性用户界面510。将理解的是,在一些实施方案中,图5D是从与图5B至图5C中示出的示例不同的应用程序(例如,和/或在显示不同的用户界面之后)启动的。例如,在一些实施方案中,图5D是从图5A中选择的“量器”应用程序启动的。
图5D示出了用于提示用户选择“左”按钮514或“右”按钮516以指示将测量哪个手腕(例如,左或右)的用户界面510。在一些实施方案中,用户界面包括指令,诸如文本指令512,“选择您的手表穿戴手腕”。在一些实施方案中,用户界面显示待测量的身体部分518的表示。例如,为了测量手表带,设备显示左和右前臂、手腕和/或手部的表示(例如,图像)。将理解的是,取决于附件(例如,和待测量的用户的对应身体部分),指令和/或身体部分的示例性显示表示根据所选择的附件而改变。
图5E示出了选择“左”按钮的用户输入522,从而指示用户在用户的左手腕上穿戴手表(例如,和/或指示用户的左手腕是待测量的身体部分)。
在一些实施方案中,用户界面520显示的背景与在用户界面510中显示的背景不同。例如,当继续显示“左”和“右”按钮和/或身体部分的表示时,背景的颜色改变(例如,如图5D至图5F中所示的填充图案的改变所示)(例如,即使当用户界面的其他元素保持相同时,背景颜色也改变)。在一些实施方案中,背景的颜色贯穿各种用户界面的显示而改变以提供用于发起对身体部分的测量的指令。例如,除了在图5D和图5E中显示的指令(例如,“选择您的手表穿戴手腕”)之外,图5F示出了由设备显示的附加(例如,不同)指令(例如,“将设备放置在平坦表面上”);然而,图5D至图5F所示的每个用户界面对应于用于发起对身体部分的测量的指导用户界面。在一些实施方案中,背景颜色根据时间量而改变(例如,颜色每1秒、每2秒、每5秒、每1分钟、每5分钟等改变)。在一些实施方案中,预定义数量的颜色重复(例如,循环),使得在已经显示剩余颜色之后重新显示相同颜色。
在一些实施方案中,响应于设备检测到用户输入522选择“左”或“右”手腕,设备显示图5F所示的用户界面524。图5F示出了向用户提供关于如何通过设备测量用户的身体部分的指令(例如,文本指令526和/或以动画528的形式的指令)的用户界面。例如,图5F包括文本指令526,即用户“1.将设备放置在平坦表面上”和“2.将您的左手放置在设备上方并且旋转您的手部”。图5F还任选地示出了动画528,其示出了放置在设备100上方的前臂/手部的表示(和/或前臂/手部旋转的动画)。
如参考图1A所述,在一些实施方案中,设备100包括一个或多个光学传感器164(例如,作为一个或多个相机的一部分)。在一些实施方案中,一个或多个光学传感器164用于检测用户是否已经将用户的手部放置在设备上方。
图5G至图5J示出了物理环境531和当用户将用户的手部532移动到物理环境内的不同位置(例如,相对于设备100)时由设备显示的示例性用户界面。在一些实施方案中,设备100显示视觉提示(例如,使用淡化、半透明、颜色等)以向用户指示用户手部相对于设备100的适当位置。例如,用户手部的适当位置由设备100与用户手部532之间的距离(例如,或由预定义距离范围)以及用户手部相对于设备100的取向限定。例如,取向由在用户手部和设备之间形成的预定义角度(例如,或角度范围)确定。在一个示例中,用户手部的适当取向对应于用户手掌基本上平行于设备。在一些实施方案中,用户手部的适当位置进一步由用户手部在一个或多个相机的视野内居中(例如,横向地)限定。
图5G示出了物理环境531,其包括平放在桌子上的设备100、悬停在设备100上方的用户手部532、以及吊扇530。在一些实施方案中,用户手部532和吊扇530在设备100的一个或多个相机的视野中(例如,由一个或多个光学传感器164检测)。在一些实施方案中,设备100显示设备的一个或多个相机的视野的表示。例如,在图5G中,在左侧示出了在设备100上显示的用户界面。用户界面包括在设备100的一个或多个相机的视野内的用户手部536的表示和吊扇534的表示。
图5H示出了与图5G中的手部的放置相比,用户将用户手部532移动得更靠近设备100。在一些实施方案中,设备根据用户手部532的移动来更新在设备100的用户界面上显示的用户手部536的表示。例如,随着用户将手部532移动得更靠近设备100,用户手部536的表示被更新为图5H中的用户手部540的更大表示(例如,因为当用户手部更靠近相机时,用户手部的相机馈送将显得更大)。在一些实施方案中,当用户手部532相对于设备(例如,相对于一个或多个相机)移动时,根据用户手部的移动(例如,在物理环境中)来更新用户手部的表示。在一些实施方案中,根据用户手部移动得更靠近相对于设备100的适当位置(例如,其中适当位置由要用于测量的用户手部的距离和/或取向确定),设备100开始淡出(例如,遮盖)背景(例如,物理环境中的在一个或多个相机的视野内的对象)。例如,图5H示出了吊扇538的表示根据用户手部532移动得更靠近适当位置(例如,当用户调整用户的手部位置时)而淡出(例如,如由表示的阴影图案指示的)。例如,一旦用户手部移动到适当位置中,背景对象不再显示(例如,完全淡出),如参考图5J所描述的。
在一些实施方案中,当用户将用户手部移动到相对于设备100的不同位置时,用户手部544的表示被显示为半透明的(例如,和/或淡化的),如图5I所示。在一些实施方案中,根据确定用户手部处于适当位置,用户手部的表示从半透明转变到非半透明。
图5J示出了处于相对于设备100的适当位置的用户手部532的示例性用户界面。在一些实施方案中,根据设备确定用户手部处于适当位置,背景(例如,包括在一个或多个相机的视野中的物理环境中的任何物理对象)被移除并且用人工或虚拟背景(在本文中有时被称为显示背景546)替换。在一些实施方案中,所显示的背景546包括颜色(例如,从如参考图5D至图5F所述的在用户界面上显示的颜色中选择)。因此,根据设备确定用户手部处于适当位置,设备100显示包括用户手部548的表示而没有一个或多个相机的视野中的其他对象(例如,吊扇530)的表示的用户界面。
图5K至图5N示出了物理环境531和用于向用户显示错误状况的示例性用户界面。如上所解释的,在测量用户的身体部分的部分之前,用户的身体部分必须放置在相对于设备的适当位置。在一些实施方案中,当用户的身体部分(例如,手部)在一个或多个相机的视野内时,用户的身体部分的表示由设备100显示。在一些实施方案中,当用户的身体部分在一个或多个相机的视野内但不处于相对于设备的适当位置时,用户的身体部分的表示由设备修改,使得用户能够确定身体部分尚未处于适当位置。例如,在图5K至图5N中,用户的身体部分的表示(例如,表示552)被显示为用户的身体部分的淡化(例如,至少部分半透明)表示(例如,如图5K至图5N中的阴影图案所示)。
图5K示出了定位成比适当位置(例如,如图5J所示的适当位置)更远离设备100的用户手部532。在一些实施方案中,设备100显示用户手部未处于适当位置的指示。例如,设备100显示文本指示550(“手部太远”),从而指示用户手部更远离设备并且需要移动得更近以便满足适当位置。
图5L示出了与图5K中的用户手部532的放置相比,用户手部532被定位成更靠近设备100,但在此示例中,比(预定义)适当位置更靠近设备。因为用户手部532被定位成比适当位置更靠近设备,所以用户手部556的表示被设备显示为淡化的,并且设备100显示文本指示554(“手部太靠近”)以指示用户手部与其应当处于适当位置相比更靠近设备。还应注意,当用户手部532移动得更靠近设备100时,用户手部556的表示由设备显示为大于当用户手部552更远离设备时的用户手部532的表示(例如,如图5K中所示)。
图5M示出了其中设备100的姿势不正确的错误状况。例如,设备100在桌子上倾斜。在一些实施方案中,设备100的取向由用于获得关于设备的姿势(例如,位置和取向或姿态)的信息的一个或多个加速度计167、陀螺仪168和/或磁力仪169(例如,作为设备100的惯性测量单元(IMU)的一部分)确定。例如,在一些实施方案中,当设备为“平坦”时,设备被认为具有适当姿势。设备根据其姿势基本上平行于地面(例如,或其他表面,诸如桌子)的确定而确定该设备为“平坦”。在一些实施方案中,可使用设备的预定义角度(或角度范围)来确定设备是否处于用于发起测量的适当姿势。
图5N示出了其中用户手部532在物理环境中还包括附件562(例如,手链、手表等)的错误状况。在一些实施方案中,根据确定用户手部532包括附件(例如,在一个或多个相机的视野中的附件;或者,在另一个示例中,由设备确定为处于可能干扰确定待测量的身体部分的准确测量的位置或定位处的附件),设备显示错误,诸如文本指示564(“移除珠宝”),从而指示用户在设备将发起测量用户的手腕之前移除附件。
图5O示出了在不显示描述错误的文本指示的情况下的用户手部568的淡化表示。例如,设备100显示用户手部的淡化表示以指示用户手部未处于用于发起测量的适当位置(例如,没有指示用户为了获得适当位置必须做什么的附加指示)。因此,如参考图5K至图5N所描述的,任选地不显示根据确定用户手部未处于适当位置而出现的文本指示。
图5P示出了用户手部处于适当位置的任选指示。例如,根据设备确定用户手部处于发起测量的适当位置(例如,相对于设备100处于预定义距离和/或处于预定义取向),设备100任选地显示动画轮廓570。在一些实施方案中,动画轮廓570包括与用户手部572的表示相同的形状(例如,动画轮廓遵循用户手部的表示的轮廓)。此外,在一些实施方案中,根据确定用户手部处于适当位置,用户手部572的表示不再被显示为半透明的(例如,如由图5O所示的填充图案在图5P中被移除指示的)。
图6A至图6N示出了用于使用由电子设备的一个或多个相机捕获的身体部分的图像来测量用户的身体部分的一部分的示例性用户界面。一个或多个捕获的图像任选地包括来自电子设备的一个或多个深度传感器的深度信息,以促进由设备进行的测量的确定。例如,图6A至图6B示出了向用户解释用户为了使用户的手腕被设备100测量而必须采取的第一组动作(例如,将点606与目标608对准)的指导用户界面。图6A示出了包括指令的用户界面,任选地包括文本指令602(“移动您的手部以将点放置在圆中”)、非文本指令604(例如,指示在哪个方向上移动手部/手腕的箭头)和/或其中手部和手腕的表示610被动画化以在箭头方向上移动的动画指令。在一些实施方案中,动画包括显示点606(例如,第一视觉指示符)移动成与目标608对准。
图6B示出了包括指令的用户界面,该指令用于使用户在用户已经完成由图6A所示的指令指示的第一组动作之后执行第二组动作(例如,将点612与目标608对准)。例如,在用户将点606放置到目标608中之后,如图6A所指示的,然后指示用户将点612放置到目标608中。在一些实施方案中,目标608在图6A和图6B所示的用户界面内位于相同位置(例如,目标608是相同目标)。图6B还示出了包括多个指令的用户界面,任选地包括文本指令616(“然后,转动您的手部以将点放置在圆中”)、非文本指令614(例如,指示在哪个方向上转动手部/手腕的箭头)和/或其中手部和手腕的表示610被动画化以在箭头方向上移动从而使得点612(例如,第三视觉指示符)移动到目标608中的动画指令。
在一些实施方案中,在用户的身体部分的测量开始之前向用户显示图6A至图6B的指令。例如,图6A至图6B所示的指令向用户提供了用户为了获得测量将需要完成的步骤的预览。
图6C至图6N示出了当用户执行由图6A至图6B中呈现的指令指示的动作时显示的示例性用户界面。例如,图6C至图6N示出了当用户移动用户的手部和/或手腕以将点对准在目标内时更新的用户界面。
图6C示出了显示与处于设备100的一个或多个相机的视野中的用户手部相对应的用户手部和手腕的表示622的用户界面。用户界面包括点620,其被固定到用户手部的表示622的部分(例如,点620被固定到用户手掌的表示)。因此,当用户手部相对于设备100(例如,相对于一个或多个相机的视野)移动时,所显示的表示622在显示器上被相应地更新,并且点620被显示为与用户手部一起移动。用户界面还包括目标618,其显示在用户界面内的固定位置处(例如,当用户手部相对于设备100移动时,目标618不移动)。
图6D示出了根据用户将用户手部移动得更靠近设备而显示的用户界面。因此,用户手部的表示624看起来比图6C所示的表示更大。点620的尺寸也根据表示624的尺寸的增加而增加(例如,成比例地)。目标618在位置和尺寸方面保持不变(例如,相对于图6C中显示的用户界面)。
图6E示出了根据用户将手部移动得更远离设备(例如,相对于图6D)而显示的用户界面。因此,用户手部和手腕的表示626在用户界面中看起来更小,并且点620的尺寸根据用户手部的表示626的当前显示尺寸来更新。点620也保持在相对于用户手部的表示的相同相对位置(例如,点620看起来附接或固定到用户手部的表示的手掌中心)。因此,当用户手部远离设备移动(例如,改变设备与手部之间的距离;沿着垂直于设备100的显示器的轴线向上或向下)时和/或当用户手部在任何方向(例如,沿着平行于设备100的显示器的轴线向左、向右、向上或向下)上移动时,在显示器上更新用户手部和手腕的表示的尺寸和位置,并且也在显示器上更新点620的尺寸和位置。
因为设备以相对于用户手部的表示的一部分固定的位置和尺寸显示点620,所以点620可向用户指示用户为了处于适当位置而需要如何移动其手部(例如,使得点620在目标618内对准)。例如,点620的尺寸向用户指示用户手部是太近还是太远(例如,点是太大还是太小而不能配合/对准在目标内),并且点620的位置向用户指示用户需要相对于设备移动其手部的方向。
图6F示出了处于适当位置的用户手部的表示628,使得点620在目标618内对准(例如,居中)。
根据一些实施方案,如图6G所示,响应于点620与目标618适当地对准,设备显示计时器632。在一些实施方案中,由设备进行的点620的显示被动画化以转变成计时器632。在一些实施方案中,目标618任选地继续由设备显示。在一些实施方案中,响应于用户将点620与目标618对准,向用户显示任选文本指令630(“保持静止0:07”)。在一些实施方案中,文本指令630包括用户必须维持其手部相对于设备的位置的时间量(例如,“0:07”)。在一些实施方案中,更新时间量(例如,每秒)以向用户显示倒计时。在一些实施方案中,当用户维持其手部的位置时,设备100捕获用户的手部/手腕的一个或多个图像。在一些实施方案中,所显示的时间量由设备根据设备捕获处于适当位置的用户手部的一个或多个图像所需的时间量来确定。例如,设备100使用所捕获的一个或多个图像来确定用户手腕的测量。如别处所述,一个或多个捕获的图像任选地包括来自一个或多个深度传感器的深度信息,以促进由设备进行的测量的确定。
根据一些实施方案,在时间量已期满(例如,计时器变为“0”)之后,显示成功消息,如图6H所示。在一些实施方案中,成功消息包括以下中的一者或多者:文本指示636(“成功”)、非文本指示(例如,复选标记638)、和/或屏幕闪烁(例如,或其他动画)以指示时间量已期满。在一些实施方案中,用户的手部和/或手腕的表示640继续与成功消息同时显示。
图6I示出了被显示以指示用户将用户手部定位到第二适当位置(例如,与参考图6C至图6H描述的适当位置不同的位置)中的示例性用户界面。在一些实施方案中,用户手部的表示646开始于图6I所示的位置,因为用户手部已经处于该位置,同时获得图6H中的第一“成功”消息。图6I任选地包括向用户指示如何移动用户手部以实现第二适当位置的文本指令642(“旋转您的手部以将点放置在圆中”)。
在一些实施方案中,点644出现在相对于用户手部的表示的一部分的固定位置中,该部分不同于其中点620被固定的用户手部的表示的部分(例如,用户手部的表示的手掌)。例如,图6I示出了点644被固定到与用户手部的侧面相邻的区域。例如,点644被固定到不直接位于用户手部上(例如,与用户手部重叠)的位置,而是在固定位置与用户手部之间存在空间。此外,在此示例中,点644相对于用户手部的表示的一部分的固定位置为三维空间中的固定位置,并且点644具有使得点644的后表面面向用户手部的外边缘且垂直于用户手掌的前表面的取向。在一些实施方案中,在图6I所示的用户界面中显示点644的侧视图(例如,点644表现为椭圆形,从而指示这是圆形点的侧视图),其指示该点需要与用户手部一起移动(例如,旋转)以便从正面视角观看点644。
在图6I至图6L所示的用户界面中显示目标618。当用户移动用户手部(例如,并且用户手部的表示在图6I至图6L所示的用户界面中更新)时,目标618被维持在用户界面中的相同位置。在一些实施方案中,如图6I至图6L中显示的目标618是与图6C至图6F中显示的目标相同的目标(例如,目标处于相同位置以将用户引导到第一适当位置和第二适当位置两者)。
图6J示出了当用户相对于设备移动(例如,旋转)用户手部时显示的示例性用户界面。例如,点644由设备维持在相对于用户手部的表示的相同相对位置。例如,当用户转动用户手部时,点644看起来浮在用户手部的表示648的前面。在一些实施方案中,点644的形状由设备更新以指示点所处的位置在设备的用户界面上显示的三维空间中的角度。例如,在图6J中,点644继续显示在相对于用户手部的表示648的固定位置处(例如,如由点与表示之间的间隙并且以用户手部的表示中示出的小指下方的特定距离限定的固定位置)。
图6K示出了其中点644现在表现为圆的用户界面,从而指示用户已经将用户手部旋转了适当量。点644被维持在相对于用户手部的表示650的相同相对位置(例如,在小指下方的特定距离处)。
图6L示出了根据设备确定用户已经将用户手部移动到第二适当位置中而显示的用户界面。例如,用户手部的表示652已经相对于图6H所示的用户手部的表示640的位置转动约90度。点644在目标618内对准,从而指示已达到第二适当位置。
根据一些实施方案,响应于用户达到第二适当位置,显示图6M所示的用户界面。例如,在一些实施方案中,响应于点644与目标618适当对准,显示了计时器656。在一些实施方案中,计时器656是与图6G所示的计时器632不同的计时器。在一些实施方案中,点620(例如,和/或目标618)被动画化以转变成计时器656。在一些实施方案中,目标618任选地继续被显示。在一些实施方案中,响应于用户将点644与目标618对准,向用户显示任选文本指令654(“保持静止0:09”)。在一些实施方案中,文本指令654包括用户必须维持其手部相对于设备的位置的时间量(例如,“0:09”)。在一些实施方案中,更新时间量(例如,每秒)以向用户显示倒计时。在一些实施方案中,当用户维持图6M所示的其手部的位置时,设备100捕获用户的手部/手腕的第二组一个或多个图像。例如,设备100使用如参考图6G描述的所捕获的一个或多个图像以及所捕获的第二组一个或多个图像来确定(例如,计算)用户手腕的测量。
根据一些实施方案,在时间量已期满(例如,计时器变为“0”)之后,显示成功消息,如图6N所示。在一些实施方案中,成功消息包括以下中的一者或多者:文本指示660(“成功”)、非文本指示(例如,复选标记662)、和/或屏幕闪烁(例如,或其他动画)以指示时间量已期满。在一些实施方案中,用户的手部和/或手腕的表示664继续与成功消息同时显示。
图7A至图7E示出了用于同时显示虚拟手链704和用户的手部和/或手腕的表示702的示例性用户界面。在一些实施方案中,虚拟手链704包括当设备扫描用户的手部和/或手腕时改变视觉外观的一个或多个指示符。在一些实施方案中,图7A是指导用户界面,该指导用户界面使用在动画手部旋转时更新指示符的外观的动画来向用户演示如何使用虚拟手链作为视觉引导来获得用户手部的扫描。
例如,图7A示出了具有在用户手部的表示702旋转时改变颜色的多个指示符(例如,椭圆形开口)的虚拟手链704。在一些实施方案中,指示符的视觉外观的改变包括改变一个或多个指示符的颜色、改变一个或多个指示符的亮度(例如,以使一个或多个指示符发光)和/或改变一个或多个指示符的透明度水平。图7A示出了当用户手部旋转时如何更新或将如何更新指示符的示例。例如,在图7A的动画指导用户界面中,当用户手部的表示旋转时,虚拟手链看起来与用户手部的表示一起旋转,使得当用户手部的表示旋转时,视觉指示符被从左到右填充。应当注意,即使用户的实际手部不移动,或者不管用户手部是移动还是静止,也可显示图7A的指导用户界面中的动画,因为这是指导用户界面。另外,应当理解,“填充”一个或多个指示符的示例(例如,如下文参考图7J至图7M所述)可对应于改变一个或多个指示符的视觉外观的任何方法(例如,改变一个或多个指示符的亮度、改变其颜色和/或改变其透明度)。
图7B示出了物理环境531,其包括平坦地定位在表面(例如,桌子)上的设备100和在设备100的一个或多个相机的视野中定位在设备100上方的用户手部532。在图7B的左侧上示出了由设备100显示的用户界面。例如,用户界面包括用户手部532的表示706(例如,如由设备100的一个或多个相机的视野捕捉的表示)的显示和虚拟手链708的显示。
在一些实施方案中,如图7B所示,当用户手部532被定位成太远离设备100时,虚拟手链708不更新虚拟手链708的任何指示符,这指示用户手部尚未在该位置处被扫描(例如,因为用户手部未处于适当位置以进行扫描)。在一些实施方案中,由设备进行的对用户手部或其他身体部分与设备100相距的距离的确定至少部分地基于从设备100的一个或多个深度传感器获得的深度信息或由设备的一个或多个相机捕获的图像或两者。
在一些实施方案中,用户手部532向左移动(例如,相对于基本上平行于设备的一个或多个相机的轴线),并且响应于用户手部向左移动,图7C所示的用户手部的表示710被显示为向左移动(例如,相对于图7B所示的表示的位置)。与用户手部的表示710相比,虚拟手链708出现在相同的相对位置中,使得当用户手部的表示移动时,虚拟手链与表示一起移动(例如,成比例地)。
图7D示出了当用户手部532已移动远离设备100(例如,在设备(例如,设备的一个或多个相机)与用户手部之间的距离增加)时显示的示例性用户界面。当用户手部更远离设备100移动时,用户手部的表示714看起来更小。根据用户手部的较小表示714(例如,与其成比例地),所显示的虚拟手链708也看起来较小(例如,相对于图7C所示的表示和虚拟手链)。
图7E示出了当用户手部532已经移动得更靠近设备100(例如,在设备(例如,设备的一个或多个相机)与用户手部之间的距离减少)时显示的示例性用户界面。随着用户手部移动得更靠近设备100,用户手部的表示718在用户界面中看起来更大。根据用户手部的较大表示718(例如,与其成比例地),所显示的虚拟手链720也看起来较大(例如,相对于图7C和图7D所示的表示和虚拟手链)。
图7F至图7G示出了任选用户界面,其中用户输入726使虚拟手链724的位置相对于用户手部的表示722移动。在一些实施方案中,虚拟手链724定位在相对于将由设备100测量的用户手部的表示的位置处。例如,如果虚拟手链更远离用户手部移动(例如,沿用户前臂向上),则设备将测量对应于虚拟手链的位置的前臂的尺寸。在一些实施方案中,向用户提供指令,从而指示用户应当将虚拟手链移动(例如,使用拖动输入726)到用户穿戴(例如,计划穿戴)对其进行测量的附件的位置。例如,如上所述,用户手腕由设备测量以确定手表带的尺寸。因此,任选地由设备指示用户将虚拟手链移动到用户前臂的用户在其处穿戴手表带的部分(例如,手腕)。
图7H至图7I示出了在用户已经过快地旋转其手部(例如,手腕)的情况下显示的任选用户界面。例如,设备确定用户可旋转其手部以便使设备获得准确测量(例如,通过扫描用户的手腕和/或手部)的速率。如果用户过快地旋转用户手部(例如,比设备允许扫描用户手部/手腕的确定速率更快),则设备放弃填充虚拟手链730的附加指示符(例如,即使用户已经移动用户手部,在图7H至图7I中仅虚拟手链730的相同两个指示符表现为填充,如由用户手部的表示728的位置到用户手部的表示734的位置的改变所指示的)。设备任选地显示错误消息,诸如文本指示732(“您移动得过快”)。
图7J至图7M示出了当用户旋转用户手部时显示的任选用户界面,并且设备100根据用户手部的成功移动(例如,扫描)来更新虚拟手链的指示符。例如,图7J示出了虚拟手链738的两个指示符被填充。在一些实施方案中,根据设备确定用户已经将用户的手部和/或手腕定位在距设备100的适当距离处,虚拟手链738的最中心指示符由设备显示为被填充。在一些实施方案中,如果用户手部未处于相对于设备100的适当位置(例如,取向和/或距离),或未能满足用于扫描用户手部的其他前提条件,则设备100提供错误状况的指示,如参考图5K至图5N所描述的。在一些实施方案中,错误状况的指示包括将用户手部的表示736显示为半透明的,直到用户手部处于适当位置为止。在一些实施方案中,错误状况的指示包括放弃填充虚拟手链738的任何指示符(例如,如图7B至图7E所示)。
在一些实施方案中,当用户旋转(例如,转动)用户的手部和/或手腕(例如,在物理环境内)时,根据用户手部的当前位置来更新用户手部的表示742。例如,用户手部的表示742示出了与图7J所示的用户手部的表示736的位置相比,用户已经旋转了用户手部。在一些实施方案中,当用户手部的表示旋转时,虚拟手链与用户手部的表示一起旋转(例如,固定到用户手部的表示)。在一些实施方案中,当设备继续扫描用户的手部/手腕时,虚拟手链的已填充指示符保持被填充。例如,当用户手部旋转时,附加指示符出现在显示器上以向用户指示用户必须继续在该方向上旋转其手部(例如,直到所显示的虚拟手链的所有指示符被填充,如图5M所示)。例如,在图7J中,在用户手部的表示736的中心(例如,手掌)附近显示的指示符被填充,并且当用户手部旋转到图7K中的位置时,在用户手部的表示740的中心(例如,手掌)附近显示的指示符保持被填充,附加指示符(例如,在用户小指的表示下方显示的指示符)被填充,而最左侧上的剩余指示符未被填充(例如,在用户手部的表示的“背面”附近显示的指示符)。
图7L示出了所显示的虚拟手链746的附加指示符,包括图7K中所示的先前填充的指示符中的一者或多者。当用户手部在一个或多个相机的视野中旋转时,用户手部的表示744被更新。例如,图7L示出了用户已经继续旋转用户手部,如用户手部的表示744的显示位置所示。当用户继续旋转用户手部时,虚拟手链746的附加指示符被填充。
图7M示出了虚拟手链750的所有显示的指示符被填充,从而指示用户手部的扫描完成(例如,没有虚拟手链的附加指示符要被填充,因此用户不需要进一步旋转用户手部来填充所显示的指示符)。图7M所示的用户手部的表示748示出了用户手部已从使用户手部的前面(例如,手掌)处于一个或多个相机的视野中(如图7J所示)旋转到用户手部的后面处于一个或多个相机的视野中。
在一些实施方案中,当用户旋转用户手部时,虚拟手链的指示符被连续地(例如,和/或逐渐地)填充以使得仅与已经填充的指示符相邻的指示符可被填充。在一些实施方案中,虚拟手链的一个或多个指示符可不被填充。在一些实施方案中,手链的指示符按一定顺序和/或方向填充以向用户指示旋转用户手部的方向。
例如,如图7J至图7M所示,根据用户手部的旋转来填充虚拟手链的附加部分。在一些实施方案中,根据设备确定用户手部处于适当位置和/或用户手部正在以设备可扫描用户的手部和/或手腕的速率移动,当用户手部旋转时,虚拟手链的指示符填充。
在一些实施方案中,如果用户在与预定义方向(例如,图7J至图7M所示的方向)相反的方向上旋转用户手部,则更新被填充的一个或多个指示符以移除填充。例如,在用户顺时针旋转其手部并且一个或多个指示符填充之后,如果用户至少部分地逆时针旋转其手部,则已填充的指示符中的一者或多者是未填充的。
图7N至图7P示出了用于向用户显示测量的示例性用户界面。在一些实施方案中,在设备已经成功地扫描用户身体的部分之后,例如,在图6N所示的成功消息之后和/或在虚拟手链750的所有指示符已经被填充之后(如图7M所示的),自动地向用户显示测量。图7N示出了如由设备根据用户身体的被测量部分确定的一个或多个尺寸指示符。例如,用户界面包括文本指示752(“您当前的手表带尺寸是:尺寸5”)。在一些实施方案中,定尺寸用户界面包括用户手部的图像756。在一些实施方案中,根据在扫描用户手部期间和/或之后捕获的用户手部的图像生成用户手部的图像756(例如,当用户手部处于图7M所示的位置时,设备100捕获用户手部的图像(或屏幕截图))。因此,当显示图7N的用户界面时,用户不需要将用户手部维持在一个或多个相机的视野内。
在一些实施方案中,用户界面包括在至少部分地与用户手部的图像756重叠的位置处显示的手表和/或手表带754。例如,如参考图6C至图6N和/或图7J至图7M所描述的,生成手表带754(例如,作为数字图像)并且将其显示在用户手腕的被测量的位置处。在一些实施方案中,用户界面包括按钮758以供用户导航到下一用户界面(例如,通过利用用户输入760选择按钮758)。
响应于按钮758的选择,显示了图7O中的用户界面。在一些实施方案中,如图7O所示,提供了文本指令762(“您可将手表拖动到您的手腕的不同部分”)以向用户指示使得用户能够选择手表带754并且将手表带移动到用户手腕的图像756的不同部分。例如,穿戴更远离手腕以及沿前臂进一步向上的手表带的用户能够将手表带754移动(例如,使用拖动和/或滑动手势)到用户手腕上的不同位置。响应于用户输入764,如图7P所示,设备根据用户手腕/前臂的上方显示有手表带754的新部分来更新尺寸指示符。例如,图7P示出了手表带754已经在图像756上向下移动并且已经将尺寸指示符的显示从尺寸5更新为尺寸6(例如,显示为文本指示符768,“您当前的手表带尺寸是:尺寸6”)。在一些实施方案中,使得用户能够继续调整手表带754相对于用户手部的图像756的放置(例如,直到用户对手表带的放置满意为止)。当用户改变手表带754的放置时,尺寸指示符也被更新以提供对手表带754所放置在的手腕部分的测量。在一些实施方案中,在完成移动手表带754时,使得用户能够选择“完成”按钮766以显示下一用户界面,例如图7P所示的用户界面。
图7Q至图7S示出了与图7N至图7P所示的用户界面类似的示例性用户界面,其中所显示的手表带754被所显示的卷尺770替换。例如,图7R示出了文本指示772(“您可将卷尺拖动到您的手腕的不同部分”),并且设备接收使卷尺770在向下方向上(例如,相对于如图7R所示的设备的取向)移动的用户输入774(例如,拖动手势、滑动手势)。图7S示出了尺寸指示符被更新以示出对应于卷尺770的更新放置的用户手腕的尺寸现在是“尺寸6”而不是尺寸5。在一些实施方案中,在完成移动卷尺770时,使得用户能够选择“完成”按钮778以显示下一用户界面,例如图7T所示的用户界面。
图7T示出了供用户保存用户尺寸的示例性用户界面。例如,图7T包括文本提示780(“将尺寸保存为虚拟卡?”)并且向用户提供使得用户能够选择的按钮782“是”和784“否”。例如,用户输入786选择按钮782“是”,这致使设备发起用于保存用户尺寸的过程。任选地,图7T包括具有卷尺770或手表带754(未示出)的用户手部756的图像。
响应于用户选择图7T中的按钮782“是”,在一些实施方案中,显示QR码804(例如,或其他计算机可读或机器可读代码),如图8A所示。任选地,QR码804由设备100响应于用户选择按钮782而生成;或者另选地,QR码804在用户选择按钮782之前被生成或存储,并且响应于用户选择按钮782而被检索以供显示。在一些实施方案中,QR码804包括要保存的定尺寸信息和/或关于定尺寸信息所对应于的附件(例如,手表带)的附加信息。
如图8A所示,由设备100显示的用户界面任选地包括文本指令802(“扫描您的代码以在您的设备上保存尺寸”),其用于将定尺寸信息加载到另一个设备(例如,与执行扫描/测量的设备不同)上。例如,在一些情况或实施方案中,设备100是不属于用户设备,但是用户可使用另一个设备(例如,用户设备800,图8B)来扫描QR码804以便将用户的定尺寸信息转移(例如,并且保存)到执行扫描的用户设备。例如,图8B示出了用户设备800(例如,与已经获得定尺寸信息的用户相关联)扫描在设备100上显示的代码。在一些实施方案中,用户设备800被配置为使用设备800的一个或多个相机来扫描QR码。例如,图8B中的设备800示出了显示设备800的一个或多个相机的视野的相机应用程序。一个或多个相机的视野包括设备100(其正在显示QR码804)的视图。
在一些实施方案中,响应于捕获(例如,扫描)在设备100上显示的QR码,设备800生成并显示微型应用程序806(例如,应用程序剪辑),如图8C所示(例如,显示了微型应用程序806的用户界面)。在一些实施方案中,微型应用程序806不是(例如,从应用程序商店)下载的应用程序,而是存储QR码804的临时存储的(例如,高速缓存的)应用程序。在一些实施方案中,微型应用程序806显示包括关于用户尺寸的信息和/或关于附件的信息的虚拟卡。例如,微型应用程序806任选地显示关于用户尺寸的附加信息和/或关于附件的信息(例如,所显示的文本(“手表带样式A”和/或“您的信息:尺寸6”))。在一些实施方案中,微型应用程序806显示QR码804。在一些实施方案中,QR码804包括关于用户尺寸和/或附件的信息。
在一些实施方案中,微型应用程序806提供用于通过选择按钮808(“添加到钱包”)来保存关于用户尺寸的信息和/或信息的选项。在一些实施方案中,响应于按钮808的用户选择810,虚拟卡(例如,如在微型应用程序806中显示的)被存储在用户设备800上的虚拟钱包中(例如,如在图8F中显示的)。
在一些实施方案中,设备100是用户设备(例如,在用户设备上执行扫描并且因此用户不需要扫描来自设备100的QR码以保存用户的定尺寸信息),并且响应于用户选择图7T中的按钮782“是”,设备100显示图8D所示的用户界面(例如,而不是提示用户将QR码扫描到用户设备上,因为用户设备用于执行扫描)。例如,用户界面任选地包括虚拟卡1006的显示。虚拟卡1006任选地包括关于用户尺寸和/或附件的信息(例如,被示为文本“手表带样式A”和“您的信息:尺寸6”)。在一些实施方案中,虚拟卡1006包括QR码1004,其还存储关于用户尺寸和/或附件的信息。在一些实施方案中,虚拟卡1006还包括向用户提供将虚拟卡存储在设备100的虚拟钱包中的选项的用户可选择的示能表示(例如,包括文本诸如“添加到钱包”的按钮1008)。例如,响应于用户输入1010,设备将虚拟卡1006存储在设备上存储的虚拟钱包中。在一些实施方案中,代替显示图8D所示的虚拟卡1006,设备100在微型应用程序(例如,应用程序剪辑)中显示QR码1004,如上文参考图8C所讨论。
在一些实施方案中,在定尺寸信息(例如,如存储在虚拟卡1006中,包括QR码804或QR码1004)被存储到用户设备(例如,如参考图8A至图8C所描述的设备800,或如参考图8D所描述的设备100)的虚拟钱包之后,向用户提供允许用户在设备上打开(例如,查看)虚拟钱包中的附件的定尺寸信息的提示812(参见图8E)。例如,当用户在预定义地理区域内(例如,在销售附件的商店附近)时,生成提示812(“打开钱包中的手表尺寸信息”)。在一些实施方案中,当提示被生成时,提示812显示在设备上显示的当前用户界面上。例如,在图8E中,提示812被生成并且显示在用户设备上显示的锁定屏幕上方。
在一些实施方案中,响应于用户通过用户输入814选择提示812,在用户设备(例如,设备100或设备800)上的用户的虚拟钱包内显示定尺寸信息(例如,存储为虚拟卡),如图8F所示。例如,定尺寸信息包括关于附件的信息(“手表带样式A”)和/或关于用户尺寸的信息(“您的信息:尺寸6”)。在一些实施方案中,定尺寸信息被存储为QR码。在一些实施方案中,QR码被显示在虚拟钱包中,如图8F所示。
图9A至图9C是示出根据一些实施方案的向用户提供视觉反馈以指示用于测量的正确位置的方法900的流程图。方法900在计算机系统(例如,便携式多功能设备100、设备300或设备800)处执行,该计算机系统包括显示生成部件(例如,显示器,任选的触敏显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(以及任选的一个或多个深度传感器)、以及一个或多个输入设备,任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(和/或与其通信)。对由计算机系统的一个或多个相机捕获的图像的所有引用应被理解为任选地包括来自计算机系统的一个或多个深度传感器(例如,一个或多个飞行时间传感器、结构光传感器(也称为结构光扫描器)等)的深度信息,以促进对一个或多个相机的视野中的对象的测量。方法900中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
如下所述,方法900提供了通过自动检测用户身体的部分的当前位置并且示出指示正确位置的引导来向用户指示如何定位用户身体的部分以进行测量的直观方式。根据用户身体的当前位置来改变视觉提示的视觉特性向用户提供了指示用户的身体是否已经达到用于测量的适当位置的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统在第一用户界面的第一区域中显示(902)将身体部分移动到一个或多个相机的视野中的视觉提示。例如,如参考图5F所描述的,在一些实施方案中,计算机系统显示视觉提示诸如文本指令526和/或身体部分的表示(例如,动画528)。在一些实施方案中,视觉提示包括身体部分的轮廓,或身体部分的程式化表示(例如,动画和/或图像)。例如,图5F示出了手部和手腕的动画表示。
在显示将身体部分移动到一个或多个相机的视野中的视觉提示(904)时,计算机系统使用一个或多个相机来检测(906)在一个或多个相机的视野中并且对应于身体部分的用户身体的部分。例如,图5G至图5J示出了其中用户手部532定位在设备100的一个或多个相机的视野内的物理环境531。
响应于检测到用户身体的部分,计算机系统显示(908)用户身体的部分的表示。例如,如参考图5G至图5J所描述的,用户手部532被放置在设备100的一个或多个相机的视野内,并且设备100显示用户手部的表示(例如,表示548,图5J)。
根据计算机系统确定处于一个或多个相机的视野中的用户身体的部分满足第一标准,计算机系统经由显示设备以第一透明度显示(910)处于一个或多个相机的视野中的用户身体的部分的表示(例如,在没有任何淡化和/或半透明的情况下显示用户身体的部分的表示)。在一些实施方案中,第一标准包括用户身体的部分相对于计算机系统的姿势、取向、旋转速度和/或距离的位置标准。例如,第一标准包括用户身体的部分与一个或多个相机之间的距离高于第一阈值距离的要求。在一些实施方案中,第一标准包括用户身体的部分与一个或多个相机之间的距离低于第二阈值距离的要求。在一些实施方案中,第一标准包括用户身体的部分与一个或多个相机之间的距离高于第一阈值距离且低于第二阈值距离(例如,在阈值距离之间)的要求。在一些实施方案中,第一标准包括用户身体的部分的旋转速率小于阈值旋转速率的要求(例如,当用户过快地移动手臂时不满足第一标准)。在一些实施方案中,第一标准包括用户身体的部分与视觉提示对准(例如,相对于位置、角度等)的要求。在一些实施方案中,显示用户身体的部分的表示,而不显示处于一个或多个相机的视野内的其他对象(例如,如参考图5J所描述的)。例如,仅用户身体的部分的表示被显示并且叠加在用户界面的背景上方。
根据计算机系统确定处于一个或多个相机的视野中的用户身体的部分未能满足第一标准(例如,相对于第一身体部分的表示、或相对于设备的位置、与设备相距的距离、或移动速度),计算机系统将用户身体的部分的表示显示(912)为具有指示尚未满足第一标准的第二透明度。在一些实施方案中,第二透明度大于第一透明度。例如,如参考图5K至图5M所描述的,根据设备确定用户手部532未处于相对于设备100的适当位置,设备100在图5K至图5M中将用户手部的表示显示为至少部分半透明的(例如,透明的)(例如,如图5K至图5M中的用户手部的表示的填充图案所指示的)。根据确定用户手部532处于相对于设备的适当位置(例如,如图5J中所示的),用户手部的表示548不被显示为半透明的。
在一些实施方案中,在显示将身体部分移动到一个或多个相机的视野中的视觉提示时,计算机系统显示(914)动画转变,其中视觉提示的至少一部分被移动到靠近用户身体的部分的表示的位置。在一些实施方案中,响应于检测到用户身体的部分而发起动画转变。例如,如图5P所示,在一些实施方案中,视觉提示包括用户身体的部分的轮廓570,并且响应于用户手部处于一个或多个相机的视野中,轮廓570被移动以便在用户手部的表示572周围形成轮廓。
显示多个用户界面元素(包括视觉提示和用户身体的部分的表示)向用户提供了确定用户身体的部分处于正确位置以便将由设备测量而不需要来自用户的附加输入以检查用户身体的部分是否将由设备测量的直观方式。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,视觉提示的至少一部分包括(916)对齐到(例如,围绕)用户身体的部分的表示的轮廓。例如,如图5P所示,轮廓570对齐到用户手部的表示572。
将视觉提示对齐到用户身体的部分的表示向用户提供了视觉反馈,从而指示用户身体的部分已在一个或多个相机的视野内被自动检测而不要求用户提供附加输入以开始测量过程。在一组条件已经被满足时为用户提供改进的视觉反馈并且通过(例如自动地)执行操作减少执行该操作所需的输入的数量和/或程度增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,以与一个或多个相机的视野中的用户身体的部分的表示的形状相匹配的形状显示(918)视觉提示的至少一部分。在一些实施方案中,视觉提示(例如,轮廓)勾勒了用户身体的部分的轮廓(例如,如图5P所示)。
将视觉提示的形状与用户身体的部分的形状相匹配使得用户更容易看到用户身体的部分已被一个或多个相机检测到和/或用户身体的部分处于适当位置以开始测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,视觉提示包括(920)手部的表示或待测量的另一个身体部分的表示。例如,如图5F(例如,手部的动画528)和图5P(例如,手部的轮廓570)所示的,视觉提示包括手部的表示。在一些实施方案中,视觉提示包括手部、手腕和/或前臂的轮廓。在一些实施方案中,根据从用户接收的选择(例如,如参考图5E所描述的),视觉提示中的身体部分的表示是右手或左手的表示。
以手部的形状提供视觉提示向用户指示了用户手部是将被测量的用户身体的部分。将视觉提示显示为手部通过使得用户更容易确定用户应将用户手部放置到一个或多个相机的视野中来改进对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,用户身体的部分包括(922)手部。例如,如参考图5G至图5N所描述的,用户手部532被示为在物理环境531中,使得用户手部532处于设备100的一个或多个相机的视野内。
自动检测定位在设备的相机上方的用户手部以使得设备确定穿戴在用户手部上或附近的附件的尺寸会使得用户更容易获得定尺寸信息,而不要求用户手动输入用户身体的测量。在一组条件已经被满足时减少执行操作所需的输入的数量和/或程度(通过执行该操作(例如,自动地))增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据计算机系统确定在一个或多个相机的视野中的用户身体的部分未能满足第一标准,计算机系统显示(924)指示尚未满足第一标准(并且任选地包括为了满足第一标准可做出什么改变的指示)的文本。例如,图5K至图5N示出了指示尚未满足第一标准的文本提示(例如,其中满足第一标准指示了已满足用户手部的适当位置)。在一些实施方案中,第一标准包括计算机设备为静止的标准。在一些实施方案中,第一标准包括计算机设备被定位在第一取向处(例如,平放,或以基本上垂直于地面的角度),并且所显示的文本(根据确定尚未满足第一标准来显示)包括将设备平放(例如,以第一取向)的指令,例如如图5M所示的。在一些实施方案中,第一标准包括用户身体的部分与一个或多个相机之间的距离(如计算机系统所确定的)高于第一阈值距离的要求(例如,手部需要相对于一个或多个相机远离至少第一阈值距离),并且根据计算机系统确定尚未满足第一标准而显示的所显示的文本包括用户身体的部分太近的指示,例如如图5L所示。在一些实施方案中,第一标准包括用户身体的部分与一个或多个相机之间的距离低于第二阈值距离的要求(例如,手部需要处于相对于一个或多个相机的第二距离内),并且根据计算机系统确定尚未满足第一标准而显示的所显示的文本包括用户身体的部分太远的指示,例如,如图5K所示。在一些实施方案中,第一标准包括用户身体的部分不被附件(例如,戒指、手表、手链)阻碍的要求,并且根据确定尚未满足第一标准而显示的所显示的文本包括将一个或多个对象从用户身体的部分取下的指示(例如,移除戒指、移除手表、移除手链等),例如如图5M所示。在一些实施方案中,诸如上文提供的示例,根据计算机系统确定尚未满足第一标准而显示的所显示的文本指示了相对于用户手部或其他身体部分的位置或相对于计算机设备的错误状况。
提供指示用户尚未将用户身体的部分放置到适当位置中以用于由计算机系统测量的错误通知会使得用户更容易知道如何将用户身体的部分调整为处于适当位置,而不要求用户提供询问设备测量是否已成功的用户输入。在一组条件已经被满足时为用户提供改进的视觉反馈并且通过(例如自动地)执行操作减少执行该操作所需的输入的数量和/或程度增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用计算机系统来进一步减少了电力使用并且改进了计算机系统设备的电池寿命。
在一些实施方案中,将用户身体的部分的表示显示为具有指示尚未满足第一标准的第二透明度包括(926)在视觉上不强调(例如,淡化)用户身体的部分的表示。例如,如图5L所示,根据计算机系统确定用户身体的部分与一个或多个相机之间的距离不高于第一阈值距离,设备100在视觉上不强调(例如,淡化)用户身体的部分的表示556。如图5K所示,在一些实施方案中,根据计算机系统确定用户身体的部分与一个或多个相机之间的距离不低于第二阈值距离,设备100在视觉上不强调(例如,淡化)用户身体的部分的表示552。在一些实施方案中,用户手部与相应阈值距离相距的距离的增加致使计算机系统增加视觉不强调的量(例如,随着用户手部移动远离第二阈值,用户手部的表示的透明度增加,并且随着用户将用户手部移动得靠近设备,用户手部的表示的透明度逐渐减少(例如,与用户手部的距离改变成比例地))。
在视觉上不强调(例如,淡化)用户身体的部分的表示提供了视觉反馈,该视觉反馈向用户通知用户身体的部分未处于一个或多个相机的视野内的适当位置,并且在用户希望计算机系统测量用户身体的部分的情况下提示用户移动用户身体的部分。为用户提供改进的视觉反馈增强了计算机系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用计算机系统进一步减少了电力使用并且改进了设备的电池寿命。
在一些实施方案中,用户身体的部分处于物理环境(例如,图5G至图5N所示的物理环境531)中。在一些实施方案中,在检测用户身体的部分之前,计算机系统显示(928)背景。例如,背景是计算机生成的背景(例如,壁纸),其不包括在用户手部后面的物理环境中的物理对象(例如,灯、吊扇、天花板等)的显示。在一些实施方案中,响应于检测到用户身体的部分在一个或多个相机的视野中,计算机系统在背景上方显示处于一个或多个相机的视野中的用户身体的部分的表示(不显示一个或多个相机的视野中的物理环境)。例如,在用户手部532处于设备100的一个或多个相机的视野内之前,吊扇530在一个或多个相机的视野内,并且吊扇的表示534由设备100显示而不显示用户手部的表示。根据用户手部532被定位在一个或多个相机的视野内,用户手部的表示548被显示在计算机生成的背景546上方,如图5J所示。
移除物理环境的视图并且仅显示用户身体的部分的表示提供了关于用户身体的部分的信息而没有分心,从而使得用户更容易调整用户身体的部分的位置。为用户提供改进的视觉反馈增强了计算机系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用计算机系统进一步减少了电力使用并且改进了计算机系统的电池寿命。
在一些实施方案中,用户身体的部分处于物理环境中,并且计算机系统显示(930)包括物理环境的表示的一个或多个相机的视野的表示(例如,显示用户手部后面的物理环境的部分的表示)。在一些实施方案中,响应于计算机系统检测到用户身体的部分处于一个或多个相机的视野中,计算机系统在视觉上不强调(例如,屏蔽掉)物理环境的表示。例如,如图5H所示,与图5G所示的吊扇的表示534相比,计算机系统在视觉上不强调吊扇的表示538(例如,淡化)。在一些实施方案中,替换物理环境的表示的显示包括显示背景和用户身体的部分的表示。例如,如图5I至图5J所示,在一些实施方案中,图5I中显示的背景(例如,包括吊扇的表示542)被用背景546替换,如图5J所示,同时维持用户手部的表示548的显示。
改变用户界面的外观以在视觉上不强调物理环境的部分向用户提供了视觉反馈,从而指示设备已检测到用户身体的部分。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用计算机系统进一步减少了电力使用并且改进了计算机系统的电池寿命。
在一些实施方案中,响应于检测到用户身体的部分,根据确定用户身体的部分满足第一标准,计算机系统显示(932)至少部分地覆盖用户身体的部分的表示的指示符。例如,如图7B所示,在一些实施方案中,根据计算机系统确定用户手部的表示706满足第一标准(例如,处于适当位置)来显示指示符(例如,虚拟手链708)。在一些实施方案中,如参考方法1000更详细地描述,指示符由计算机系统更新以指示已由计算机系统完成的对用户身体的部分的扫描的程度(例如,以确定深度信息)。在一些实施方案中,指示符表示用户身体的部分的移动的进度(供一个或多个相机捕获多个视图)。
相对于用户身体的部分的表示显示视觉指示符向用户提供了视觉反馈,该视觉反馈识别用户身体的部分的适当位置和要遵循的适当移动(例如,旋转方向)以便获得由计算机系统进行的对用户身体的部分的一个或多个测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用计算机系统进一步减少了电力使用并且改进了计算机系统的电池寿命。
在一些实施方案中,计算机系统显示(934)第二用户界面。在一些实施方案中,第二用户界面包括:选择(例如,购买)具有多个尺寸选项的产品的选项,该尺寸选项可根据由计算机系统进行的对处于一个或多个相机的视野中的用户身体的部分的测量来选择,以及在被选择时发起计算机系统对第一用户界面的显示的示能表示。例如,如图5C所示,用于购买附件(例如,手表)的用户界面包括按钮506(“测量您的表带尺寸”),当被选择时,该按钮发起由计算机系统显示图5D所示的用于测量用户手腕的指导测量界面。
在测量用户身体的相应部分之前提供用于选择以不同尺寸出现在用户界面上的不同附件的附加选项通过根据所选择的附件类型自动地识别用户身体的哪个部分需要被测量来避免使用户界面杂乱。提供用于基于所选择的附件来测量用户身体的不同部分而不会通过附加显示的测量选项(例如,改变待测量的用户身体的部分)使用户界面杂乱的选项增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统在第三用户界面中(例如,在显示第一用户界面之前)显示(936)将第一身体部分识别(例如,选择)为右侧身体部分或左侧身体部分的指令。例如,如图5D至图5E所示,在一些实施方案中,用户界面510包括可选择按钮514和516以允许用户选择左手腕或右手腕。
通过仅显示针对待测量的用户身体的选定侧的指导,提供用于选择应当测量用户身体的部分的哪一侧的附加选项避免了使用于对准用户身体的部分以进行测量的用户界面杂乱。提供用于测量用户身体的部分的不同侧(例如,左侧或右侧)而不会通过与尚未测量的用户身体的部分相关的附加指导使用户界面杂乱的选项增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在第一用户界面中,计算机系统在第一用户界面的第二区域中显示(938)第一颜色(例如,第二区域围绕由计算机系统在第一用户界面上显示的第一身体部分的表示)。在一些实施方案中,计算机系统在第一用户界面中显示颜色而不考虑用户身体的部分是否在一个或多个相机的视野中。在一些实施方案中,计算机系统通过与第一颜色不同的第二颜色的显示替换第一颜色的显示(例如,根据计算机系统确定已经满足时间标准)。在一些实施方案中,计算机系统周期性地改变颜色(例如,每3秒、每5秒等)。在一些实施方案中,颜色表示可供用户选择/购买的产品的一种或多种颜色(例如,手表带颜色)。在一些实施方案中,通过第二颜色的显示替换第一颜色的显示包括在第一颜色和第二颜色之间的交叉淡化(例如,逐渐淡化)。例如,如以上参考图5D至图5E所解释的,在一些实施方案中,背景颜色改变(例如,如用户界面510到用户界面520的背景图案的改变所指示的)。
自动改变背景的颜色以显示与选定附件的颜色相对应的多个颜色向用户提供了视觉反馈,该视觉反馈示出了用户可为附件选择的可能颜色的选项,其中正测量用户而不需要供用户查看不同颜色选项的附加用户输入。在一组条件已经被满足时为用户提供改进的视觉反馈并且通过(例如自动地)执行操作减少执行该操作所需的输入的数量和/或程度增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用计算机系统来进一步减少了电力使用并且改进了计算机系统的电池寿命。
应当理解,对图9A至图9C中已经进行描述的操作的具体顺序仅仅是示例性的,并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法1000、1100和1200)所述的其他过程的细节同样以类似的方式适用于上文相对于图9A至图9C所述的方法900。例如,上文参考方法900描述的用户界面对象任选地具有本文参考本文所述的其他方法(例如,方法1000、1100和1200)描述的用户界面对象的特征中的一个或多个。为了简明起见,此处不再重复这些细节。
图10A至图10D是示出根据一些实施方案的提供用于测量用户身体的部分的虚拟化进度指示符的方法1000的流程图。方法1000在计算机系统(例如,便携式多功能设备100、设备300或设备800)处执行,该计算机系统包括显示生成部件(例如,显示器,任选的触敏显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(以及任选的一个或多个深度传感器)、以及一个或多个输入设备,任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(和/或与其通信)。方法900中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
如下所述,方法1000提供了智能地向用户提供视觉反馈以指示设备随着用户身体的部分移动而自动地测量用户身体的部分的进度而不要求用户在用户移动用户身体的部分以获得测量结果时提供输入的直观方式。在一组条件已经被满足时为用户提供改进的视觉反馈并且执行操作(例如,自动地)而无需进一步的用户输入增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统在用户界面(用于测量用户身体的部分)中显示(1002)在一个或多个相机的视野中的身体部分的第一表示。例如,如图7B所示,用户手部532在设备100的一个或多个相机的视野中,该一个或多个相机显示用户手部的表示706。
计算机系统使用一个或多个相机来检测(1004)身体部分的移动,其中根据身体部分的移动来更新所显示的身体部分的第一表示。例如,如参考图7B至图7E所描述的,当用户手部532相对于设备100移动时,根据用户手部532在物理环境531中的移动来更新用户手部的表示718。在一些实施方案中,计算机系统和/或计算机系统的一个或多个相机是静止的(例如,设备100保持不动)。在一些实施方案中,移动包括身体部分的旋转。例如,如图7J至图7M所示,当用户手部旋转时,用户手部的表示在设备100的显示器上旋转。
当显示身体部分的第一表示时,计算机系统在相对于身体部分的第一表示的固定位置处显示(1006)指示符(例如,进度指示符,诸如参考图7A至图7M描述的虚拟手链)。例如,如参考图7B至图7E和图7J至图7M所描述的,在相对于用户手部的表示的固定位置处显示虚拟手链。
计算机系统在覆盖身体部分的表示的至少一部分的用户界面中的第一位置处显示(1008)指示符。在一些实施方案中,指示符为至少部分半透明的(例如,如图7E至图7L所示,用户手部的表示通过虚拟手链可见)。根据身体部分的移动来更新指示符(例如,如参考图7B至图7E所描述的,当用户手部向上、向下、向左、向右等移动时在相同相对位置中显示虚拟手链)。指示符包括身体部分的建议移动方向的指示。例如,更新指示符以点亮(例如,填充)指示符的附加部分以示出移动的进展(例如,当用户旋转用户手部时,虚拟手链的指示符填充,如参考图7J至图7M所描述的)。
在一些实施方案中,建议移动方向的指示包括(1010)指示移动方向的指示符的动画。在一些实施方案中,根据身体部分的移动来动画化指示符。在一些实施方案中,在没有检测到身体部分的移动的情况下动画化指示符(例如,在检测到身体部分的移动之前动画化指示符以点亮或以其他方式指示建议移动方向)。例如,图7A示出了指导用户界面,其中虚拟手链的指示符被动画化以随着手部的动画表示702旋转而填充(例如,其中用户手部不移动;或者,在一些实施方案中,显示动画表示702,而不管用户手部是静止的还是移动的)。
显示示出用户应当旋转身体部分以获得身体部分的一个或多个测量的方向的动画向用户提供视觉反馈,从而指示用户已经以正确还是不正确的方向旋转身体部分。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,身体部分(1012)是手腕和/或手部。例如,在图5G至图5N中,用户手部532被示为在物理环境531中,使得用户手部532处于设备100的一个或多个相机的视野内。
自动检测定位在设备的相机上方的用户手部并且测量用户手部以确定穿戴在用户手部上或附近的附件的尺寸使得用户更容易获得定尺寸信息而不要求用户手动输入对用户身体的测量并且不要求用户手动地进行对用户身体的测量(例如,使用物理卷尺)。在一组条件已经被满足时减少执行操作所需的输入的数量和/或程度(通过执行该操作(例如,自动地))增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,身体部分处于物理环境中,并且计算机系统在第一用户界面中显示(1014)背景。例如,背景是计算机生成的背景。在一些实施方案中,背景是同时显示虚拟对象与物理环境中的物理对象的增强现实环境。在一些实施方案中,背景不是在一个或多个相机的视野内的物理环境的表示。例如,如参考图5J所描述的,设备100不显示除了用户的身体或身体部分之外的在一个或多个相机的视野内的对象(例如,吊扇530),而是将背景546显示为彩色背景或其他计算机生成的背景。在一些实施方案中,计算机系统使用一个或多个相机来检测在一个或多个相机的视野内的物理环境的一部分和身体部分。在一些实施方案中,计算机系统在背景上方显示身体部分的表示,而不显示在一个或多个相机的视野内的物理环境的部分的表示。例如,图5J示出了用户手部的表示548而不显示在设备100的一个或多个相机的视野内的物理环境531中的吊扇530的表示。
移除物理环境的视图并且仅显示用户身体的部分的表示提供了关于用户身体的部分的信息而没有分心,从而使得用户更容易调整用户身体的部分的位置。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统显示(1016)具有第一颜色的背景,并且通过具有第二颜色的背景的显示替换具有第一颜色的背景的显示。在一些实施方案中,在显示第一用户界面之前在第二用户界面中显示背景(例如,在使用一个或多个相机来检测身体部分之前,颜色循环)。在一些实施方案中,计算机系统根据确定已经满足时间标准来改变背景颜色。例如,计算机系统周期性地改变颜色(例如,每3秒、每5秒等)。例如,如参考图5D至图5F所述,用户界面510(图5D)的背景的颜色被计算机系统改变为用户界面520(图5E)中的另一个颜色,该用户界面包括与用户界面510相同的用户界面元素,并且用户界面520的背景在转变为显示另一个用户界面524(图5F)时被更新。
自动改变背景的颜色以显示多个颜色向用户提供了视觉反馈,并且任选地可示出用户可为附件选择的颜色。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第一颜色和第二颜色对应于(1018)要穿戴在身体部分上的物理对象的颜色选项。在一些实施方案中,物理对象包括手腕带或手表带。在一些实施方案中,测量身体部分以确定物理对象的尺寸。在一些实施方案中,第一颜色和第二颜色是可供购买的手表带的颜色。
自动改变背景的颜色以显示与选定附件的颜色相对应的多个颜色向用户提供了视觉反馈,该视觉反馈示出了用户可为附件选择的可能颜色的选项,其中正测量用户而不需要供用户查看不同颜色选项的附加用户输入。在一组条件已经被满足时为用户提供改进的视觉反馈并且通过(例如自动地)执行操作减少执行该操作所需的输入的数量和/或程度增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统检测(1020)身体部分在第一方向上的移动,并且响应于检测到身体部分在第一方向上的移动,计算机系统根据身体部分的移动在用户界面中的第二位置处显示身体部分的表示,并且在相对于第二位置处显示的身体部分的第一表示的固定位置处显示指示符。在一些实施方案中,检测身体部分在第一方向上的移动包括检测身体部分沿着平行于一个或多个相机的位置(例如,外表面)的轴线的横向(例如,向左、向右、向上、向下)移动(例如,不移动得更靠近或更远离相机;当身体部分在平行于一个或多个相机的视野的平面内向左、向右、向上或向下移动时,维持与一个或多个相机相距的距离)。在一些实施方案中,当身体部分在第一方向上移动时,指示符在身体部分上方连续显示(例如,看起来移动)。例如,如参考图7B至图7C所描述的,当用户手部532沿着平行于一个或多个相机的位置的轴线向左移动时,由设备100显示的用户手部的表示710被更新为向左移动,并且虚拟手链712与用户手部的表示710一起移动(例如,与图7B相比)。
相对于用户身体的部分的表示自动地移动示出测量进度的指示符向用户提供连续视觉反馈,使得即使当用户已经相对于计算机系统移动了用户身体的部分时,用户也意识到测量的进展。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统在用户界面中以相应的第一尺寸显示(1022)身体部分的第一表示和指示符。在一些实施方案中,计算机系统检测改变一个或多个相机与身体部分之间的距离的身体部分的移动。在一些实施方案中,响应于检测到一个或多个相机与身体部分之间的距离的改变,计算机系统根据改变的距离以相应的第二尺寸(例如,与身体部分的表示的第一尺寸不同)显示身体部分的第一表示并且根据改变的距离以相应的第二尺寸(例如,与指示符的第一尺寸不同)显示指示符。在一些实施方案中,指示符维持其相对于身体部分的表示的位置,其中身体部分的表示的尺寸根据改变的距离来更新。例如,指示符由计算机系统成比例地缩放,使得当身体部分更靠近一个或多个相机时(缩放),身体部分的表示的尺寸增加,并且相应地,指示符的尺寸成比例地增加(例如,以相同的尺寸比率),从而使得指示符继续覆盖与所检测的身体部分的移动之前相同的身体部分的表示的部分。在另一个示例中,当身体部分更远离一个或多个相机移动时,指示符由计算机系统缩放以维持其相对于身体部分的位置和尺寸(例如,当身体部分更远离地移动时,指示符变得更小)例如,如图7D和图7E所示,当用户手部532远离和靠近设备100移动时,用户手部的表示和虚拟手链在设备100的显示器上更新,使得以与用户手部的表示的尺寸成比例的尺寸显示虚拟手链。
相对于用户身体的部分的表示自动地改变示出测量进度的指示符的尺寸向用户提供连续视觉反馈,使得即使当用户已经将用户身体的部分移动得更靠近或更远离计算机系统时,用户也意识到测量的进展。指示符的尺寸还向用户提供视觉反馈以指示用户身体的部分是否离计算机系统太近或太远。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统检测身体部分的移动包括(1024)检测身体部分的旋转。在一些实施方案中,在检测身体部分的旋转时,计算机系统使用一个或多个相机来扫描一个或多个图像以确定身体部分的测量并且更新指示符以指示扫描一个或多个图像的进度。例如,图7J至图7M示出了当用户在物理环境中旋转用户手部时,用户手部的表示旋转。
当用户旋转身体部分时,自动地动画化示出测量进度的指示符向用户提供了连续视觉反馈,使得当用户继续相对于计算机系统移动和旋转用户的身体部分时,用户意识到测量的进展。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,由计算机系统显示的身体部分的建议移动方向的指示包括(1026)旋转身体部分的指示。例如,指示会指示围绕指示所限定的轴线的旋转。在一些实施方案中,指示会指示旋转速度和/或指示旋转方向(例如,相对于轴线顺时针或逆时针)。在一些实施方案中,指示包括旋转身体部分的文本提示。在一些实施方案中,指示包括提示身体部分的旋转的动画(例如,箭头的动画)。
动画化用于示出身体部分的正确旋转方向以获得身体部分的一个或多个测量的指示符向用户提供了视觉反馈,从而指示用户是否应当相对于计算机系统沿不同方向(例如,顺时针或逆时针)旋转其身体部分。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在显示身体部分的第一表示时,计算机系统使用一个或多个相机来捕获(1028)身体部分的一个或多个图像。例如,当用户如图7J至图7M所描述的那样旋转用户手部时,设备捕获(例如,扫描)用户手部的一个或多个图像(例如,当用户手部旋转时,在不同位置处)。在一些实施方案中,一个或多个图像用于确定身体部分的测量。在一些实施方案中,计算机系统在第二用户界面中显示对应于身体部分的测量的尺寸。在一些实施方案中,尺寸是身体部分的尺寸。在一些实施方案中,尺寸是用于身体部分的附件(例如,手表带)的尺寸。例如,如图7N所示,设备显示如根据用户手腕的测量确定的手表带的尺寸(例如,尺寸5)。
自动捕获用户的身体部分的图像并且使用该图像来确定用户的身体部分的测量和对应尺寸会使得用户更容易获得定尺寸信息,而无需用户手动拍摄用户身体的照片和/或手动地将测量输入到计算机系统中。在一组条件已经被满足时减少执行操作所需的输入的数量和/或程度(通过执行该操作(例如,自动地))增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,相对于身体部分的第一表示的固定位置是(1030)相对于身体部分的第一表示的第一固定位置。在一些实施方案中,计算机系统接收在第一方向上的第一用户输入,并且响应于第一用户输入,将指示符(例如,虚拟手链724,图7F)相对于身体部分的第一固定位置更新到与第一固定位置不同的相对于身体部分的第二固定位置。在一些实施方案中,第一用户输入是用于将指示符移动到对应于拖动用户输入的离开位置的第二固定位置的拖动用户输入。例如,图7F至图7G示出了用户改变指示符(虚拟手链724)相对于用户手部的表示722的位置(例如,在扫描之前)。
通过使用指示符的位置来显示用户的身体部分的哪个部分将被测量,改变指示符相对于用户的身体部分的表示的位置以指示将测量用户的身体部分的不同部分会改进对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统通过用户界面中的第一位置处的用户界面元素替换(1032)用户界面中的第一位置处的指示符的显示。在一些实施方案中,用户界面元素被显示在相对于身体部分的第一表示的固定位置处,并且用户界面元素指示身体部分的与固定位置处的身体部分的表示的部分相对应的部分的第一尺寸。在一些实施方案中,用户界面元素包括AR对象(其看起来被穿戴在身体部分的表示上)。例如,图7B至图7M所示的虚拟手链是看起来穿戴在用户手腕上的AR对象。在一些实施方案中,用户界面元素包括虚拟卷尺(例如,如图7Q至图7S所示)。在一些实施方案中,用户界面元素包括虚拟附件,诸如虚拟手表(例如,如图7N至图7P所示)。在一些实施方案中,用户界面元素包括提供用于销售的产品(例如,在图5C中选择的产品)的表示。在一些实施方案中,用户界面元素包括具有如由用户配置(选择)的选项的手表的表示(例如,用户选择手表的颜色、形状、样式等)。在一些实施方案中,用户界面元素具有与指示符不同的尺寸。例如,虚拟手链具有与图7P中的手表754不同的尺寸以及与图7Q所示的卷尺不同的尺寸。在一些实施方案中,响应于完成测量而替换指示符。例如,使用动画转变以通过图7N中的手表754替换图7M所示的虚拟手链,或者通过图7N中的手表754替换图7Q所示的卷尺。
通过指示用户身体的部分的测量已经成功并且因此不再显示进度指示符,自动地将指示符转变到也相对于用户身体的部分的表示显示的用户界面对象改进了对于用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,相对于身体部分的第一表示的固定位置是第一固定位置,并且计算机系统接收(1034)用于移动用户界面元素的第二用户输入(例如,拖动输入)。在一些实施方案中,响应于接收到第二输入,计算机系统将用户界面元素(例如,拖动输入)从覆盖身体部分的表示的至少一部分的用户界面中的第一位置移动到相对于身体部分的第一表示的第三固定位置(例如,不同于第一固定位置)。例如,固定位置在用户手腕上的预定义位置处(例如,从距腕骨的第一距离移动到距腕骨的第二距离)。在一些实施方案中,当用户手腕在一个或多个相机的视野中移动时,用户界面元素被维持在相对于用户手腕的位置处。在一些实施方案中,用户在完成对身体部分的扫描(例如,测量)之后更新用户界面元素的固定位置。例如,如图7O至图7P所示,用户将手表带754拖动到用户手腕的表示上的另一个位置。
通过允许用户在用户的身体部分的表示上方移动用户界面元素以使得用户可以可视化为了尺寸确定而测量用户的身体部分的哪个部分,向用户提供改变用户界面元素相对于用户的身体部分的表示的位置的能力改进了对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据确定用户界面元素处于相对于身体部分的第一表示的第三固定位置处,计算机系统更新(1036)用户界面元素以指示身体部分的对应于第三固定位置的部分的第二尺寸。例如,当手表754处于第一固定位置处时,图7N中的用户手腕的尺寸为“尺寸5”,并且在用户界面元素移动到用户手部的表示上的不同位置之后,如图7P所示,用户手腕的尺寸对应于“尺寸6”。
通过使用用户界面元素来显示用户的身体部分的哪个部分对应于所显示的尺寸,改变用户界面元素相对于用户的身体部分的表示的位置并且自动更新与相应位置相关联的尺寸会改进对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统捕获(1038)图像(例如,屏幕截图,任选地包括来自一个或多个深度传感器的深度信息),该图像包括身体部分的第一表示和在相对于身体部分的第一表示的第一固定位置处的用户界面元素。在一些实施方案中,用户界面元素指示身体部分的与用户界面元素的第一固定位置相对应的部分的尺寸。例如,在一些实施方案中,图7N所示的用户手部的表示不是一个或多个相机的当前视野的表示(例如,用户已将用户手部移出一个或多个相机的视野),并且图7N中显示的表示是所捕获的用户手部的图像(例如,在用户将用户手部从一个或多个相机的视野移除之前)。
自动捕获用户的身体部分的图像(任选地包括深度信息)并且使用该图像来确定用户的身体部分的测量和对应尺寸会使得用户更容易获得定尺寸信息,而不要求用户将用户的身体部分维持在相对于计算机系统的适当位置、手动拍摄用户身体的照片和/或手动将测量输入到计算机系统中。在一组条件已经被满足时减少执行操作所需的输入的数量和/或程度(通过执行该操作(例如,自动地))增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,当显示图像时,计算机系统接收(1040)用于将用户界面元素移动到相对于图像中的身体部分的第一表示的不同固定位置(例如,如参考图7N至图7S所描述的)的第三用户输入(例如,在显示设备上显示的图像上)。
通过允许用户在用户的身体部分的表示上方移动用户界面元素以使得用户可以可视化为了尺寸确定而测量用户的身体部分的哪个部分,向用户提供改变用户界面元素相对于用户的身体部分的表示的位置的能力改进了对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,用户界面是第一用户界面并且计算机系统显示(1042)第二用户界面,该第二用户界面包括:选择(例如,购买)具有多个尺寸选项的产品的选项,该尺寸选项可根据对处于一个或多个相机的视野中的身体部分的测量来选择,以及在被选择时发起对第一用户界面的显示的示能表示。例如,图5C示出了用于选择手表(例如,和/或具有多个尺寸选项的手表带)的用户界面。在一些实施方案中,为了选择尺寸选项,用户选择按钮506“测量您的表带尺寸”。
在测量用户身体的相应部分之前提供用于选择以不同尺寸出现在用户界面上的不同附件的附加选项通过根据所选择的附件类型自动地识别用户身体的哪个部分需要被测量来避免使用户界面杂乱。提供用于基于所选择的附件来测量用户身体的不同部分而不会通过附加显示的测量选项(例如,改变待测量的用户身体的部分)使用户界面杂乱的选项增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,用户界面是(1044)由计算机系统执行的相应应用程序内的用户界面。在一些实施方案中,相应应用程序是用于测量一个或多个对象(诸如用户的身体部分)的测量应用程序,如参考图5A所描述。在一些实施方案中,相应应用程序是在线商店(例如,“电子商店”)应用程序,如参考图5B所描述的。在一些实施方案中,相应应用程序是手表应用程序,其被配置为在第一电子设备与手表(例如,或其他可穿戴设备)之间通信(例如,包括用于通信的指令)。
通过允许从现有应用程序内启动测量特征,在已经存在于计算机系统上的附加应用程序内提供测量功能避免了使用户界面杂乱。提供用于使用现有应用程序来测量用户的身体部分而不通过用于测量用户身体的附加应用程序使用户界面杂乱的选项增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,当身体部分移动时,计算机系统逐渐改变(1046)指示符的外观,以指示在身体部分旋转时朝向完成对身体部分的扫描或测量的进度的量、或朝向完成对身体部分的旋转的进度的量。例如,如图7J至图7M所示,当用户手部旋转时,虚拟手链被更新以逐渐改变(例如,填充虚拟手链的指示符)。在一些实施方案中,指示符包括根据身体部分的运动而被逐渐填充的开口(例如,椭圆形)。
逐渐动画化用于示出用户的身体部分的旋转进度的指示符的部分向用户提供了视觉反馈以指示用户的身体部分的哪些部分已被成功地扫描和/或测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于计算机系统检测到身体部分的移动,根据计算机系统确定身体部分的移动以低于阈值速度的速度移动,计算机系统在身体部分移动时逐渐在外观上改变(1048)指示符的外观以指示身体部分朝向目标姿势的移动进度。在一些实施方案中,根据计算机系统确定身体部分的移动以高于阈值速度的速度移动,计算机系统在身体部分移动时在外观上放弃指示符的外观改变的至少一部分,以指示身体部分朝向目标姿势的移动过快。例如,如参考图7H至图7I所描述的,根据计算机系统确定用户正在过快地旋转用户手腕(例如,高于阈值速度),虚拟手链730的指示符未被计算机系统填充。在一些实施方案中,标准包括用户身体的部分的旋转速率小于阈值旋转速率的要求(例如,当用户过快地移动手臂时不满足第一标准)。
通过使用指示符的非动画部分来表示身体部分的因为用户的身体部分旋转过快而未被扫描和/或测量的用户的部分,在视觉上动画化指示符的对应于用户的身体部分的旋转进度的部分向用户提供了视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解,对图10A至图10D中的操作进行描述的特定顺序仅仅是一个示例,并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法900、1100和1200)所述的其他过程的细节同样以类似的方式适用于上文相对于图10A至图10D所述的方法1000。例如,上文参考方法1000描述的用户界面对象任选地具有本文参考本文所述的其他方法(例如,方法900、1100和1200)描述的用户界面对象的特征中的一个或多个。为了简明起见,此处不再重复这些细节。
图11A至图11C是示出根据一些实施方案的生成存储关于测量的信息的机器可读代码的方法1100的流程图。方法1000在计算机系统(例如,便携式多功能设备100、设备300或设备800)处执行,该计算机系统包括显示生成部件(例如,显示器,任选的触敏显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(以及任选的一个或多个深度传感器)、以及一个或多个输入设备,任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(和/或与其通信)。方法1100中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
如下所述,方法1100提供了用于自动检测用户身体的部分,确定用户身体的部分的测量,并且将关于该测量的信息嵌入在机器可读代码中的直观方式。将信息嵌入在可扫描(例如,计算机可读)代码中允许计算机系统存储和共享用户的定尺寸和/或附件信息,从而消除用户记住其自身的定尺寸信息和/或要求用户选择用于共享定尺寸信息的方法的需要。减少执行操作所需的输入数量增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统使用一个或多个相机来检测(1102)在一个或多个相机的视野中的用户身体的部分。
计算机系统扫描(1104)在一个或多个相机的视野中的用户身体的部分以确定在一个或多个相机的视野中的用户身体的部分的测量。例如,计算机系统使用如参考图6C至图6N和/或图7J至图7M描述的方法来扫描和测量用户的身体部分(例如,用户手腕)。
在扫描用户身体的部分之后,计算机系统生成(1106)机器可读代码,该机器可读代码包括基于用户身体的部分的测量来识别可穿戴对象的一个或多个定尺寸参数或者描述用户身体的部分的测量的信息。在一些实施方案中,机器可读代码被配置为进行扫描以用于购买可穿戴对象(例如,附件)。
在一些实施方案中,在扫描用户身体的部分之后,计算机系统显示(1108)第一用户界面,该第一用户界面包括在被选择时生成机器可读代码的用户界面对象。在一些实施方案中,计算机系统检测选择用户界面对象的用户输入,并且响应于检测到用户输入,生成机器可读代码。例如,如图7T所示,计算机系统接收选择按钮782“是”的输入786以将用户尺寸保存为虚拟卡。响应于输入,计算机系统生成QR码(例如,QR码804,图8A,或QR码1004,图8D)。
显示多个用户界面元素(包括直接保存由设备获得的定尺寸信息的选项)向用户提供了对测量用户界面的可用功能的快速且容易的访问,而不要求用户导航通过复杂菜单分级结构。提供附加控制选项并且减少执行操作所需的输入的数量,增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,机器可读代码包括(1110)QR码。例如,图8A和图8D所示的QR码。在一些实施方案中,QR码被配置为在商店进行扫描以购买可穿戴对象(例如,和/或可穿戴对象的附件)。例如,用户购买具有由机器可读代码识别的一个或多个尺寸参数的可穿戴对象。
嵌入信息作为QR码允许计算机系统容易地共享存储在QR码中的定尺寸和/或附件信息,从而消除了用户手动输入嵌入信息以与另一个设备共享信息的需要。减少执行操作所需的输入数量增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第二计算机系统(例如,第二电子设备)扫描(1112)机器可读代码,并且响应于扫描机器可读代码,发起用于在第二计算机系统(例如,第二电子设备)或通信地耦接到第二计算机系统的第三计算机系统(例如,第三电子设备)上显示关于可穿戴对象的信息的过程。在一些实施方案中,第二计算机系统和第三计算机系统是相同的计算机系统(例如,包括用于扫描机器可读代码的一个或多个相机以及用于显示关于可穿戴对象或附件的信息的显示设备的电子设备)。例如,如图8B所示,在一些实施方案中,第二电子设备800扫描在设备100上显示的机器可读代码。在一些实施方案中,第二电子设备是扫描器,并且第三电子设备是具有通信地耦接到扫描器的显示设备的电子设备。
通过扫描在另一个电子设备上显示的机器可读代码来从另一个电子设备获得信息消除了用户手动输入存储在机器可读代码中的信息的需要。减少执行操作所需的输入数量增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据确定机器可读代码已被扫描,第二计算机系统或第三计算机系统在使用第二计算机系统或第三计算机系统的显示生成部件来显示的用户界面的第一部分(少于全部)上显示(1114)第一应用程序。在一些实施方案中,第一应用程序包括识别可穿戴对象的一个或多个定尺寸参数或描述第一应用程序内的用户身体的部分的测量的信息。例如,如图8C所示,设备800在显示器的部分上显示第一应用程序806内的机器可读代码(例如,QR码804)。
通过仅显示所存储的信息而不要求用户下载应用程序以查看信息,提供包括存储在机器可读代码中的信息的应用程序(例如,微型应用程序)避免了使用户界面杂乱。在显示器的一部分上提供存储在机器可读代码中的信息增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于扫描机器可读代码,第二计算机系统或第三计算机系统使用第二计算机系统或第三计算机系统的显示生成部件来显示(1116)包括关于可穿戴对象的信息的卡,其包括存储在机器可读代码中的识别可穿戴对象的一个或多个定尺寸参数的信息。例如,在一些实施方案中,响应于第二电子设备扫描机器可读代码而显示卡(诸如图8D所示的虚拟卡1006)。在一些实施方案中,所显示的卡包括从机器可读代码获得的关于可穿戴对象的附加信息,该附加信息是除了一个或多个定尺寸参数之外的信息。此类附加信息可包括例如可穿戴对象的颜色、样式、材料或其他特征。例如,在图8D中,所显示的卡包括关于可穿戴对象(例如,“手表带样式A”)的附加信息(例如,样式信息;识别信息的模型或产品)。
通过显示所存储的信息和/或机器可读代码以使得用户可看到显示在用户设备上的信息,提供包括存储在机器可读代码中的信息的所显示的卡(本文中有时称为虚拟卡)改进了对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统显示(1118)用于将包括关于可穿戴对象的信息的虚拟卡添加到虚拟钱包,并且响应于检测到选择该选项的用户输入而将虚拟卡存储在虚拟钱包中的选项。例如,如参考图7T和图8D所描述的,在一些实施方案中(例如,当用户将虚拟卡保存到用于扫描和测量用户手腕的相同设备时),设备100存储虚拟卡。在一些实施方案中,虚拟钱包存储在(第一)计算机系统上或为第一计算机系统的用户存储。在一些实施方案中,用户可通过打开虚拟钱包来访问虚拟卡。在一些实施方案中,虚拟卡的显示包括机器可读代码(例如,如图8E至图8F所示)。在一些实施方案中,虚拟卡显示存储在机器可读代码中的信息(例如,除了显示机器可读代码之外或代替显示机器可读代码)。例如,虚拟卡包括指示用户的身体部分的尺寸或可穿戴对象或附件的定尺寸参数的文本,和/或指示关于可穿戴对象或附件的信息的文本(例如,“手表带样式A”)。
显示用于将虚拟卡保存到用户的虚拟钱包的用户界面元素并同时显示包括定尺寸信息的虚拟卡向用户提供了对虚拟钱包的可用功能的快速且容易的访问,而不要求用户导航通过复杂菜单分级结构。提供附加控制选项并且减少执行操作所需的输入的数量,增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在其上存储或访问虚拟卡的相应计算机系统处,根据确定相应计算机系统在对于预定义位置的预定义接近度内,相应计算机系统使用相应计算机系统的显示生成部件来显示(1120)用于显示存储在虚拟钱包中的虚拟卡的视觉提示。例如,根据确定相应计算机系统(和/或相应计算机系统的用户)在预定义位置诸如商店(例如,销售可穿戴对象和/或用于可穿戴对象的附件,诸如手表带)的阈值距离(例如,10英尺、20英尺等)内,在相应计算机系统上自动地(在没有用户输入的情况下)生成并显示视觉提示。例如,如参考图8E所描述的,在一些实施方案中,在存储虚拟卡的设备上生成并显示提示(例如,通知)812。在一些实施方案中,显示视觉提示结合提供通知(例如,声音、振动或其他警报)来执行。
根据用户的位置自动地向用户提供通知(包括提供用于打开存储在用户的虚拟钱包中的虚拟卡的用户界面元素)减少了来自用户的所需输入的数量并且向用户提供对虚拟钱包的可用功能的快速且容易的访问,而不要求用户导航通过复杂菜单分级结构。提供附加控制选项并且减少执行操作所需的输入的数量,增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,相应计算机系统检测(1122)选择用于显示虚拟卡的视觉提示的用户输入,并且响应于检测到选择视觉提示的用户输入,使用相应计算机系统的显示生成部件来显示虚拟卡。例如,响应于用户选择视觉提示,显示虚拟卡(例如,在虚拟钱包的用户界面内),如参考图8E至图8F所描述的。
自动提供在被用户选择时打开存储在用户的虚拟钱包中的虚拟卡的用户界面元素减少了来自用户的所需输入的数量并且向用户提供对虚拟钱包的可用功能的快速且容易的访问,而不要求用户导航通过复杂菜单分级结构。提供附加控制选项并且减少执行操作所需的输入的数量,增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,显示虚拟卡包括(1124)显示机器可读代码。例如,图8D中的虚拟卡1006包括显示QR码1004。
在虚拟卡中显示机器可读代码诸如QR码减少了与另一个设备共享存储在机器可读代码中的信息所需的输入的数量,使得另一设备仅需要扫描机器可读代码(例如,而不是需要供用户选择用于共享的另选方法和/或用于共享信息的接收者的附加用户输入)。减少执行操作所需的输入数量增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,显示虚拟卡包括(1126)显示可穿戴对象的描述。例如,图8D中的虚拟卡1006包括显示关于手表带的描述(例如,“样式A”)。在一些实施方案中,可穿戴对象的描述包括一个或多个定尺寸参数的描述(例如,在图8D中显示“尺寸6”)。在一些实施方案中,可穿戴对象的描述包括一组或一类可穿戴对象(例如,适合44mm型号的手表的手表带,或具有特定尺寸(例如,小、中、大、1、2、3、4、5、6、7、8、9等)的特定样式的手表带)的描述。在一些实施方案中,可穿戴对象的描述包括颜色(例如,包括用户在测量其手腕(例如,图5C中显示的可穿戴对象)之前在应用程序(例如,电子商店或测量应用程序)中选择的可穿戴对象的特性)。
通过显示所存储的信息以使得用户可看到在用户设备上显示的信息,显示虚拟卡内的关于可穿戴对象的信息改进了对用户的视觉反馈。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解,对图11A-图11C中的操作进行描述的具体次序仅仅是示例性的,并非旨在表明所述次序是可以执行这些操作的唯一次序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法900、1000和1200)所述的其他过程的细节同样以类似的方式适用于上文相对于图11A至图11C所述的方法1100。例如,上文参考方法1100描述的用户界面对象任选地具有本文参考本文所述的其他方法(例如,方法900、1000和1200)描述的用户界面对象的特征中的一个或多个。为了简明起见,此处不再重复这些细节。
图12A至图12D是示出根据一些实施方案的提示用户将用户的身体部分的位置调整到用于测量的正确位置的方法1200的流程图。方法1200在计算机系统(例如,便携式多功能设备100、设备300或设备800)处执行,该计算机系统包括显示生成部件(例如,显示器,任选的触敏显示器、投影仪、头戴式显示器、平视显示器等)、一个或多个相机(以及任选的一个或多个深度传感器)、以及一个或多个输入设备,任选的一个或多个姿势传感器、任选的用于检测与触敏表面的接触强度的一个或多个传感器、以及任选的一个或多个触觉输出发生器(和/或与其通信)。方法900中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
如下所述,方法1200提供了向用户提供视觉反馈以指示用户身体的部分的适当定位以供设备自动测量用户身体的部分而不要求用户在用户移动用户身体的部分以获得测量结果时提供输入的直观方式。在一组条件已经被满足时为用户提供改进的视觉反馈并且执行操作(例如,自动地)而无需进一步的用户输入增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
计算机系统在第一用户界面内的第一固定位置处显示(1202)指示用于将身体部分移动到一个或多个相机的视野中的位置的第一视觉提示(例如,目标)。在一些实施方案中,第一视觉提示包括固定到显示器中心的圆的轮廓。例如,如图6C至图6M所示,目标618被显示在图6C至图6M所示的每个用户界面内的相同位置处。
在显示(1204)指示用于将身体部分移动到一个或多个相机的视野中的位置的第一视觉提示时,计算机系统使用一个或多个相机来检测(1206)在一个或多个相机的视野中并且对应于身体部分的用户身体的部分。例如,如参考图5G至图5O所描述的,在物理环境531内,用户手部532被移动到设备100的一个或多个相机的视野中。在一些实施方案中,检测包括扫描(例如,用于测量)用户身体的部分。
响应于检测(1208)一个或多个相机的视野中的用户身体的部分,计算机系统显示(1210)用户身体的部分的表示并且显示(1212)固定在相对于用户身体的部分的表示的预定义位置处的第二视觉提示,其中相对于第一视觉提示的位置的第二视觉提示的位置(例如,当前位置)指示满足身体部分定位前提条件所需的身体部分的移动。在一些实施方案中,计算机系统确定相对于第一视觉提示的位置的第二视觉提示的位置包括计算机系统确定第一视觉提示与第二视觉提示之间的间隔(例如,与其的距离和方向)。在一些实施方案中,第二视觉提示包括固定到用户身体的表示的部分上(或旁边)的位置的圆(例如,小于第一视觉提示)。例如,第一视觉提示处于显示器的中心并且第二视觉提示固定到用户手掌/手部的中心。在一些实施方案中,当与第一视觉提示对准时,第二视觉提示填充第一视觉提示。例如,在图6C至图6F中,计算机系统在相对于用户手部的表示622的位置处显示点620(例如,第二视觉提示)。当用户将用户手部移动到适当位置时,计算机系统将点620与用户手部的表示一起移动(例如,成比例地)直到点620与目标618对准以处于适当位置(例如,以满足身体部分定位前提条件)。
在一些实施方案中,当显示第一视觉提示和第二视觉提示时,计算机系统检测(1214)身体部分的移动。在一些实施方案中,响应于检测到身体部分的移动,计算机系统在显示器上移动第二视觉提示而不在显示器上移动第一视觉提示。例如,当用户手部的表示在图6C至图6F中的显示器100上移动时,点620与用户手部的表示一起移动(例如,以维持其相对于用户手部的表示的相对位置),并且目标618在用户手部的表示移动时保持在相同的固定位置。
根据用户正在如何移动用户身体(例如,如由一个或多个相机确定的)而在用户界面中自动地移动用户身体的部分的表示向用户提供了连续视觉反馈,使得用户意识到在何处以及如何移动用户身体的部分以使得用户身体的部分的表示处于用于扫描的适当位置。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据计算机系统确定身体部分移动第一量,计算机系统在显示器上将第二视觉提示移动(1216)对应于身体部分的第一移动量的第二量。在一些实施方案中,根据计算机系统确定身体部分移动与第一量不同的第三量,计算机系统在显示器上将第二视觉提示移动对应于视觉提示的第三移动量并且不同于身体部分的第二移动量的第四量。在一些实施方案中,第一量与第二量成比例(例如,预定义缩放因子)并且第三量与第四量成比例。例如,如图6E至图6F所示,当用户在物理环境中移动用户手部(例如,向右)时,根据设备100的一个或多个相机的当前视图来更新设备100上显示的用户手部的表示(例如,向右),并且计算机系统将点620与用户手部的表示一起移动(例如,以维持其相对于用户手部的表示的位置)。例如,当用户将用户手部移动不同量(例如,向右)时,计算机系统将点620移动成比例的量(例如,在相同方向上)。
当用户移动用户的身体部分时,自动地移动相对于用户身体的部分的表示固定的第二视觉提示向用户提供了连续视觉反馈,使得用户意识到如何调整用户身体的部分以便将第二视觉提示与目标对准。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据确定身体部分在第一方向上移动,计算机系统使第二视觉提示在显示器上沿对应于身体部分的第一移动方向的第二方向移动(1218)。在一些实施方案中,根据确定身体部分在不同于第一方向的第三方向上移动,计算机系统使第二视觉提示在显示器上沿对应于身体部分的第三移动方向并且不同于第二方向的第四方向移动。在一些实施方案中,第一相应方向与第一方向相同,并且第二相应方向与第二方向相同。例如,如图6E至图6F所示,当用户在物理环境中移动用户手部(例如,向右)时,设备根据设备100的一个或多个相机的当前视野来更新设备100上显示的用户手部的表示(例如,向右),并且点620与用户手部的表示一起移动(例如,以维持其相对于用户手部的表示的位置)。
当用户移动用户的身体部分时,自动地移动相对于用户身体的部分的表示固定的第二视觉提示向用户提供了连续视觉反馈,使得用户意识到如何调整用户身体的部分以便将第二视觉提示与目标对准。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,当用户的身体部分移动时,计算机系统以固定尺寸且在第一用户界面中的固定位置处显示(1220)第一视觉提示。在一些实施方案中,第一视觉提示由计算机系统固定在用户界面中,使得第一视觉提示不随着用户手部移动而移动。在一些实施方案中,计算机系统在用户手部移动时移动第二视觉提示(例如,第一视觉提示被固定在用户界面中的特定位置处,而第二视觉提示在用户手部移动时移动)。例如,如图6C至图6F所示,点620相对于用户手掌的表示是固定的。
将第一视觉提示(例如,目标)维持在用户界面内的固定位置处向用户提供连续视觉反馈,使得用户意识到在何处及如何移动用户身体的部分以便将固定到用户身体的部分的表示的第二视觉提示与固定在用户界面内的目标对准。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统根据身体部分相对于一个或多个相机的位置的改变来更新(1222)所显示的第二视觉提示的尺寸。例如,根据计算机系统确定身体部分移动得更靠近一个或多个相机(例如,并且用户身体的部分的表示的尺寸增加),计算机系统将第二视觉提示的尺寸增加与身体部分的尺寸改变相对应的量(例如,成比例地)。例如,如图6C至图6E所示,用户手部的表示的尺寸增加(图6D所示)并且点620的尺寸也增加(例如,成比例地),使得点620与用户手部的表示的当前尺寸成比例。
自动更新第二视觉提示的尺寸以使得其与用户身体的部分的表示的尺寸成比例向用户提供了连续视觉反馈,使得用户知道用户应将用户身体的部分移动得更靠近还是更远离设备以便使第二视觉提示配合在目标内。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据确定用户身体的部分相对于一个或多个相机改变位置,计算机系统更新(1224)第二视觉提示在第一用户界面内的位置,同时将第二视觉提示的位置维持在相对于用户身体的部分的表示的固定预定义位置处。例如,如参考图6C至图6E所描述的,当用户手部在物理环境中移动时,计算机系统更新所显示的用户手部的表示,并且计算机系统在位置上更新点620(例如,第二视觉提示)以便保持在相对于用户手部的表示的相同固定位置。
在不移动目标(例如,第一视觉提示)的情况下自动地移动相对于用户身体的部分的表示固定的第二视觉提示向用户提供了连续视觉反馈,使得用户意识到在何处以及如何移动用户身体的部分以便将第二视觉提示与目标对准。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统以第一角度显示(1226)第二视觉提示。在一些实施方案中,根据确定身体部分相对于一个或多个相机改变位置,计算机系统更新第二视觉提示以便以第二角度进行显示。在一些实施方案中,基于身体部分的改变的位置确定第二角度。在一些实施方案中,第二视觉提示是相对于显示器的平面旋转的虚拟对象,使得其相对于显示器的平面以显著角度(例如,基本上垂直)开始并且然后旋转以使得其基本上平行于显示器。例如,在一些实施方案中,图6I至图6K中的点644由计算机系统显示以便处于使得点644表现为椭圆形(例如,如同观看点644的侧面)的角度,并且当用户手部的表示旋转时,显示点644的角度也由计算机系统根据用户手部已经旋转了多少来更新。
自动地改变相对于用户身体的部分的表示固定的第二视觉提示的显示角度向用户提供了连续视觉反馈,使得用户意识到用户必须移动用户身体以便将第二视觉提示与目标对准的旋转角度。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统显示(1228)包括移动身体部分的指令(以及任选地,指示移动身体部分的方式的指令)的文本以便满足身体部分定位前提条件。在一些实施方案中,第二视觉提示与包括指令的文本同时显示。在一些实施方案中,在显示第二视觉提示之前显示文本。例如,文本包括移动用户身体的部分以将第二视觉提示与第一用户界面中的第一视觉提示对准的指令。例如,如图6A所示,设备提供文本指令602并且显示示例性点606和目标608以指示用户将点606放置到圆中。
向用户显示文本指令以解释用户如何实现用于测量的用户身体的适当位置改进了对用户的视觉反馈,使得用户知道如何移动用户的身体以便获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于身体部分满足身体部分定位前提条件,计算机系统显示(1230)指示用户必须将身体部分维持在满足身体部分定位前提条件的位置的时间量的第一计时器。例如,图6G示出包括时间(例如,倒计时时间)和计时器632(例如,倒计时计时器)的文本提示630。在一些实施方案中,身体部分定位前提条件包括用户将第二视觉提示定位在第一视觉提示的内部(例如,顶部上)(例如,将点对准在圆内)的要求,并且响应于第二视觉提示与第一视觉提示对准,计算机系统显示指示用户必须维持第二视觉提示与第一视觉提示对准持续预定时间量(例如,1秒、3秒、5秒、15秒、30秒、1分钟、3分钟、5分钟)的时间和/或计时器。在一些实施方案中,第二视觉提示被变换到计算机系统中或由计算机系统呈现以包括第一计时器(例如,通过添加移动用户界面元素,诸如以预定模式(诸如在预定义时间量内围绕圆扫动)移动的线或点)。
向用户显示计时器以指示用户必须维持用户身体的位置的时间量改进了对用户的视觉反馈,使得用户知道要维持静止多久以便获得第一测量扫描。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于身体部分满足身体部分定位前提条件,计算机系统显示(1232)身体部分的第一扫描完成的指示(例如,成功消息或指示)。在一些实施方案中,身体部分的第一扫描包括捕获身体部分的图像。例如,第一扫描包括所捕获的用户手掌的图像,并且所显示的指示会指示第一扫描已经成功完成,如图6H所示。在一些实施方案中,指示是或包括计时器的外观的改变。例如,计算机系统更新计时器(例如,计时器618,图6G)的显示以便在前提条件被满足时做出到视觉提示的动画转变(例如,类似于具有与先前显示的第二视觉提示相比的颜色或强度的改变的第二视觉提示)。
向用户显示成功消息以指示第一扫描已经完成改进了对用户的视觉反馈,使得用户意识到第一测量扫描成功并且用户在没有进一步询问的情况下知道用户不需要重新开始过程以获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统显示身体部分的第一扫描完成的指示包括(1234)计算机系统将所显示的第一用户界面的亮度从第一水平增加到第二水平持续预定时间段,并且在将亮度增加到第二水平之后,减少所显示的第一用户界面的亮度(例如,到第一水平或者到低于或接近第一水平的水平)。例如,在显示图形6H之前,设备在显示器上生成闪烁(例如,或其他动画转变)。在一些实施方案中,第二水平比第一水平更亮(例如,显示器闪烁白色)。在一些实施方案中,第二水平比第一水平更暗。
向用户显示闪烁动画以指示第一扫描已经完成改进了对用户的视觉反馈,使得用户知道已经获得第一测量扫描并且用户不需要继续将用户的身体维持在用于测量的相同适当位置。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,计算机系统显示身体部分的第一扫描完成的指示包括(1236)计算机系统显示复选标记。在一些实施方案中,在第一视觉提示的位置处显示复选标记。例如,复选标记由计算机系统显示在第一视觉提示的开放圆中(例如,如图6H所示,复选标记638显示在其中显示目标的用户界面内的位置处)。
显示复选标记以指示第一扫描已经完成改进了对用户的视觉反馈,使得用户知道已经获得第一测量扫描并且用户不需要继续将用户的身体维持在用于测量的相同适当位置。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据计算机系统确定身体部分满足身体部分定位前提条件,计算机系统显示(1238)包括以下指令的文本:移动身体部分以便满足第二身体部分定位前提条件,维持第一视觉提示在第一用户界面内的第一固定位置处的显示,并且通过固定在相对于用户身体的部分的表示的第二预定义位置(例如,在模拟三维空间中)处的第三视觉提示替换第二视觉提示。在一些实施方案中,相对于第一视觉提示的位置的第三视觉提示的位置指示满足第二身体部分定位前提条件所需要的身体部分的移动。例如,在响应于满足第一身体部分定位前提条件而完成第一扫描(例如,捕获第一图像)之后,计算设备根据确定身体部分满足第二身体部分定位前提条件(例如,不同于第一身体部分定位前提条件)来显示用于完成第二扫描(例如,捕获第二图像)的指令。例如,第一身体部分前提条件包括用于将第二视觉提示(例如,固定到用户手部掌的一部分)与第一视觉提示对准的条件,并且第二身体部分前提条件包括用于将第三视觉提示(例如,固定到用户手部的侧面附近的位置)与第一视觉提示对准的条件。例如,图6I示出了指示用户将点644(例如,第三视觉提示)与目标618对准以便满足第二身体部分定位前提条件的文本指令642。
向用户显示文本指令以解释用户如何实现用于测量的用户身体的适当位置改进了对用户的视觉反馈,使得用户知道如何获得第二测量扫描。向用户显示成功消息以指示第二扫描已经完成改进了对用户的视觉反馈,使得用户意识到第二测量扫描成功并且用户不需要重新开始过程以获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于身体部分满足第二身体部分定位前提条件,计算机系统显示(1240)指示用户必须将身体部分维持在满足第二身体部分定位前提条件的位置的时间量的第二计时器。在一些实施方案中,第二计时器不同于第一计时器(例如,显示计时器上的不同时间量和/或不同计时器)。在一些实施方案中,第二计时器由计算机系统显示以便指示用户必须维持第三视觉提示与第一视觉提示对准持续预定时间量(例如,1秒、3秒、5秒、15秒、30秒、1分钟、3分钟、5分钟)。在一些实施方案中,第三视觉提示被变换到计算机系统中或由计算机系统呈现以包括第二计时器,例如,通过添加移动用户界面元素,诸如以预定模式移动的线或点,诸如围绕圆扫动直到其在预定义时间量内完成360度循环的扫动手部或点。例如,图6L至图6M示出了一旦点644已经与目标618对准(在图6L中),则显示计时器656(在图6M中)。
向用户显示计时器以指示用户必须维持用户身体的位置的时间量改进了对用户的视觉反馈,使得用户知道要维持静止多久以便获得第二测量扫描。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,根据计算机系统确定身体部分满足第二身体部分定位前提条件,计算机系统显示(1242)身体部分的第二扫描完成的指示。例如,计算机系统捕获身体部分的第二图像(例如,以身体部分的不同角度和/或不同部分)。在一些实施方案中,指示包括屏幕闪烁、复选标记或移动到下一用户界面的指令(例如,“继续”)。例如,图6N示出了具有成功消息的文本提示660和复选标记662。
向用户显示成功消息以指示第二扫描已经完成改进了对用户的视觉反馈,使得用户意识到第二测量扫描成功并且用户不需要重新开始过程以获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在使用一个或多个相机来扫描用户身体的部分之前,计算机系统在显示设备上显示(1244)一个或多个指令。例如,图6A至图6B示出了在扫描(例如,检测)用户的手部/手腕之前的指导用户界面。
以动画和/或文本提示的形式向用户显示指令以解释用户如何实现用于测量的用户身体的适当位置改进了对用户的视觉反馈,使得用户知道如何获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,一个或多个指令包括(1246)用于将计算设备放置到用于扫描的适当位置中的指令。在一些实施方案中,指令包括将设备平放在桌子上的指令。在一些实施方案中,响应于确定设备不平坦而显示用于放置计算设备的指令。例如,设备显示设备不平坦的错误消息,如图5M所示。
提供指示用户尚未将设备放置在用于测量的适当姿势(例如,平坦)的指令使得用户更容易知道如何将设备调整到适当位置,而不要求用户提供询问设备测量是否已成功的附加用户输入。在一组条件已经被满足时为用户提供改进的视觉反馈并且通过(例如自动地)执行操作减少执行该操作所需的输入的数量和/或程度增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,一个或多个指令包括(1248)用于选择将使用一个或多个相机来扫描哪个身体部分的指令。例如,计算设备提示用户选择扫描左身体部分(例如,手腕/手部)还是扫描右身体部分(例如,右手腕/手部),如图5D至图5E所示。
通过仅显示针对待测量的用户身体的选定侧的指导,提供用于选择应当测量用户身体的部分的哪一侧的附加选项避免了使用于对准用户身体的部分以进行测量的用户界面杂乱。提供用于测量用户身体的部分的不同侧(例如,左侧或右侧)而不会通过与未测量的用户身体的部分相关的附加指导使用户界面杂乱的选项增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,一个或多个指令包括(1250)用于移动身体部分以使得身体部分在一个或多个相机的视野中的指令。例如,指令包括如何移动手部(例如,在特定方向上)以使得整个身体部分在一个或多个相机的视野中的指令(例如,移动得更近、更远、卷起袖子和/或移除珠宝等的指令)。例如,图5F示出了“将您的左手放置在设备上方并且旋转您的手部”的指令。图5K至图5N示出了包括用于使用户将其手部移动到一个或多个相机的视野内的适当位置的指令的错误状况。
以动画和/或文本提示的形式向用户显示指令以解释用户如何实现用于测量的用户身体的适当位置改进了对用户的视觉反馈,使得用户知道如何获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,一个或多个指令包括(1252)在满足身体部分定位前提条件的位置中显示身体部分的表示。例如,图6A至图6B包括旋转以将点(例如,点606和/或点612)移动到目标608中的用户手部的表示610的动画。在一些实施方案中,一个或多个指令还包括在满足第二身体部分定位前提条件的位置中显示身体部分的表示。例如,作为设备成功扫描用户手掌和用户手部的侧面的示例,图6A至图6B中的用户手部的表示610被动画化以旋转。
显示向用户演示如何将身体部分的表示移动到用于测量的适当位置中的动画改进了对用户的视觉反馈,使得用户知道如何获得测量。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,在显示第二视觉提示之前,计算机系统更新(1254)用户身体的部分的表示的显示。例如,用户身体的部分的表示将该表示更新为半透明或淡化的。在一些实施方案中,当用户的身体部分移动(例如,改变位置)时,更新用户身体的部分的表示,使得根据在一个或多个相机的视野中的身体部分的移动来更新用户身体的部分的表示。例如,如参考图5K至图5M所描述的,当用户手部不处于适当位置时,用户手部的表示被淡化(例如,以一定透明度显示)。在一些实施方案中,在用户手部处于用于扫描用户手部的适当位置之后,用户手部的表示不再呈现半透明(或部分透明),并且第二视觉提示(例如,点620)出现在其相对于用户手部的表示的预定义固定位置处。
在视觉上不强调(例如,淡化)用户身体的部分的表示提供了视觉反馈,该视觉反馈向用户通知用户身体的部分未处于视野内的适当位置,并且在用户希望测量用户身体的部分的情况下提示用户移动用户身体的部分。为用户提供改进的视觉反馈增强了系统的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户获得预期结果并减少操作系统/与系统交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
应当理解,对图12A至图12D中的操作进行描述的特定顺序仅为示例性的,并非旨在表明所述顺序是可以执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。另外,应当注意,本文相对于本文所述的其他方法(例如,方法900、1000和1100)所述的其他过程的细节同样以类似的方式适用于上文相对于图12A至图12D所述的方法1200。例如,上文参考方法1200描述的用户界面对象任选地具有本文参考本文所述的其他方法(例如,方法900、1000和1100)描述的用户界面对象的特征中的一个或多个。为了简明起见,此处不再重复这些细节。
上文参考图9A至图9C、图10A至图10D、图11A至图11C和图12A至图12D所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏显示器112上的接触,并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否(或该设备的旋转是否)对应于预定义的事件或子事件,诸如对用户界面上的对象的选择、或该设备从一个取向到另一个取向的旋转。当检测到相应的预定义事件或子事件时,事件识别器180激活与该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地使用或调用数据更新器176或对象更新器177来更新应用程序内部状态192。在一些实施方案中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的技术人员会清楚地知道基于在图1A-图1B中所描绘的部件可如何实现其他过程。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
Claims (104)
1.一种方法,包括:
在与显示设备和一个或多个相机通信的计算机系统处:
在第一用户界面的第一区域中显示将身体部分移动到所述一个或多个相机的视野中的视觉提示;
在显示将所述身体部分移动到所述一个或多个相机的所述视野中的所述视觉提示时:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到所述用户身体的所述部分,显示所述用户身体的所述部分的表示,包括:
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分满足第一标准,经由所述显示设备以第一透明度显示处于所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示;以及
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分未能满足所述第一标准,将所述用户身体的所述部分的所述表示显示为具有指示尚未满足所述第一标准的第二透明度。
2.根据权利要求1所述的方法,还包括,在显示将所述身体部分移动到所述一个或多个相机的所述视野中的所述视觉提示时,显示动画转变,其中所述视觉提示的至少一部分被移动到靠近所述用户身体的所述部分的所述表示的位置。
3.根据权利要求2所述的方法,其中所述视觉提示的所述至少一部分包括对齐到所述用户身体的所述部分的所述表示的轮廓。
4.根据权利要求2至3中任一项所述的方法,其中以与所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示的形状相匹配的形状显示所述视觉提示的所述至少一部分。
5.根据权利要求1至4中任一项所述的方法,其中所述视觉提示包括手部的表示。
6.根据权利要求1至5中任一项所述的方法,其中所述用户身体的所述部分包括手部。
7.根据权利要求1至6中任一项所述的方法,还包括,根据所述确定在所述一个或多个相机的所述视野中的所述用户身体的所述部分未能满足所述第一标准,显示指示尚未满足所述第一标准的文本。
8.根据权利要求1至7中任一项所述的方法,其中将所述用户身体的所述部分的所述表示显示为具有指示尚未满足所述第一标准的第二透明度包括在视觉上不强调所述用户身体的所述部分的所述表示。
9.根据权利要求1至8中任一项所述的方法,其中所述用户身体的所述部分处于物理环境中,并且所述方法包括:
在检测所述用户身体的所述部分之前,显示背景;以及
响应于检测到所述用户身体的所述部分处于所述一个或多个相机的所述视野中,在所述背景上方显示在所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示。
10.根据权利要求1至8中任一项所述的方法,其中所述用户身体的所述部分处于物理环境中,并且所述方法包括:
显示包括所述物理环境的表示的所述一个或多个相机的所述视野的表示;以及
响应于检测到所述用户身体的所述部分处于所述一个或多个相机的所述视野中,在视觉上不强调所述物理环境的所述表示。
11.根据权利要求1至10中任一项所述的方法,还包括响应于检测到所述用户身体的所述部分,根据所述确定所述用户身体的所述部分满足所述第一标准,显示至少部分地覆盖所述用户身体的所述部分的所述表示的指示符。
12.根据权利要求1至11中任一项所述的方法,还包括,显示第二用户界面,所述第二用户界面包括:
用于选择具有多个尺寸选项的产品的选项,所述尺寸选项能够根据对所述一个或多个相机的视野中的所述用户身体的所述部分的测量来选择;以及
在被选择时发起所述第一用户界面的显示的示能表示。
13.根据权利要求1至12中任一项所述的方法,还包括,在第三用户界面中显示将所述第一身体部分识别为右侧身体部分或左侧身体部分的指令。
14.根据权利要求1至13中任一项所述的方法,还包括,在所述第一用户界面中,在所述第一用户界面的第二区域中显示第一颜色;以及
通过与所述第一颜色不同的第二颜色的显示替换所述第一颜色的显示。
15.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:
在第一用户界面的第一区域中显示将身体部分移动到所述一个或多个相机的视野中的视觉提示;
在显示将所述身体部分移动到所述一个或多个相机的所述视野中的所述视觉提示时:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到所述用户身体的所述部分,显示所述用户身体的所述部分的表示,包括:
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分满足第一标准,经由所述显示设备以第一透明度显示处于所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示;以及
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分未能满足所述第一标准,将所述用户身体的所述部分的所述表示显示为具有指示尚未满足所述第一标准的第二透明度。
16.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统:
在第一用户界面的第一区域中显示将身体部分移动到所述一个或多个相机的视野中的视觉提示;
在显示将所述身体部分移动到所述一个或多个相机的所述视野中的所述视觉提示时:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到所述用户身体的所述部分,显示所述用户身体的所述部分的表示,包括:
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分满足第一标准,经由所述显示设备以第一透明度显示处于所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示;以及
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分未能满足所述第一标准,将所述用户身体的所述部分的所述表示显示为具有指示尚未满足所述第一标准的第二透明度。
17.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于在第一用户界面的第一区域中显示将身体部分移动到所述一个或多个相机的视野中的视觉提示的装置;
在显示将所述身体部分移动到所述一个或多个相机的所述视野中的所述视觉提示时被启用以进行以下操作的装置:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到所述用户身体的所述部分而被启用以显示所述用户身体的所述部分的表示的装置,包括:
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分满足第一标准而被启用以经由所述显示设备以第一透明度显示处于所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示的装置;以及
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分未能满足所述第一标准而被启用以将所述用户身体的所述部分的所述表示显示为具有指示尚未满足所述第一标准的第二透明度的装置。
18.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于在第一用户界面的第一区域中显示将身体部分移动到所述一个或多个相机的视野中的视觉提示的装置;
在显示将所述身体部分移动到所述一个或多个相机的所述视野中的所述视觉提示时被启用以进行以下操作的装置:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到所述用户身体的所述部分而被启用以显示所述用户身体的所述部分的表示的装置,包括:
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分满足第一标准而被启用以经由所述显示设备以第一透明度显示处于所述一个或多个相机的所述视野中的所述用户身体的所述部分的所述表示的装置;以及
根据确定处于所述一个或多个相机的所述视野中的所述用户身体的所述部分未能满足所述第一标准而被启用以将所述用户身体的所述部分的所述表示显示为具有指示尚未满足所述第一标准的第二透明度的装置。
19.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至14中任一项所述的方法的指令。
20.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统执行根据权利要求1至14中任一项所述的方法。
21.一种在计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备、所述存储器以及所述用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器通信,所述图形用户界面包括根据权利要求1至14中任一项所述的方法显示的用户界面。
22.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于执行根据权利要求1至14中任一项所述的方法的装置。
23.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于执行根据权利要求1至14中任一项所述的方法的装置。
24.一种方法,包括:
在与显示设备和一个或多个相机通信的计算机系统处:
在用户界面中显示在所述一个或多个相机的视野中的身体部分的第一表示;
使用所述一个或多个相机来检测所述身体部分的移动,其中根据所述身体部分的所述移动来更新所显示的所述身体部分的第一表示;以及
当显示所述身体部分的所述第一表示时,在相对于所述身体部分的所述第一表示的固定位置处显示指示符,其中:
在覆盖所述身体部分的所述表示的至少一部分的所述用户界面中的第一位置处显示所述指示符,
根据所述身体部分的所述移动来更新所述指示符;并且
所述指示符包括所述身体部分的建议移动方向的指示。
25.根据权利要求24所述的方法,其中所述建议移动方向的所述指示包括指示所述移动方向的所述指示符的动画。
26.根据权利要求24至25中任一项所述的方法,其中所述身体部分是手腕和/或手部。
27.根据权利要求24至26中任一项所述的方法,其中所述身体部分处于物理环境中;并且
所述方法还包括:
在所述第一用户界面中显示背景;
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野内的所述物理环境的一部分和所述身体部分;以及
在所述背景上方显示所述身体部分的所述表示,而不显示在所述一个或多个相机的所述视野内的所述物理环境的所述部分的表示。
28.根据权利要求24至27中任一项所述的方法,还包括:
显示具有第一颜色的背景;以及
通过具有第二颜色的背景的显示替换具有所述第一颜色的所述背景的显示。
29.根据权利要求28所述的方法,其中所述第一颜色和所述第二颜色对应于要穿戴在所述身体部分上的物理对象的颜色选项。
30.根据权利要求24至29中任一项所述的方法,还包括:
检测所述身体部分在第一方向上的移动;以及
响应于检测到所述身体部分在所述第一方向上的所述移动:
根据所述身体部分的所述移动在所述用户界面中的第二位置处显示所述身体部分的所述表示;以及
在相对于所述第二位置处显示的所述身体部分的所述第一表示的所述固定位置处显示所述指示符。
31.根据权利要求24至30中任一项所述的方法,其中在所述用户界面中以相应的第一尺寸显示所述身体部分的所述第一表示和所述指示符;并且
所述方法还包括:
检测改变所述一个或多个相机与所述身体部分之间的距离的所述身体部分的移动;以及
响应于检测到所述一个或多个相机与所述身体部分之间的所述距离的改变:
根据所改变的距离以第二尺寸显示所述身体部分的所述第一表示;以及
根据所改变的距离以相应的第二尺寸显示所述指示符。
32.根据权利要求24至31中任一项所述的方法,其中:
检测所述身体部分的移动包括检测所述身体部分的旋转;并且
所述方法还包括:
在检测所述身体部分的旋转时,使用所述一个或多个相机来扫描一个或多个图像以确定所述身体部分的测量;以及
更新所述指示符以指示扫描所述一个或多个图像的进度。
33.根据权利要求24至32中任一项所述的方法,其中所述身体部分的所述建议移动方向的所述指示包括旋转所述身体部分的指示。
34.根据权利要求24至33中任一项所述的方法,还包括,在显示所述身体部分的所述第一表示时,使用所述一个或多个相机来捕获所述身体部分的一个或多个图像,其中所述一个或多个图像用于确定所述身体部分的测量;以及
在第二用户界面中显示对应于所述身体部分的所述测量的尺寸。
35.根据权利要求24至34中任一项所述的方法,其中:
相对于所述身体部分的所述第一表示的所述固定位置是相对于所述身体部分的所述第一表示的第一固定位置,并且
所述方法还包括:
接收在第一方向上的第一用户输入;以及
响应于所述第一用户输入,将所述指示符相对于所述身体部分的所述第一固定位置更新到与所述第一固定位置不同的相对于所述身体部分的第二固定位置。
36.根据权利要求24至35中任一项所述的方法,还包括:
通过所述用户界面中的所述第一位置处的用户界面元素替换所述用户界面中的所述第一位置处的所述指示符的显示,其中所述用户界面元素被显示在相对于所述身体部分的所述第一表示的所述固定位置处,并且所述用户界面元素指示所述身体部分的与所述固定位置处的所述身体部分的所述表示的所述部分相对应的部分的第一尺寸。
37.根据权利要求36所述的方法,其中相对于所述身体部分的所述第一表示的所述固定位置是第一固定位置;并且
所述方法还包括:
接收用于移动所述用户界面元素的第二用户输入;以及
响应于接收到所述第二输入,将所述用户界面元素从覆盖所述身体部分的所述表示的至少一部分的所述用户界面中的所述第一位置移动到相对于所述身体部分的所述第一表示的第三固定位置。
38.根据权利要求37所述的方法,还包括,根据确定所述用户界面元素处于相对于所述身体部分的所述第一表示的所述第三固定位置处,更新所述用户界面元素以指示所述身体部分的对应于所述第三固定位置的部分的第二尺寸。
39.根据权利要求36至38中任一项所述的方法,还包括,捕获包括所述身体部分的所述第一表示和在相对于所述身体部分的所述第一表示的所述第一固定位置处的所述用户界面元素的图像,其中所述用户界面元素指示所述身体部分的与用户界面元素的所述第一固定位置相对应的所述部分的尺寸。
40.根据权利要求39所述的方法,还包括,当显示所述图像时,接收用于将所述用户界面元素移动到相对于所述图像中的所述身体部分的所述第一表示的不同固定位置的第三用户输入。
41.根据权利要求24至40中任一项所述的方法,其中所述用户界面是第一用户界面;并且
所述方法还包括:
显示第二用户界面,所述第二用户界面包括:
用于选择具有多个尺寸选项的产品的选项,所述尺寸选项能够根据对所述一个或多个相机的所述视野中的所述身体部分的测量来选择;以及
在被选择时发起所述第一用户界面的显示的示能表示。
42.根据权利要求24至41中任一项所述的方法,其中所述用户界面是由所述计算机系统执行的相应应用程序内的用户界面。
43.根据权利要求24至42中任一项所述的方法,其中当所述身体部分移动时,所述指示符的外观逐渐改变以指示所述身体部分的旋转进度。
44.根据权利要求24至42中任一项所述的方法,包括响应于检测到所述身体部分的移动:
根据确定所述身体部分的所述移动以低于阈值速度的速度移动,在所述身体部分移动时逐渐在外观上改变指示符的外观以指示所述身体部分朝向目标姿势的移动进度;以及
根据确定所述身体部分的所述移动以高于所述阈值速度的速度移动,在所述身体部分移动时在外观上放弃指示符的外观改变的至少一部分,以指示所述身体部分朝向所述目标姿势的移动过快。
45.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:
在用户界面中显示在所述一个或多个相机的视野中的身体部分的第一表示;
使用所述一个或多个相机来检测所述身体部分的移动,其中根据所述身体部分的所述移动来更新所显示的所述身体部分的第一表示;以及
当显示所述身体部分的所述第一表示时,在相对于所述身体部分的所述第一表示的固定位置处显示指示符,其中:
在覆盖所述身体部分的所述表示的至少一部分的所述用户界面中的第一位置处显示所述指示符,
根据所述身体部分的所述移动来更新所述指示符;并且
所述指示符包括所述身体部分的建议移动方向的指示。
46.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统:
在用户界面中显示在所述一个或多个相机的视野中的身体部分的第一表示;
使用所述一个或多个相机来检测所述身体部分的移动,其中根据所述身体部分的所述移动来更新所显示的所述身体部分的第一表示;以及
当显示所述身体部分的所述第一表示时,在相对于所述身体部分的所述第一表示的固定位置处显示指示符,其中:
在覆盖所述身体部分的所述表示的至少一部分的所述用户界面中的第一位置处显示所述指示符,
根据所述身体部分的所述移动来更新所述指示符;并且
所述指示符包括所述身体部分的建议移动方向的指示。
47.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于在用户界面中显示在所述一个或多个相机的视野中的身体部分的第一表示的装置;
用于使用所述一个或多个相机来检测所述身体部分的移动的装置,其中根据所述身体部分的所述移动来更新所显示的所述身体部分的第一表示;以及
当显示所述身体部分的所述第一表示时被启用以在相对于所述身体部分的所述第一表示的固定位置处显示指示符的装置,其中:
在覆盖所述身体部分的所述表示的至少一部分的所述用户界面中的第一位置处显示所述指示符,
根据所述身体部分的所述移动来更新所述指示符;并且
所述指示符包括所述身体部分的建议移动方向的指示。
48.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于在用户界面中显示在所述一个或多个相机的视野中的身体部分的第一表示的装置;
用于使用所述一个或多个相机来检测所述身体部分的移动的装置,其中根据所述身体部分的所述移动来更新所显示的所述身体部分的第一表示;以及
当显示所述身体部分的所述第一表示时被启用以在相对于所述身体部分的所述第一表示的固定位置处显示指示符的装置,其中:
在覆盖所述身体部分的所述表示的至少一部分的所述用户界面中的第一位置处显示所述指示符,
根据所述身体部分的所述移动来更新所述指示符;并且
所述指示符包括所述身体部分的建议移动方向的指示。
49.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求24至44中任一项所述的方法的指令。
50.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统执行根据权利要求24至44中任一项所述的方法。
51.一种在计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备、所述存储器以及所述用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器通信,所述图形用户界面包括根据权利要求24至44中任一项所述的方法显示的用户界面。
52.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于执行根据权利要求24至44中任一项所述的方法的装置。
53.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于执行根据权利要求24至44中任一项所述的方法的装置。
54.一种方法,包括:
在与显示设备和一个或多个相机通信的计算机系统处:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中的用户身体的部分;
扫描在所述一个或多个相机的所述视野中的所述用户身体的所述部分以确定在所述一个或多个相机的所述视野中的所述用户身体的所述部分的测量;以及
在扫描所述用户身体的所述部分之后,生成机器可读代码,所述机器可读代码包括基于所述用户身体的所述部分的所述测量来识别可穿戴对象的一个或多个定尺寸参数或者描述所述用户身体的所述部分的所述测量的信息。
55.根据权利要求54所述的方法,包括:
在扫描所述用户身体的所述部分之后,显示第一用户界面,所述第一用户界面包括在被选择时生成所述机器可读代码的用户界面对象;
检测选择所述用户界面对象的用户输入;以及
响应于检测到所述用户输入,生成所述机器可读代码。
56.根据权利要求54所述的方法,其中所述机器可读代码包括QR码。
57.根据权利要求54至56中任一项所述的方法,还包括:
在第二计算机系统处,扫描所述机器可读代码;以及
响应于扫描所述机器可读代码,发起用于在所述第二计算机系统或通信地耦接到所述第二计算机系统的第三计算机系统上显示关于所述可穿戴对象的信息的过程。
58.根据权利要求57所述的方法,还包括:
在所述第二计算机系统或所述第三计算机系统处,根据确定所述机器可读代码已被扫描,在使用所述第二计算机系统或所述第三计算机系统的显示生成部件来显示的用户界面的第一部分上显示第一应用程序,所述第一部分少于全部,其中所述第一应用程序包括识别所述可穿戴对象的所述一个或多个定尺寸参数或描述第一应用程序内的所述用户身体的所述部分的所述测量的所述信息。
59.根据权利要求57至58中任一项所述的方法,还包括:
在所述第二计算机系统或所述第三计算机系统处,响应于扫描所述机器可读代码,使用所述第二计算机系统或所述第三计算机系统的显示生成部件来显示包括关于所述可穿戴对象的信息的卡,其包括存储在所述机器可读代码中的识别所述可穿戴对象的一个或多个定尺寸参数的所述信息。
60.根据权利要求54至59中任一项所述的方法,还包括:
显示用于将包括关于所述可穿戴对象的所述信息的虚拟卡添加到虚拟钱包的选项;以及
响应于检测到选择所述选项的用户输入,将所述虚拟卡存储在所述虚拟钱包中。
61.根据权利要求60所述的方法,还包括,在其上存储或访问所述虚拟卡的相应计算机系统处,根据确定所述相应计算机系统在对于预定义位置的预定义接近度内,使用所述相应计算机系统的显示生成部件来显示用于显示存储在所述虚拟钱包中的所述虚拟卡的视觉提示。
62.根据权利要求61所述的方法,还包括:
在所述相应计算机系统处:
检测选择用于显示所述虚拟卡的所述视觉提示的用户输入;以及
响应于检测到选择所述视觉提示的所述用户输入,使用所述相应计算机系统的所述显示生成部件来显示所述虚拟卡。
63.根据权利要求61至62中任一项所述的方法,其中显示所述虚拟卡包括显示所述机器可读代码。
64.根据权利要求61至63中任一项所述的方法,其中显示所述虚拟卡包括显示所述可穿戴对象的描述。
65.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中的用户身体的部分;
扫描在所述一个或多个相机的所述视野中的所述用户身体的所述部分以确定在所述一个或多个相机的所述视野中的所述用户身体的所述部分的测量;以及
在扫描所述用户身体的所述部分之后,生成机器可读代码,所述机器可读代码包括基于所述用户身体的所述部分的所述测量来识别可穿戴对象的一个或多个定尺寸参数或者描述所述用户身体的所述部分的所述测量的信息。
66.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中的用户身体的部分;
扫描在所述一个或多个相机的所述视野中的所述用户身体的所述部分以确定在所述一个或多个相机的所述视野中的所述用户身体的所述部分的测量;以及
在扫描所述用户身体的所述部分之后,生成机器可读代码,所述机器可读代码包括基于所述用户身体的所述部分的所述测量来识别可穿戴对象的一个或多个定尺寸参数或者描述所述用户身体的所述部分的所述测量的信息。
67.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中的用户身体的部分的装置;
用于扫描在所述一个或多个相机的所述视野中的所述用户身体的所述部分以确定在所述一个或多个相机的所述视野中的所述用户身体的所述部分的测量的装置;以及
在扫描所述用户身体的所述部分之后被启用以生成机器可读代码的装置,所述机器可读代码包括基于所述用户身体的所述部分的所述测量来识别可穿戴对象的一个或多个定尺寸参数或者描述所述用户身体的所述部分的所述测量的信息。
68.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中的用户身体的部分的装置;
用于扫描在所述一个或多个相机的所述视野中的所述用户身体的所述部分以确定在所述一个或多个相机的所述视野中的所述用户身体的所述部分的测量的装置;以及
在扫描所述用户身体的所述部分之后被启用以生成机器可读代码的装置,所述机器可读代码包括基于所述用户身体的所述部分的所述测量来识别可穿戴对象的一个或多个定尺寸参数或者描述所述用户身体的所述部分的所述测量的信息。
69.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求54至64中任一项所述的方法的指令。
70.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统执行根据权利要求54至64中任一项所述的方法。
71.一种在计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备、所述存储器以及所述用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器通信,所述图形用户界面包括根据权利要求54至64中任一项所述的方法显示的用户界面。
72.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于执行根据权利要求54至64中任一项所述的方法的装置。
73.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于执行根据权利要求54至64中任一项所述的方法的装置。
74.一种方法,包括:
在与显示设备和一个或多个相机通信的计算机系统处:
在第一用户界面内的第一固定位置处显示指示用于将身体部分移动到所述一个或多个相机的视野中的位置的第一视觉提示;
在显示指示用于将所述身体部分移动到所述一个或多个相机的所述视野中的所述位置的所述第一视觉提示时:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到在所述一个或多个相机的所述视野中的所述用户身体的所述部分:
显示所述用户身体的所述部分的表示;以及
显示固定在相对于所述用户身体的所述部分的所述表示的预定义位置处的第二视觉提示,其中相对于所述第一视觉提示的位置的所述第二视觉提示的位置指示满足身体部分定位前提条件所需要的所述身体部分的移动。
75.根据权利要求74所述的方法,还包括:
当显示所述第一视觉提示和所述第二视觉提示时,检测所述身体部分的移动;以及
响应于检测到所述身体部分的移动,在所述显示器上移动所述第二视觉提示而不在所述显示器上移动所述第一视觉提示。
76.根据权利要求74至75中任一项所述的方法,其中:
根据确定所述身体部分移动第一量,在所述显示器上将所述第二视觉提示移动对应于所述身体部分的所述第一移动量的第二量;以及
根据确定所述身体部分移动与所述第一量不同的第三量,在显示器上将所述第二视觉提示移动对应于所述视觉提示的所述第三移动量并且不同于所述身体部分的所述第二移动量的第四量。
77.根据权利要求74至76中任一项所述的方法,其中:
根据确定所述身体部分在第一方向上移动,使所述第二视觉提示在所述显示器上沿对应于所述身体部分的所述第一移动方向的第二方向移动;以及
根据确定所述身体部分在不同于所述第一方向的第三方向上移动,使所述第二视觉提示在所述显示器上沿对应于所述身体部分的所述第三移动方向并且不同于所述第二方向的第四方向移动。
78.根据权利要求74至77中任一项所述的方法,其中当所述用户的所述身体部分移动时,以固定尺寸且在所述第一用户界面中的固定位置处显示所述第一视觉提示。
79.根据权利要求74至78中任一项所述的方法,其中根据所述身体部分相对于所述一个或多个相机的位置的改变来更新所述第二视觉提示的显示尺寸。
80.根据权利要求74至79中任一项所述的方法,还包括:
根据确定所述用户身体的所述部分相对于所述一个或多个相机改变位置,
更新所述第二视觉提示在所述第一用户界面内的位置,同时将所述第二视觉提示的所述位置维持在相对于所述用户身体的所述部分的所述表示的所述固定预定义位置处。
81.根据权利要求74至80中任一项所述的方法,其中:
以第一角度显示所述第二视觉提示;并且
所述方法还包括,根据确定所述身体部分相对于所述一个或多个相机改变位置,更新所述第二视觉提示以便以第二角度显示,其中所述第二角度基于所述身体部分的所改变的位置来确定。
82.根据权利要求74至81中任一项所述的方法,还包括,显示包括移动所述身体部分以便满足所述身体部分定位前提条件的指令的文本。
83.根据权利要求74至82中任一项所述的方法,还包括,响应于所述身体部分满足所述身体部分定位前提条件,显示指示所述用户必须将所述身体部分维持在满足所述身体部分定位前提条件的位置的时间量的第一计时器。
84.根据权利要求74至83中任一项所述的方法,还包括,响应于所述身体部分满足所述身体部分定位前提条件,显示所述身体部分的第一扫描完成的指示。
85.根据权利要求84所述的方法,其中显示所述身体部分的所述第一扫描完成的所述指示包括:
将所显示的第一用户界面的亮度从第一水平增加到第二水平持续预定时间段;以及
在将所述亮度增加到所述第二水平之后,减少所显示的第一用户界面的所述亮度。
86.根据权利要求84所述的方法,其中显示所述身体部分的所述第一扫描完成的所述指示包括显示复选标记。
87.根据权利要求74至86中任一项所述的方法,还包括:
根据确定所述身体部分满足所述身体部分定位前提条件:
显示包括移动所述身体部分以便满足第二身体部分定位前提条件的指令的文本;
维持所述第一视觉提示在所述第一用户界面内的所述第一固定位置处的显示;以及
通过固定在相对于所述用户身体的所述部分的所述表示的第二预定义位置处的第三视觉提示替换所述第二视觉提示,其中相对于所述第一视觉提示的位置的所述第三视觉提示的位置指示满足所述第二身体部分定位前提条件所需要的所述身体部分的移动。
88.根据权利要求87所述的方法,还包括,响应于所述身体部分满足所述第二身体部分定位前提条件,显示指示所述用户必须将所述身体部分维持在满足所述第二身体部分定位前提条件的位置的时间量的第二计时器。
89.根据权利要求87所述的方法,还包括,根据确定所述身体部分满足所述第二身体部分定位前提条件,显示所述身体部分的第二扫描完成的指示。
90.根据权利要求74至89中任一项所述的方法,还包括:
在使用所述一个或多个相机来扫描所述用户身体的所述部分之前,在所述显示设备上显示一个或多个指令。
91.根据权利要求90所述的方法,其中所述一个或多个指令包括用于将所述计算设备放置到用于扫描的适当位置中的指令。
92.根据权利要求90至91中任一项所述的方法,其中所述一个或多个指令包括用于选择将使用所述一个或多个相机来扫描哪个身体部分的指令。
93.根据权利要求90至92中任一项所述的方法,其中所述一个或多个指令包括用于移动所述身体部分以使得所述身体部分在所述一个或多个相机的所述视野中的指令。
94.根据权利要求90至93中任一项所述的方法,其中所述一个或多个指令包括在满足所述身体部分定位前提条件的位置中显示身体部分的表示。
95.根据权利要求74至94中任一项所述的方法,还包括,在显示所述第二视觉提示之前,更新所述用户身体的所述部分的所述表示的显示。
96.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于进行以下操作的指令:
在第一用户界面内的第一固定位置处显示指示用于将身体部分移动到所述一个或多个相机的视野中的位置的第一视觉提示;
在显示指示用于将所述身体部分移动到所述一个或多个相机的所述视野中的所述位置的所述第一视觉提示时:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到在所述一个或多个相机的所述视野中的所述用户身体的所述部分:
显示所述用户身体的所述部分的表示;以及
显示固定在相对于所述用户身体的所述部分的所述表示的预定义位置处的第二视觉提示,其中相对于所述第一视觉提示的位置的所述第二视觉提示的位置指示满足身体部分定位前提条件所需要的所述身体部分的移动。
97.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统:
在第一用户界面内的第一固定位置处显示指示用于将身体部分移动到所述一个或多个相机的视野中的位置的第一视觉提示;
在显示指示用于将所述身体部分移动到所述一个或多个相机的所述视野中的所述位置的所述第一视觉提示时:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到在所述一个或多个相机的所述视野中的所述用户身体的所述部分:
显示所述用户身体的所述部分的表示;以及
显示固定在相对于所述用户身体的所述部分的所述表示的预定义位置处的第二视觉提示,其中相对于所述第一视觉提示的位置的所述第二视觉提示的位置指示满足身体部分定位前提条件所需要的所述身体部分的移动。
98.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于在第一用户界面内的第一固定位置处显示指示用于将身体部分移动到所述一个或多个相机的视野中的位置的第一视觉提示的装置;
在显示指示用于将所述身体部分移动到所述一个或多个相机的所述视野中的所述位置的所述第一视觉提示时被启用以进行以下操作的装置:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到在所述一个或多个相机的所述视野中的所述用户身体的所述部分而被启用以进行以下操作的装置:
显示所述用户身体的所述部分的表示;以及
显示固定在相对于所述用户身体的所述部分的所述表示的预定义位置处的第二视觉提示,其中相对于所述第一视觉提示的位置的所述第二视觉提示的位置指示满足身体部分定位前提条件所需要的所述身体部分的移动。
99.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于在第一用户界面内的第一固定位置处显示指示用于将身体部分移动到所述一个或多个相机的视野中的位置的第一视觉提示的装置;
在显示指示用于将所述身体部分移动到所述一个或多个相机的所述视野中的所述位置的所述第一视觉提示时被启用以进行以下操作的装置:
使用所述一个或多个相机来检测在所述一个或多个相机的所述视野中并且对应于所述身体部分的用户身体的部分;
响应于检测到在所述一个或多个相机的所述视野中的所述用户身体的所述部分而被启用以进行以下操作的装置:
显示所述用户身体的所述部分的表示;以及
显示固定在相对于所述用户身体的所述部分的所述表示的预定义位置处的第二视觉提示,其中相对于所述第一视觉提示的位置的所述第二视觉提示的位置指示满足身体部分定位前提条件所需要的所述身体部分的移动。
100.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;
一个或多个处理器;和
存储器,所述存储器存储一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求74至95中任一项所述的方法的指令。
101.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信的计算机系统执行时,使得所述计算机系统执行根据权利要求74至95中任一项所述的方法。
102.一种在计算机系统上的图形用户界面,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备、所述存储器以及所述用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器通信,所述图形用户界面包括根据权利要求74至95中任一项所述的方法显示的用户界面。
103.一种计算机系统,包括:
显示生成部件;
一个或多个相机;
一个或多个输入设备;和
用于执行根据权利要求74至95中任一项所述的方法的装置。
104.一种在计算机系统中使用的信息处理装置,所述计算机系统包括显示生成部件、一个或多个相机和一个或多个输入设备和/或与所述显示生成部件、所述一个或多个相机和所述一个或多个输入设备通信,所述信息处理装置包括:
用于执行根据权利要求74至95中任一项所述的方法的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311417788.1A CN117472182A (zh) | 2021-02-15 | 2022-01-19 | 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/149,553 | 2021-02-15 | ||
US17/576,735 | 2022-01-14 | ||
US17/576,735 US20220261066A1 (en) | 2021-02-15 | 2022-01-14 | Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments |
PCT/US2022/012856 WO2022173561A1 (en) | 2021-02-15 | 2022-01-19 | Systems, methods, and graphical user interfaces for automatic measurement in augmented reality environments |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311417788.1A Division CN117472182A (zh) | 2021-02-15 | 2022-01-19 | 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117120956A true CN117120956A (zh) | 2023-11-24 |
Family
ID=88806084
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311417788.1A Pending CN117472182A (zh) | 2021-02-15 | 2022-01-19 | 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 |
CN202280015105.7A Pending CN117120956A (zh) | 2021-02-15 | 2022-01-19 | 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311417788.1A Pending CN117472182A (zh) | 2021-02-15 | 2022-01-19 | 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN117472182A (zh) |
-
2022
- 2022-01-19 CN CN202311417788.1A patent/CN117472182A/zh active Pending
- 2022-01-19 CN CN202280015105.7A patent/CN117120956A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117472182A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220261066A1 (en) | Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments | |
AU2022200965B2 (en) | Avatar creation and editing | |
US11822778B2 (en) | User interfaces related to time | |
AU2018279037B2 (en) | Sharing user-configurable graphical constructs | |
US11257464B2 (en) | User interface for a flashlight mode on an electronic device | |
US10007418B2 (en) | Device, method, and graphical user interface for enabling generation of contact-intensity-dependent interface responses | |
EP3404526B1 (en) | User interface for a flashlight mode on an electronic device | |
AU2022220279B2 (en) | User interfaces related to time | |
CN109416599B (zh) | 用于处理触摸输入的设备和方法 | |
CN117120956A (zh) | 用于在增强现实环境中进行自动测量的系统、方法和图形用户界面 | |
WO2022173561A1 (en) | Systems, methods, and graphical user interfaces for automatic measurement in augmented reality environments | |
CN117501316A (zh) | 用于在增强现实环境中添加效果的系统、方法和图形用户界面 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |