CN107003728A - 用于可穿戴可视化设备的虚拟测量工具 - Google Patents

用于可穿戴可视化设备的虚拟测量工具 Download PDF

Info

Publication number
CN107003728A
CN107003728A CN201580063752.5A CN201580063752A CN107003728A CN 107003728 A CN107003728 A CN 107003728A CN 201580063752 A CN201580063752 A CN 201580063752A CN 107003728 A CN107003728 A CN 107003728A
Authority
CN
China
Prior art keywords
user
measurement instrument
virtual measurement
wear
visualization device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580063752.5A
Other languages
English (en)
Inventor
J·比维斯
N·法杰特
D·希尔
B·墨菲
J·保罗维奇
M·托马斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107003728A publication Critical patent/CN107003728A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种在可穿戴可视化设备中生成和显示虚拟测量工具的技术，所述可穿戴可视化设备诸如被配备以向用户提供增强现实和/或虚拟现实体验的头戴式组件、眼镜或护目镜。在某些实施例中，设备通过基于例如通过使用姿势识别、注视跟踪和/或语音识别做出的来自用户的输入确定位于用户所占据的三维空间中的不同位置处的多个点来生成工具。设备显示工具使得该工具在用户看来好像被覆盖在用户环境的实时、现实的视图上。

Description

用于可穿戴可视化设备的虚拟测量工具
发明领域
本发明的至少一个实施例涉及显示相关的技术，并更具体地涉及用于诸如增强现实或虚拟现实显示设备之类的可穿戴可视化设备的虚拟测量工具。
背景
数千年来，人类发明并依赖各种类型的测量工具以量化并更好地理解他们的环境。例如，为了测量相对较短的空间距离，标尺已经被依赖了几个世纪。卷尺是尺子的现代改编版，激光标尺和其他有源测量工具的发明更是紧随其后。
然而，一般人所负担得起的诸如传统标尺、卷尺、以及激光标尺之类的简单的空间测量工具都有某些缺点。例如，它们缺少执行诸如面积和体积测量之类的更复杂的测量的能力。此外，在许多情况下，某人可能希望在一位置处测量对象，并确定该对象是否适合于另一位置。例如，某人可能想为自己家购买一件新家具。通常在这种情况下，此人将测量他家中的可用空间并然后去家具店并测量感兴趣的那些家具以确定它们是否将适合于该空间(反之亦然)。在这种情况下，该人需要要么记住，要么写下可用空间的尺寸(或家具项目)，而这是不方便的。
概述
本文所介绍的技术包括在可穿戴可视化设备中生成和显示虚拟测量工具(在下文的描述中也被简称为“工具”)的技术，所述可穿戴可视化设备诸如被配备以向用户提供增强现实和/或虚拟现实(“AR/VR”)体验的头戴式组件、眼镜或护目镜。在某些实施例中，设备基于例如通过使用姿势识别、注视跟踪、语音识别或其某些组合所做出的来自用户的输入通过确定多个点来生成工具，每个点处在用户所占据的三维(3D)空间(环境)(例如，房间)中的不同位置处。设备显示工具以使该工具在用户看来好像被覆盖在用户环境的实时、现实世界的视图上。
在各种实施例中，在用户看来该工具可作为全息标尺或类似的测量工具。被用于定义该工具的点可被锚定到3D空间中的不同点，使得即使用户移动穿过该3D空间，该工具在该用户看来保持在空间中的固定位置和定向处。至少一个点可被锚定到物理对象上的对应点。例如，通过姿势识别、注视跟踪和/或语音识别，用户还可在六个自由度中的任何一个中移动工具(例如，沿任意三个正交轴平移或绕任意三个正交轴旋转)，并且可指定或调整工具的大小、形状、单位以及其他特点。
在某些情况下，工具可基本上仅显示为在空间中的两个用户指定点之间的线或非常薄的矩形。然而，在其他情况下，工具可采取以下形式：在三个或更多个用户指定点处具有顶点的二维(2D)多边形、或在四个或更多个用户指定点处具有顶点的3D容体。在这些实施例的任何一个中，向用户显示的工具可包括具有数值和单位的标尺。附加地，设备可自动地计算并向用户显示任何两个确定点之间的长度值、任何三个或更多个确定点之间的面积值、或者任何四个或更多个确定点之间的体积值。此外，在某些实施例中，该设备允许用户将工具的状态(包括任何对应的测量值和设置)保存在存储器中，并在不同位置处重新加载/重新显示该工具的状态。
该设备可包括深度相机或其他类似的传感器以测量该设备到用户所占据的3D空间(例如，房间)中的对象的距离。基于该距离信息，该设备可生成该3D空间中各表面的3D网格模型，并可使用3D网格模型来确定多个确定点的空间坐标。多个确定点中的一个或多个可在空间上与3D空间中的一个或多个对象相关联。
根据附图和详细描述，该技术的其他方面将显而易见。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图简述
在附图中的各图中作为示例而非限制解说了本发明的一个或多个实施例，其中相同的标记指示相似的元素。
图1例示出了AR/VR头戴式组件的示例。
图2是AR/VR头戴式组件的某些组件的高级框图。
图3A至3M示出了透过AR/VR头戴式组件的用户的视图的各种示例。
图4例示出了头戴式组件可结合虚拟测量工具执行的过程的示例。
图5更详细地例示出了提供虚拟测量工具的过程的示例。
图6更详细地例示出了根据示例情景生成并显示虚拟测量工具的过程。
详细描述
在该描述中，对“一实施例”、“一个实施例”等的引用意味着描述的特定特征、功能、结构或特性被包括在本文中引入的技术的至少一个实施例中。这样的短语在本说明书中的出现不一定全部涉及同一实施例。另一方面，所涉及的各实施例也不一定是相互排斥的。
本文介绍的技术包括可穿戴可视化设备，其生成并显示诸如全息标尺之类的虚拟(例如，全息)测量工具(“工具”)。可视化设备可以是例如被配备以向用户提供AR/VR体验的头戴式组件、眼镜或护目镜。工具使得设备的用户(例如，穿戴者)能够容易地测量与其附近的对象或空间相关联的距离、面积和体积。设备使得用户能够用例如姿势、眼睛注视、或语音或者其任何组合来容易地使用和操纵工具。用户可将工具定制成任何他需要的长度、大小、或形状。附加地，工具的状态可被保存在存储器中，并在不同环境中被重新加载/重新显示。
图1示出了根据本文介绍的技术可提供虚拟测量工具的AR/VR头戴式组件的示例。但是注意，本文介绍的技术可基本上被实现在任何类型的可视化设备中，所述可视化设备允许将机器生成的图像覆盖(叠加)在用户环境的实时、现实世界的视图上。所例示的头戴式组件1包括头带2，可通过该头带2将头戴式组件1可移除地安装在用户的头上。头戴式组件1可简单地通过头带2的刚度和/或通过图1中未示出的紧固机制来被保持在适当位置。头带2附接有一个或多个透明或半透明的透镜3，该透镜包括一个或多个透明或半透明的AR/VR显示设备4，每个显示设备可覆盖用户对他环境的单眼或双眼视图的图像上。AR/VR显示设备4的细节不与本文介绍的技术密切相关；能够在用户环境的实时、现实世界的视图上覆盖机器生成的图像的显示设备是本领域已知的，并且具有此类能力的任何已知的或方便的机制可被使用。
头戴式组件1进一步包括：用于输入来自用户的语音的麦克风5(例如，用于识别语音命令)；用于向用户输出声音的一个或多个音频扬声器6；用于跟踪用户头部在现实世界空间中的位置和定向的一个或多个眼睛跟踪相机7；由眼睛追踪相机7使用的一个或多个照明源8；用于检测和测量距附近表面的距离的一个或多个深度相机9；用于捕获用户环境的标准视频和/或确定用户在该环境中的位置的一个或多个面向外瞄准的可见光谱相机10；以及用于控制上述元件中的至少一些并执行相关联的数据处理功能的电路11。电路11可包括例如一个或多个处理器和一个或多个存储器。注意，在其他实施例中，上述组件可位于头戴式组件1上的不同位置处。附加地，一些实施例可省略一些上述组件和/或可包括上文未提及的附加组件。
图2是根据本文所介绍的技术的一些实施例的AR/VR头戴式组件20的某些组件的高级框图。图2中的头戴式组件20和各组件可代表图2中的头戴式组件1。在图2中，头戴式组件20的功能部件包括以下中的每一者的一个或多个实例：处理器21、存储器22、透明或半透明AR/VR显示设备23、音频扬声器24、深度相机25、眼睛跟踪相机26、麦克风27、以及通信设备28，并全部通过互连29被(直接地或间接地)耦合在一起。互连29可以是或可以包括一个或多个导电迹线、总线、点到点连接、控制器、适配器、无线链路和/或其他常规连接设备和/或媒体，其中至少一些可彼此独立地操作。
处理器21单独地和/或共同地控制头戴式组件20的整体操作并执行各种数据处理功能。附加地，处理器21可提供用于生成和显示上述虚拟测量工具的计算和数据处理功能中的至少一些。例如，每个处理器21可以是或可以包括一个或多个通用可编程微处理器、数字信号处理器(DSP)、移动应用处理器、微控制器、专用集成电路(ASIC)、可编程门阵列(PGA)等，或此类设备的组合。
将处理器31配置成执行本文介绍的技术方面的数据和指令(代码)30可被存储在一个或多个存储器22中。每个存储器22可以是或可以包括一个或多个物理存储设备，其可以是以下形式：随机存取存储器(RAM)、只读存储器(ROM)(其可以是可擦写并可编程的)、闪存、微型硬盘驱动器、或其他合适类型的存储设备、或这样的设备的组合。
一个或多个通信设备28使得头戴式组件20能够从分开的外部处理系统(诸如个人计算机或游戏控制台)接收数据和/或命令，并向该分开的外部处理系统发送数据和/或命令。例如，每个通信设备28可以是或可以包括通用串行总线(USB)适配器、Wi-Fi收发器、蓝牙或蓝牙低能量(BLE)收发器、以太网适配器、电缆调制解调器、DSL调制解调器、蜂窝收发器(例如，3G、LTE/4G或5G)、基带处理器等，或其组合。
例如，每个深度相机25可应用飞行时间原理来确定距附近对象的距离。由深度相机25获取的距离信息被用于(例如，被处理器21)构建用户环境中各表面的3D网格模型。例如，每个眼睛跟踪相机26可以是近红外相机，该近红外相机基于来自瞳孔和/或角膜闪光的由头戴式组件上的一个或多个近IR源(诸如图1中的照明源7)发射的近红外光的镜面反射来检测注视方向。为了能够检测到此类反射，头戴式组件的透镜(例如，图1中的透镜3)的内表面可涂覆有反射IR光但对可见光透明的物质；此类物质是本领域已知的。此方法允许来自IR源的照明从透镜的内表面反弹到用户的眼睛，其中它被反射回眼睛跟踪相机(可能再次经由透镜的内表面)。
注意，上述组件中的任何一种或全部可在它们的上述功能方面完全自包；然而，在一些实施例中，一个或多个处理器21提供与其他组件相关联的处理功能中的至少一些。例如，与深度相机25相关联的用于深度检测的数据处理中的至少一些可由处理器21执行。类似地，与注视跟踪相机26相关联的用于注视跟踪的数据处理中的至少一些可由处理器21执行。类似地，支持AR/VR显示器23的图像处理中的至少一些可由处理器21执行；等等。
现在将参考图3A至3H描述AR/VR头戴式组件可如何提供虚拟测量工具的示例。图3A至3H示出了透过AR/VR头戴式组件(例如，透过图1中的透镜3和显示设备4)的用户视图的各种示例。具体地，图3A示出了当用户穿戴头戴式组件站在他家的房间中时，该头戴式组件的用户可能具有的视图的中心部分(由于页面大小限制，外围视野在图中被截除)。例如，用户可看到位于咖啡桌22周围的沙发31和椅子32。头戴式组件可将一个或多个全息图标34或其他用户界面元件显示在用户的视野中，以允许用户能够使用头戴式组件的各种功能。例如，用户界面元素中的一个可以是用于选择/启动虚拟测量工具的操作的图标35(或其他等效元素)。
在头戴式组件可操作的情况下，它使用其深度相机构建用户的附近(例如，几米内)的所有表面或至少用户视野内的所有邻近的表面的3D网格模型，该3D网格模型包括表面距用户(即，距头戴式组件)的距离。通过使用深度检测(例如，飞行时间)来生成邻近表面的3D网格模型的技术在本领域中是已知的，而不需要在本文中被描述。因此，图3A的示例中的3D网格模型将至少对以下各项进行建模：沙发31、椅子32和咖啡桌33的所有可见表面，以及房间的墙、地板和天花板、窗户，以及诸如安装在墙上的窗帘、艺术品(未显示)之类的潜在的甚至更小的特征，等等。3D网格模型可被存储在头戴式组件上的存储器中。通过使用3D网格模型和来自视觉跟踪系统(例如，相机10)的图像数据，头戴式组件中的电路(例如，处理器21)可随时确定房间内用户的精确位置。3D网格模型可在频繁的基础上(诸如每秒几次)被自动更新。
现在假设用户想要用新的咖啡桌替换咖啡桌33，但是希望用类似大小的咖啡桌替换它并保持在房间的相同位置处。因此，用户可决定使用该工具来测量咖啡桌33的尺寸。为了这么做，用户首先输入选择或初始化工具的命令。此命令与此描述中提及的所有其他用户命令一样，除非另有说明，否则可是例如手部姿势、口述命令、或用户的基于注视的动作(例如，用户将他的目光集中在所显示的全息图标上的动作)，或这些类型的输入的组合。
在此示例中，在用户选择工具之后，用户向头戴式组件提供输入以指定两个点37，在此示例中点27是虚拟测量工具的用户初始期望的端点。在其他实施例中，该工具可最初被显示在相对于用户的空间中的预定默认位置和定向处。在此示例情景中，点37对应于咖啡桌33的上表面的分开的角。例如，用户可通过用指向咖啡桌的每个角的手指执行“轻击”姿势，或通过指向每个角并说出诸如“放置点”之类的适当的命令来指定每个点37。通过将用户的输入与房间的已经创建的3D网格模型相关联，头戴式组件中的处理器可确定用户旨在标识的最可能的3D空间坐标。但是注意，在此上下文中的点37不一定必须与物理对象的角重合。例如，用户可将工具的端点37指定为在用户附近的任何(被头戴式组件识别的)表面上，或甚至悬浮在空中。如果用户的输入看起来像指定物理对象上的点(如本示例所示)，则处理器会将该点与该对象相关联并将该点锚定于该对象。自动将端点定位于物理对象上的一点并将该端点锚定于物理对象上的该点的过程被称为“咬合(snap)”。咬合特征与在现实世界中的磁性吸引类似，因为虚拟标尺38将看起来像是“粘贴”到物理对象，直到用户通过一些输入(例如，注视、语音或姿势)清楚地指示解粘贴它的意图。
在本示例中，一旦用户已经指定了两个点37，则头戴式组件显示连接这两个点37的全息(虚拟)线38，即虚拟标尺。因此，在该示例中，线38沿着咖啡桌33的上表面中的一个较长的边缘延伸。线38可用指示单位(诸如英尺和英寸)的码线(hashmark)和/或数字，和/或其分数来注释。
当虚拟标尺38被锚定到对象时(如本示例所示)，头戴式组件可默认地调整其显示，使得即使用户在房间中移动，虚拟标尺在用户看来以相同的定向保持固定于该对象，除非用户提供输入以修改该功能。用户可选择将虚拟标尺38从对象解锚并使虚拟标尺在空间中移动，如图3C和3D所示。例如，在图3C中，用户已将虚拟标尺38垂直于咖啡桌33抬离(平移)。在图3D中，用户绕垂直轴旋转虚拟标尺38。用户可沿着三个正交坐标轴(例如，x、y和z)中的任何一个平移地移动虚拟标尺38，并还可绕三个正交轴中的任何一个旋转标尺。同样，这可通过任何合适的命令来实现，诸如口述命令、姿势、以及用户注视的改变，或其组合。
替代于最初将虚拟标尺38锚定到对象，用户可替代地实例化虚拟标尺38，使得虚拟标尺最初在空间中悬浮，并然后(可选地)使其咬合于物理对象。虚拟标尺28可被咬合于在本地环境的3D网格中表示的任何边缘或表面。头戴式组件可基于各种输入(诸如口述命令、姿势、或用户的注视集中在对象上，或其组合)中的任何一种来推断用户的咬合意图。该确定/推断也可基于物理对象距用户接近程度和/或该对象在用户视野中的中心程度。
通过允许用户指定三个或更多个相关点而不是仅仅两个端点，诸如本文所描述的虚拟测量工具也可具有(2D)多边形的形式。在这种情况下，除了多边形的每边的长度之外，头戴式组件可自动地计算并向用户显示该多边形的面积值。例如，现在参考图3E，用户可能想要知道咖啡桌33占据多少面积；因此，用户可将工具定义为与咖啡桌33的上表面对应的矩形40的形式。尽管未在图3E中示出，但是与线性实施例一样，工具的多边形实施例的显示也可包括单位和数值。头戴式组件还可自动计算并显示此面积(例如，在本示例中为“8ft2(平方英尺)”)。在一些情况下，如上(图3B)所述，当定义初始端点时，用户可初始指定所有三个或更多个点；替换地，用户可初始地将工具定义为仅两点之间的线(如上所述)，并然后随后添加一个或多个附加点以将工具扩展成多边形或3D容体。就此而言，头戴式组件可使用各种技术中的任何一种来推断用户的意图。例如，如果用户最初在相对接近的时间内指定三个或更多个点，或者全都在同一物理对象上，则可推断用户希望将该工具定义为多边形。如果用户最初将工具定义为线，则用户可例如通过命令(例如，说“添加点”)随后添加一个或多个点以将其转换为多边形，或者头戴式组件可推断用户意图以便基于用户行为来添加点。如在线性测量工具(例如，虚拟标尺38)的示例中，用户可平移地和旋转地移动多边形工具。
以类似的方式，工具还可通过允许用户指定四个或更多个相关点来具有3D对象的形式。在这样的实例中，头戴式组件可自动计算并向用户显示该工具的体积值、以及该对象的每边的长度和任何表面的面积。例如，现在参考图3F，用户可将工具定义为表示咖啡桌的外空间“包络”的矩形箱50。尽管未在图3E中示出，但是与线性实施例一样，工具的多边形实施例的显示也可包括单位和数值。如图所示，头戴式组件还可自动计算并显示工具(箱50)的体积(例如，在本示例中为“8ft3(立方英尺)”)。如在线性和2D虚拟测量工具的示例中，用户还可平移地和旋转地移动3D工具。
在某些情况下，头戴式组件允许用户将工具的当前状态(包括任何对应的测量值和设置)保存在存储器中，并在不同位置处重新加载/重新显示该工具的状态。例如，在本示例中，用户可能希望将工具以其当前形式保存，并在另一位置(诸如，在家具店)处重新显示该工具。因此，如图3G所例示的，用户可输入适当的命令(例如，通过说“保存”或作出适当的手部姿势来选择对应的显示图标34)。之后，如图3H所例示的，当用户访问家具店时，用户可通过适当的命令使头戴式组件从存储器加载工具并重新显示该工具(例如，通过说“加载”或作出适当的手部姿势来选择对应的显示图标34)。用户可调整工具的位置和定向以符合商店中的物理对象(例如，新的咖啡桌)的位置和定向，以使用户能够测量该对象。
考虑了虚拟测量工具的各种其他使用情景。例如，头戴式组件可使用户能够按序指定三个或更多个端点，以及可自动计算并显示由这三个或更多个端点定义的段的长度之和。这种使用场景的示例在图3I中被示出，其中虚拟标尺58由三个端点63定义的两个连接的线性段61组成，其中每段的长度和两个段的长度之和被示出。此外，如图3J所例示的，通过使用头戴式组件的表面识别能力，用户可通过随时间(或基于距离阈值)生成多个端点来绕一个或多个表面“封包”虚拟标尺59，其中头戴式组件可自动计算并显示每段的长度和各段的长度之和。
附加地，虚拟测量工具不必被实例化为直线。例如，如图3K所例示的，用户可将虚拟标尺70定义为弯曲/不规则线(例如，通过使用手部姿势)，其中头戴式组件仍可计算虚拟标尺的总长度(例如，通过将其分成围绕一个或多个对应中心点的一个或多个半径，并然后计算每个半径的长度)。不管工具的形式是线性的段或是弯曲/不规则的段(或其组合)，用户可将其端点“咬合”在一起形成诸如图3L中的形状72之类的封闭的2D形状。在这种情况下，头戴式组件可自动计算并显示由新定义的形状封闭的面积。此外，如图3M所示，用户可通过输入适当的命令根据任何2D形状来创建3D形状(诸如容体74)，在这种情况下，头戴式组件还可自动计算并显示由3D形状封闭的总体积。
图4例示出了根据一些实施例的可由头戴式组件(例如，由处理器21)执行以用于提供虚拟测量工具的过程的示例。最初，在步骤401，头戴式组件通过基于来自用户的输入(诸如通过使用姿势识别、注视跟踪和/或语音识别)定义位于用户所占据的三维空间中的不同位置处的多个点来生成虚拟测量工具。然后，在步骤402，头戴式组件向用户显示虚拟测量工具，使得该工具在用户看来好像被覆盖在用户所占据的3D空间的实时、现实世界的视图上。
图5更详细地例示出了根据一些实施例的提供虚拟测量工具的过程的示例。当头戴式组件首次通电并初始化时，头戴式组件在步骤501使用它的深度传感器来测量头戴式组件到用户环境中的邻近表面的距离。在步骤502，头戴式组件然后基于所测得的距离生成那些表面的3D网格模型。用于生成3D网格模型表面的任何已知或方便的技术可在此步骤中被使用。在某个稍后时刻，并且不一定必须作为步骤502的结果，头戴式组件在步骤503接收选择虚拟测量工具的用户输入。头戴式组件然后在步骤504接收用于指定用户环境的空间中的两个或多个点的用户输入(例如，一个或多个姿势、口述命令和/或基于注视的命令)。在步骤505，头戴式组件通过(至少部分地)基于3D网格模型确定每个用户指定点的最可能的3D坐标来确定用户指定点。在步骤506，头戴式组件将确定点用作测量工具的端点或顶点来向用户显示该测量工具。
图6更详细地例示出了根据示例情景生成并显示工具的过程。在步骤601，头戴式组件接收指定空间中的两个或多个点的用户输入(例如，一个或多个姿势、口述命令和/或基于注视的命令)。在步骤602，头戴式组件基于3D网格模型确定每个点的最可能的3D坐标。在此示例中，此步骤进一步包括将各点中的至少一个与用户附近对象上的一点相关联，其可进一步包括锚定对象的该点。因此，如果用户移动穿过环境，则从用户的角度来看该点(其定义工具的端点或顶点)将保持固定到对象。
在所例示的示例情景中，如果用户仅指定了两个点(步骤603)，则头戴式组件在步骤606将测量工具定义并显示为连接这两个点的线(并且可选地，具有单位和数值的指示)。头戴式组件还可计算并向用户显示该线的长度。该过程随后前进至步骤604。在步骤604，如果用户已指定了三个或更多个点并已指示了(明确地或隐含地)执行2D测量(例如，面积测量)的期望，则在步骤608，头戴式组件将测量工具定义并显示为连接该三个或更多个点的多边形。在步骤609，头戴式组件还计算并显示多边形的面积，并然后前进至步骤604。在步骤604，如果用户已指定了四个或更多个点并已指示了(明确地或隐含地)执行3D测量(例如，体积测量)的期望，则在步骤610，头戴式组件将测量工具定义并显示为连接该四个或更多个点的3D容体。在步骤611，头戴式组件还计算并显示由工具封闭的体积。
在上述技术的变型中，虚拟测量工具可被在共享AR环境中协作的多个用户实例化和/或使用。例如，两个或更多个用户(每个用户都使用如上所述的可视化设备)，可一起测量共享的物理空间并可在现实世界中各自建立有助于整体测量和空间标记的点。在这样的实施例中，两个或更多个可视化设备可直接地或通过分开的处理设备(例如，计算机)彼此进行通信；或者，可视化设备可与协调所有可视化设备的测量和显示功能的所述分开的处理设备分开地进行通信。
因此，已经描述了用于在可穿戴AR/VR显示系统中使用的虚拟(全息)测量工具。
以上描述的机器实现的操作可由通过软件来编程/配置的可编程电路，或者完全由专用电路，或者由这样的形式的组合来实现。这样的专用电路(如果有的话)可采用例如一个或多个专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、片上系统(SOC)等的形式。
用于实现本文中引入的技术的软件可被储存在机器可读存储介质上，并可由一个或多个通用或专用可编程微处理器来执行。如本文中所使用的术语“机器可读介质”包括可存储机器(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任意设备等)可访问的形式的信息的任何机制。例如，机器可访问介质包括可记录/不可记录介质(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质、光学存储介质；闪存设备等)等。
某些实施例的示例
本文中引入的技术的某些实施例被概括在以下被编号的示例中：
1.一种方法，包括：被用户穿戴的可视化设备通过基于以下各项中的至少一者确定位于所述用户所占据的三维空间中的不同位置处的多个点生成虚拟测量工具：识别所述用户的至少一个姿势、跟踪所述用户的注视、或识别所述用户的语音；以及通过所述可视化设备将所述虚拟测量工具显示给所述用户，使得所述虚拟测量工具在所述用户看来好像被覆盖在所述用户所占据的所述三维空间的现实视图上。
2.如示例1所述的方法，其中生成所述虚拟测量工具包括将所述多个点锚定到所述三维空间中的相应不同点，使得所述用户移动穿过所述三维空间时，所述虚拟测量工具在所述用户看来保持在空间中的固定位置和定向处。
3.如示例1或示例2所述的方法，其中生成所述虚拟测量工具包括将所述多个点中的至少一个点在空间上相关联于所述用户所占据的所述三维空间中的物理对象上的对应点。
4.如示例1至3中任一项所述的方法，其中生成所述虚拟测量工具包括将所述虚拟测量工具的至少一部分生成为所述多个点中的两个点之间的线。
5.如示例1至4中任一项所述的方法，其中生成所述虚拟测量工具包括将所述虚拟测量工具生成为在所述多个点中的三个或更多个点处具有顶点的多边形。
6.如示例1至5中任一项所述的方法，其中生成所述虚拟测量工具包括将所述虚拟测量工具生成为在所述多个点中的四个或更多个点处具有顶点的三维容体。
7.如示例1至6中任一项所述的方法，其中显示所述虚拟测量工具包括在所述虚拟测量工具上或在所述虚拟测量工具附近显示测量标尺。
8.如示例1至7中任一项所述的方法，进一步包括：由所述可视化设备基于所述多个点来计算长度、面积或体积；以及由所述可视化设备向所述用户输出所述长度、面积或体积。
9.如示例1至8中任一项所述的方法，其中所述用户所占据的所述三维空间是第一三维空间，所述方法进一步包括：响应于第一用户命令将所述虚拟测量工具保存到存储器中；不继续由所述可视化设备显示所述虚拟测量工具；以及在所述用户重新定位到第二三维空间之后响应于第二用户命令，在所述用户占据所述第二三维空间时从所述存储器检索所述虚拟测量工具并将所述虚拟测量工具重新显示给所述用户，其中所述重新显示包括将所述虚拟测量工具在空间上相关联于所述第二三维空间中的对象。
10.如示例1至9中任一项所述的方法，进一步包括：使用深度传感器来测量所述可视化设备距所述用户所占据的所述三维空间中各对象的距离；以及基于所述测得的距离，生成所述用户所占据的所述三维空间中各表面的3D网格模型；以及基于至少一个用户输入，使用所述3D网格模型来确定所述多个点的空间坐标，其中使用所述3D网格模型以确定所述多个点的空间坐标包括确定将在空间上相关联于所述各对象中的一个对象的所述多个点中的至少一个点的位置。
11.如示例1至10中任一项所述的方法，进一步包括：通过以下各项中的至少一者来确定对所述虚拟测量工具的位置或定向的调整：识别所述用户的姿势、跟踪所述用户的注视、或识别所述用户的语音；以及基于所述调整来调整被显示给所述用户的所述虚拟线性测量工具的所述位置或定向。
12.一种方法，包括：在头戴式可视化设备上使用深度传感器来测量所述可视化设备距所述可视化设备的用户所占据的第一封闭空间中各对象的距离；基于所述测得的距离生成所述第一封闭空间中各表面的3D网格模型；所述可视化设备根据来自所述用户的至少一个输入通过确定位于所述第一封闭空间中的不同位置处的多个点生成虚拟测量工具，包括确定将在空间上相关联于所述各对象中的一个对象的所述多个点中的至少一个点的位置，所述至少一个输入包括以下各项中的至少一者：所述用户的姿势、所述用户的注视方向、或所述用户的语音；以及通过所述可视化设备将所述虚拟测量工具显示给所述用户，使得所述虚拟测量工具在所述用户看来好像被覆盖在所述第一封闭空间的现实视图上，其中所述显示包括在所述虚拟测量工具上或在所述虚拟测量工具附近显示测量标尺，其中生成所述虚拟测量工具包括将所述多个点锚定到所述第一封闭空间中的相应不同点，使得所述用户移动穿过所述第一封闭空间时，所述虚拟测量工具在所述用户看来保持在空间中的固定位置和定向处；通过以下各项中的至少一者来确定对所述虚拟测量工具的位置或定向的调整：识别所述用户的姿势、跟踪所述用户的注视、或识别所述用户的语音；以及基于所述调整来调整被显示给所述用户的所述虚拟线性测量工具的所述位置或定向。
13.如示例12所述的方法，其中生成所述虚拟测量工具包括将所述虚拟测量工具的至少一部分生成为所述多个点中的两个点之间的线。
14.如示例12或示例13所述的方法，其中生成所述虚拟测量工具包括以下各项中的至少一个：将所述虚拟测量工具的至少一部分生成为在所述多个点中的三个或更多个点处具有顶点的多边形；或着将所述虚拟测量工具的至少一部分生成为在所述多个点中的四个或更多个点处具有顶点的三维容体。
15.如示例12至14中任一项所述的方法，进一步包括：由所述可视化设备基于所述多个点来计算长度、面积或体积；以及由所述可视化设备向所述用户输出所述长度、面积或体积。
16.一种头戴式可视化设备，包括：头部配件，所述头部配件用于将所述头戴式可视化设备安装到用户的头部；至少部分透明的显示表面，所述至少部分透明的显示表面被耦合到所述头部配件，在所述至少部分透明的显示表面上将所生成的图像显示给所述用户；输入子系统，所述输入子系统用于接收来自所述用户的输入并被配置成执行姿势识别和注视检测；深度传感器，所述深度传感器用于确定所述用户的环境中各对象的位置；以及处理器，所述处理器被耦合到所述显示表面、所述输入子系统以及所述深度传感器，并被配置成：根据经由所述输入子系统接收的来自所述用户的至少一个输入，通过确定位于所述用户的所述环境中的不同位置处的多个点来生成虚拟测量工具，其中所述多个点中的至少一个点的所述位置被确定在空间上相关联于所述用户的所述环境中的所述各对象中的一个；以及导致所述显示表面向所述用户显示具有距离、面积或体积指示的所述虚拟测量工具，其中所述用户移动穿过所述环境时，所述虚拟测量工具在所述用户看来保持在空间中的固定位置和定向处。
17.如示例16所述的头戴式可视化设备，其中所述处理器被进一步配置成基于所述用户的姿势或所述用户的注视中的至少一者来确定对所述虚拟测量工具的位置或定向的调整，并基于所述调整来调整被显示给所述用户的所述虚拟线性测量工具的所述位置或定向。
18.如示例16或示例17所述的头戴式可视化设备，其中所述处理器被配置成将所述虚拟测量工具生成为在所述多个点中的三个或更多个点处具有顶点的多边形。
19.如示例16至18中任一项所述的头戴式可视化设备，其中所述处理器被配置成将所述虚拟测量工具生成为在所述多个点中的四个或更多个点处具有顶点的三维容体。
20.如示例16至19中任一项所述的头戴式可视化设备，进一步包括存储器，并且其中所述处理器被进一步被配置成：响应于第一用户输入将所述虚拟测量工具保存到所述存储器；不继续由所述显示表面显示所述虚拟测量工具；以及在所述用户重新定位到第二环境之后响应于第二用户输入，在所述用户占据所述第二环境时从所述存储器检索所述虚拟测量工具并导致所述显示表面将所述虚拟测量工具重新显示给所述用户，包括将所述虚拟测量工具在空间上相关联于所述第二环境中的对象。
21.一种装置，包括：用于通过基于以下各项中的至少一者确定位于所述用户所占据的三维空间中的不同位置处的多个点生成虚拟测量工具的装置：识别所述用户的至少一个姿势、跟踪所述用户的注视、或识别所述用户的语音；以及用于将所述虚拟测量工具显示给所述用户的装置，使得所述虚拟测量工具在所述用户看来好像被覆盖在所述用户所占据的所述三维空间的现实视图上。
22.如示例21所述的装置，其中用于生成所述虚拟测量工具的装置包括用于将所述多个点锚定到所述三维空间中的相应不同点的装置，使得所述用户移动穿过所述三维空间时，所述虚拟测量工具在所述用户看来保持在空间中的固定位置和定向处。
23.如示例21或示例22所述的装置，其中用于生成所述虚拟测量工具的装置包括用于将所述多个点中的至少一个点在空间上相关联于所述用户所占据的所述三维空间中的物理对象上的对应点的装置。
24.如示例21至23中任一项所述的装置，其中用于生成所述虚拟测量工具的装置包括用于将所述虚拟测量工具的至少一部分生成为所述多个点中的两个点之间的线的装置。
25.如示例21至24中任一项所述的装置，其中用于生成所述虚拟测量工具的装置包括用于将所述虚拟测量工具生成为在所述多个点中的三个或更多个点处具有顶点的多边形的装置。
26.如示例21至25中任一项所述的装置，其中用于生成所述虚拟测量工具的装置包括用于将所述虚拟测量工具生成为在所述多个点中的四个或更多个点处具有顶点的三维容体的装置。
27.如示例21至26中任一项所述的装置，其中用于显示所述虚拟测量工具的所述装置包括用于在所述虚拟测量工具上或在所述虚拟测量工具附近显示测量标尺的装置。
28.如示例21至27中任一项所述的装置，进一步包括：用于基于所述多个点来计算长度、面积或体积的装置；以及用于向所述用户输出所述长度、面积或体积的装置。
29.如示例21至28中任一项所述的装置，其中所述用户所占据的所述三维空间是第一三维空间，所述装置进一步包括：响应于第一用户命令用于将所述虚拟测量工具保存到存储器中的装置；不继续显示所述虚拟测量工具的装置；以及在所述用户重新定位到第二三维空间之后响应于第二用户命令，在所述用户占据所述第二三维空间时用于从所述存储器检索所述虚拟测量工具并将所述虚拟测量工具重新显示给所述用户的装置，其中所述重新显示包括将所述虚拟测量工具在空间上相关联于所述第二三维空间中的对象。
30.如示例21至29中任一项所述的装置，进一步包括：用于使用深度传感器来测量所述可视化设备距所述用户所占据的所述三维空间中各对象的距离的装置；以及基于所述测得的距离，用于生成所述用户所占据的所述三维空间中各表面的3D网格模型的装置；以及基于至少一个用户输入，用于使用所述3D网格模型来确定所述多个点的空间坐标的装置，其中用于使用所述3D网格模型以确定所述多个点的空间坐标的装置包括用于确定将在空间上相关联于所述各对象中的一个对象的所述多个点中的至少一个点的位置的装置。
31.如示例21至30中任一项所述的装置，进一步包括：用于通过以下各项中的至少一者来确定对所述虚拟测量工具的位置或定向的调整的装置：识别所述用户的姿势、跟踪所述用户的注视、或识别所述用户的语音；以及用于基于所述调整来调整被显示给所述用户的所述虚拟线性测量工具的所述位置或定向的装置。
以上所述的特征和功能中的任一者和全部可彼此组合，除了其可在以上被按其他方式被陈述或者任何这样的实施例可由于其功能或结构而不兼容的范畴以外，如对本领域的普通技术人员所显而易见的。除非与物理可能性相反，否则可预期(i)本文中描述的方法/步骤可按任何顺序和/或任何组合被执行，以及(ii)相应的实施例的组件可按任何方式被组合。
尽管用结构特征和/或动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例而公开的，并且其他等价特征和动作旨在处于权利要求书的范围内。

Claims (15)

1.一种方法，包括：
被用户穿戴的可视化设备通过基于以下各项中的至少一者确定位于所述用户所占据的三维空间中的不同位置处的多个点生成虚拟测量工具：识别所述用户的至少一个姿势、跟踪所述用户的注视、或识别所述用户的语音；以及
通过所述可视化设备将所述虚拟测量工具显示给所述用户，使得所述虚拟测量工具在所述用户看来好像被覆盖在所述用户所占据的所述三维空间的现实视图上。
2.如权利要求1所述的方法，其特征在于，生成所述虚拟测量工具包括将所述多个点锚定到所述三维空间中的相应不同点，使得所述用户移动穿过所述三维空间时，所述虚拟测量工具在所述用户看来保持在空间中的固定位置和定向处。
3.如权利要求1或权利要求2所述的方法，其特征在于，生成所述虚拟测量工具包括将所述多个点中的至少一个点在空间上相关联于所述用户所占据的所述三维空间中的物理对象上的对应点。
4.如权利要求1至3中任一项所述的方法，其特征在于，生成所述虚拟测量工具包括将所述虚拟测量工具的至少一部分生成为所述多个点中的两个点之间的线。
5.如权利要求1至4中任一项所述的方法，其特征在于，生成所述虚拟测量工具包括将所述虚拟测量工具生成为在所述多个点中的三个或更多个点处具有顶点的多边形。
6.如权利要求1至5中任一项所述的方法，其特征在于，生成所述虚拟测量工具包括将所述虚拟测量工具生成为在所述多个点中的四个或更多个点处具有顶点的三维容体。
7.如权利要求1至6中任一项所述的方法，其特征在于，进一步包括：
由所述可视化设备基于所述多个点计算长度、面积或体积；以及
由所述可视化设备将所述长度、面积或体积输出给所述用户。
8.如权利要求1至7中任一项所述的方法，其特征在于，所述用户所占据的所述三维空间是第一三维空间，所述方法进一步包括：
响应于第一用户命令将所述虚拟测量工具保存到存储器中；
不继续由所述可视化设备显示所述虚拟测量工具；以及
在所述用户重新定位到第二三维空间之后响应于第二用户命令，在所述用户占据所述第二三维空间时从所述存储器检索所述虚拟测量工具并将所述虚拟测量工具重新显示给所述用户，其中所述重新显示包括将所述虚拟测量工具在空间上相关联于所述第二三维空间中的对象。
9.如权利要求1至8中任一项所述的方法，其特征在于，进一步包括：
使用深度传感器来测量所述可视化设备距所述用户所占据的所述三维空间中各对象的距离；
基于所述测得的距离，生成所述用户所占据的所述三维空间中各表面的3D网格模型；以及
基于至少一个用户输入，使用所述3D网格模型来确定所述多个点的空间坐标，其中使用所述3D网格模型以确定所述多个点的空间坐标包括确定将在空间上相关联于所述各对象中的一个对象的所述多个点中的至少一个点的位置。
10.如权利要求1至9中任一项所述的方法，其特征在于，进一步包括：
通过以下各项中的至少一者来确定对所述虚拟测量工具的位置或定向的调整：识别所述用户的姿势、跟踪所述用户的注视、或识别所述用户的语音；以及基于所述调整来调整被显示给所述用户的所述虚拟线性测量工具的所述位置或定向。
11.一种头戴式可视化设备，包括：
头部配件，所述头部配件用于将所述头戴式可视化设备安装到用户的头部；
至少部分透明的显示表面，所述至少部分透明的显示表面被耦合到所述头部配件，在所述至少部分透明的显示表面上将所生成的图像显示给所述用户；
输入子系统，所述输入子系统用于接收来自所述用户的输入并被配置成执行姿势识别和注视检测；
深度传感器，所述深度传感器用于确定所述用户的环境中各对象的位置；以及
处理器，所述处理器被耦合到所述显示表面、所述输入子系统以及所述深度传感器，并被配置成：
根据经由所述输入子系统接收的来自所述用户的至少一个输入，通过确定位于所述用户的所述环境中的不同位置处的多个点来生成虚拟测量工具，其中所述多个点中的至少一个点的所述位置被确定在空间上相关联于所述用户的所述环境中的所述各对象中的一个；以及
导致所述显示表面向所述用户显示具有距离、面积或体积指示的所述虚拟测量工具，其中所述用户移动穿过所述环境时，所述虚拟测量工具在所述用户看来保持在空间中的固定位置和定向处。
12.如权利要求11所述的头戴式可视化设备，其特征在于，所述处理器被进一步配置成基于所述用户的姿势或所述用户的注视中的至少一者来确定对所述虚拟测量工具的位置或定向的调整，并基于所述调整来调整被显示给所述用户的所述虚拟线性测量工具的所述位置或定向。
13.如权利要求11或权利要求12所述的头戴式可视化设备，其特征在于，所述处理器被配置成将所述虚拟测量工具生成为在所述多个点中的三个或更多个点处具有顶点的多边形。
14.如权利要求11至13中任一项所述的头戴式可视化设备，其特征在于，所述处理器被配置成将所述虚拟测量工具生成为在所述多个点中的四个或更多个点处具有顶点的三维容体。
15.如权利要求11至14中任一项所述的头戴式可视化设备，其特征在于，进一步包括存储器，并且其中所述处理器被进一步被配置成：
响应于第一用户输入将所述虚拟测量工具保存到所述存储器；
不继续由所述显示表面显示所述虚拟测量工具；以及
在所述用户重新定位到第二环境之后响应于第二用户输入，在所述用户占据所述第二环境时从所述存储器检索所述虚拟测量工具并导致所述显示表面将所述虚拟测量工具重新显示给所述用户，包括将所述虚拟测量工具在空间上相关联于所述第二环境中的对象。
CN201580063752.5A 2014-11-25 2015-11-16 用于可穿戴可视化设备的虚拟测量工具 Pending CN107003728A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201414553668A 2014-11-25 2014-11-25
US14/553,668 2014-11-25
US14/610,999 US20160147408A1 (en) 2014-11-25 2015-01-30 Virtual measurement tool for a wearable visualization device
US14/610,999 2015-01-30
PCT/US2015/060777 WO2016085682A1 (en) 2014-11-25 2015-11-16 Virtual measurement tool for a wearable visualization device

Publications (1)

Publication Number Publication Date
CN107003728A true CN107003728A (zh) 2017-08-01

Family

ID=56010205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580063752.5A Pending CN107003728A (zh) 2014-11-25 2015-11-16 用于可穿戴可视化设备的虚拟测量工具

Country Status (6)

Country Link
US (1) US20160147408A1 (zh)
EP (1) EP3224697A1 (zh)
JP (1) JP2017536618A (zh)
KR (1) KR20170087501A (zh)
CN (1) CN107003728A (zh)
WO (1) WO2016085682A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506040A (zh) * 2017-08-29 2017-12-22 上海爱优威软件开发有限公司 一种空间路径规划方法及系统
CN107976183A (zh) * 2017-12-18 2018-05-01 北京师范大学珠海分校 一种空间数据测量方法及装置
CN108844505A (zh) * 2018-05-30 2018-11-20 链家网（北京）科技有限公司 测算房屋空间尺寸的方法和装置
CN108917703A (zh) * 2018-03-30 2018-11-30 京东方科技集团股份有限公司 距离测量方法及装置、智能设备
CN109084700A (zh) * 2018-06-29 2018-12-25 上海摩软通讯技术有限公司 物品的三维位置信息获取方法及系统
CN110162165A (zh) * 2018-02-15 2019-08-23 托比股份公司 用于校准可穿戴装置中的图像传感器的系统和方法
CN114923418A (zh) * 2021-02-12 2022-08-19 苹果公司 基于点选择的测量

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9715865B1 (en) * 2014-09-26 2017-07-25 Amazon Technologies, Inc. Forming a representation of an item with light
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10254939B2 (en) 2015-06-07 2019-04-09 Apple Inc. Device, method, and graphical user interface for providing and interacting with a virtual drawing aid
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
CN114327043A (zh) * 2016-02-02 2022-04-12 索尼公司 信息处理装置、信息处理方法和记录介质
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
WO2017201568A1 (en) 2016-05-23 2017-11-30 tagSpace Pty Ltd Media tags location-anchored digital media for augmented reality and virtual reality environments
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
CN109478769A (zh) * 2016-07-26 2019-03-15 三菱电机株式会社 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10444506B2 (en) 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
DE102017207995A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zum Anpassen eines virtuellen Objekts
CN107145237A (zh) * 2017-05-17 2017-09-08 上海森松压力容器有限公司 虚拟场景内的数据测量方法及装置
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10481599B2 (en) 2017-07-24 2019-11-19 Motorola Solutions, Inc. Methods and systems for controlling an object using a head-mounted display
KR20200028485A (ko) * 2017-09-08 2020-03-16 미쓰비시덴키 가부시키가이샤 측거 장치 및 측거 방법
US10621746B2 (en) * 2017-11-07 2020-04-14 Symbol Technologies, Llc Methods and apparatus for rapidly dimensioning an object
DE102017128588A1 (de) 2017-12-01 2019-06-06 Prüftechnik Dieter Busch AG System und verfahren zur erfassung und darstellung von messpunkten auf einer körperfläche
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US10832345B1 (en) 2018-02-08 2020-11-10 United Services Automobile Association (Usaa) Systems and methods for employing augmented reality in appraisal operations
US20190266793A1 (en) * 2018-02-23 2019-08-29 Lowe's Companies, Inc. Apparatus, systems, and methods for tagging building features in a 3d space
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
DK180640B1 (en) 2018-05-07 2021-11-09 Apple Inc Devices and methods of measurement using augmented reality
AU2019100486B4 (en) * 2018-05-07 2019-08-01 Apple Inc. Devices and methods for measuring using augmented reality
EP3901741B1 (en) * 2018-05-07 2024-02-21 Apple Inc. Devices and methods for measuring using augmented reality
CN109974581B (zh) * 2018-05-07 2021-07-13 苹果公司 使用增强现实进行测量的设备和方法
WO2019222113A1 (en) * 2018-05-15 2019-11-21 Thermo Fisher Scientific Inc. Collaborative virtual reality environment for training
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US20200089855A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Password Authentication by Eye Tracking in Virtual Reality System
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
WO2020072985A1 (en) * 2018-10-05 2020-04-09 Magic Leap, Inc. Rendering location specific virtual content in any location
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11062523B2 (en) * 2019-07-15 2021-07-13 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Creation authoring point tool utility to recreate equipment
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
JP7293057B2 (ja) * 2019-09-13 2023-06-19 株式会社東芝 放射線量分布表示システムおよび放射線量分布表示方法
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11227446B2 (en) * 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11030793B2 (en) 2019-09-29 2021-06-08 Snap Inc. Stylized image painting
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
WO2021118962A1 (en) 2019-12-09 2021-06-17 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
US11302074B2 (en) * 2020-01-31 2022-04-12 Sony Group Corporation Mobile device 3-dimensional modeling
US11080879B1 (en) * 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11562525B2 (en) 2020-02-13 2023-01-24 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
EP4103910A4 (en) 2020-02-13 2024-03-06 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH ACCURATE COMMON MAPS
CN111324957B (zh) * 2020-02-19 2022-03-11 湖南大学 基于弹性虚拟尺的钢轨垂向波磨提取方法
CA3110696A1 (en) * 2020-02-27 2021-08-27 Latham Pool Products, Inc. Augmented reality visualizer and measurement system for swimming pool components
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
WO2021235316A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US20220005273A1 (en) 2020-07-01 2022-01-06 Wacom Co., Ltd. Dynamic three-dimensional surface sketching
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11380059B2 (en) 2020-11-20 2022-07-05 Procore Technologies, Inc. Computer system and methods for optimizing distance calculation
CN112945136B (zh) * 2021-01-29 2022-07-01 中煤科工集团重庆研究院有限公司 用于边坡风险监测的监测点位遴选方法及系统
US11417054B1 (en) * 2021-03-17 2022-08-16 Facebook Technologies, Llc. Mixed reality objects in virtual reality environments
US20220319059A1 (en) * 2021-03-31 2022-10-06 Snap Inc User-defined contextual spaces
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US12010454B2 (en) * 2022-02-07 2024-06-11 Airbnb, Inc. Accessibility measurement system
US20230418430A1 (en) * 2022-06-24 2023-12-28 Lowe's Companies, Inc. Simulated environment for presenting virtual objects and virtual resets

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841011A (zh) * 2005-03-29 2006-10-04 株式会社米姿托约 手持量测成像系统和方法
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
CN103512548A (zh) * 2012-06-18 2014-01-15 佳能株式会社 距离测量装置及距离测量方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059599A1 (en) * 2011-10-19 2013-04-25 The Regents Of The University Of California Image-based measurement tools
US10412594B2 (en) * 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841011A (zh) * 2005-03-29 2006-10-04 株式会社米姿托约 手持量测成像系统和方法
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
CN103512548A (zh) * 2012-06-18 2014-01-15 佳能株式会社 距离测量装置及距离测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAHUL SWAMINATHAN等: "Happy measure：Augmented Reality for Mobile Virual Furnishing", 《INTERNATIONAL JOURNAL OF MOBILE HUMAM COMPUTER INTERACTION(IJMHCI)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506040A (zh) * 2017-08-29 2017-12-22 上海爱优威软件开发有限公司 一种空间路径规划方法及系统
CN107976183A (zh) * 2017-12-18 2018-05-01 北京师范大学珠海分校 一种空间数据测量方法及装置
CN110162165A (zh) * 2018-02-15 2019-08-23 托比股份公司 用于校准可穿戴装置中的图像传感器的系统和方法
US11917126B2 (en) 2018-02-15 2024-02-27 Tobii Ab Systems and methods for eye tracking in virtual reality and augmented reality applications
CN108917703A (zh) * 2018-03-30 2018-11-30 京东方科技集团股份有限公司 距离测量方法及装置、智能设备
CN108844505A (zh) * 2018-05-30 2018-11-20 链家网（北京）科技有限公司 测算房屋空间尺寸的方法和装置
CN109084700A (zh) * 2018-06-29 2018-12-25 上海摩软通讯技术有限公司 物品的三维位置信息获取方法及系统
CN114923418A (zh) * 2021-02-12 2022-08-19 苹果公司 基于点选择的测量

Also Published As

Publication number Publication date
WO2016085682A1 (en) 2016-06-02
KR20170087501A (ko) 2017-07-28
US20160147408A1 (en) 2016-05-26
JP2017536618A (ja) 2017-12-07
EP3224697A1 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
CN107003728A (zh) 用于可穿戴可视化设备的虚拟测量工具
KR102222974B1 (ko) 홀로그램 스냅 그리드
US11393154B2 (en) Hair rendering method, device, electronic apparatus, and storage medium
US20180046874A1 (en) System and method for marker based tracking
KR102227229B1 (ko) 추적 및 맵핑 오차에 강한 대규모 표면 재구성 기법
US9778814B2 (en) Assisted object placement in a three-dimensional visualization system
US20150007114A1 (en) Web-like hierarchical menu display configuration for a near-eye display
US11032537B2 (en) Movable display for viewing and interacting with computer generated environments
US20150123967A1 (en) Generating an avatar from real time image data
CN108604118A (zh) 在增强/虚拟现实环境中的智能对象大小调整和布置
CN206961066U (zh) 一种虚拟现实交互设备
EP3721321B1 (en) Augmented reality measurement and schematic generating system
US11156838B2 (en) Mixed reality measurement with peripheral tool
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
EP3195270A1 (en) Using free-form deformations in surface reconstruction
JP2022539160A (ja) 平面抽出を使用した単純環境ソルバ
CN105683868B (zh) 用于空间交互中的额外模态的面部跟踪
US20180284914A1 (en) Physical-surface touch control in virtual environment
CN115917474A (zh) 在三维环境中呈现化身
CN210109742U (zh) 头戴式虚实交互装置
CN110874132A (zh) 头戴式虚实交互装置和虚实交互方法
CN109727310A (zh) 一种基于3d渲染的装修指导图生成系统及方法
US20190043265A1 (en) Methods and apparatus for interacting with a distant object within a virtual reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801