CN109313821B - 三维对象扫描反馈 - Google Patents

三维对象扫描反馈 Download PDF

Info

Publication number
CN109313821B
CN109313821B CN201780037911.3A CN201780037911A CN109313821B CN 109313821 B CN109313821 B CN 109313821B CN 201780037911 A CN201780037911 A CN 201780037911A CN 109313821 B CN109313821 B CN 109313821B
Authority
CN
China
Prior art keywords
scanning device
dimensional object
dimensional
model
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780037911.3A
Other languages
English (en)
Other versions
CN109313821A (zh
Inventor
J·科勒
S·C·赖特
J·B·斯科特
J·考皮可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109313821A publication Critical patent/CN109313821A/zh
Application granted granted Critical
Publication of CN109313821B publication Critical patent/CN109313821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/4202—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model
    • G05B19/4207—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine preparation of the programme medium using a drawing, a model in which a model is traced or scanned and corresponding data recorded
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了提供关于三维对象(102)的扫描的反馈的示例。在一个示例中，计算机建模三维对象(102)的方法包括当扫描设备(106)的三维姿势改变时，计算机跟踪扫描设备(106)相对于三维对象(102)的三维姿势，以从不同有利位置测量三维对象(102)的不同轮廓，以及基于从扫描设备(106)接收的测量来评估来自不同有利位置中的一个或多个不同有利位置的轮廓测量的充分性。该示例方法还包括经由触觉输出设备(116)来提供触觉反馈，该触觉反馈指示对应于扫描设备的当前三维姿势的轮廓测量的充分性。

Description

三维对象扫描反馈
背景技术
对象可以从多个视角被成像或以其他方式被扫描，以便确定对象的物理特征。可以使用来自扫描对象的数据来生成对象的三维模型。三维模型的质量可以取决于对象的已经被扫描的量和针对对象而被获取的扫描数据的质量。
发明内容
描述了提供关于三维对象的扫描的反馈的示例。在一个示例中，一种计算机建模三维对象的方法包括：当扫描设备的三维姿势改变时，计算机跟踪扫描设备相对于三维对象的三维姿势，以从不同有利位置测量三维对象的不同轮廓，以及基于从扫描设备接收的测量来评估来自不同有利位置中的一个或多个不同有利位置的轮廓测量的充分性。该示例方法还包括经由触觉输出设备来提供触觉反馈，该触觉反馈指示对应于扫描设备的当前三维姿势的轮廓测量的充分性。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中被进一步描述。本发明内容无意标识所要求保护的主题的关键特征或必要特征，也无意被用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
附图说明
图1示出了示例对象扫描环境。
图2示出了扫描三维对象并且提供关于扫描的反馈的示例方法的流程图。
图3示出了对象扫描反馈系统的元件之间的示例通信。
图4示出了包括如通过头戴式显示器(HMD)设备而被查看的扫描的三维对象的偏移模型的示例增强。
图5示出了包括如通过HMD而被查看的扫描的三维对象的重叠模型的示例增强。
图6示出了包括如通过HMD而被查看的扫描仪的视野的指示的示例增强。
图7示意性地示出了示例计算系统。
具体实施方式
三维对象可以针对多种目的(诸如促进对象的真实世界和/或虚拟复制)而被建模。例如，对象可以被建模，从而使得可以制造对象的副本。作为另一示例，对象可以被建模，从而使得可以在被显示在虚拟或增强显示设备上的虚拟或增强环境中表示对象。在增强场景中，对象的表面可以被建模，以便允许虚拟对象与对象交互，就像他们在真实世界中一样。附加地或备选地，对象的表面可以被建模，以便允许表面以无缝方式被覆盖有虚拟纹理或对象。
为了对三维对象建模，扫描设备可以从多个有利位置检测对象的轮廓特征。例如，扫描设备可以扫过(例如，投射扫描光/音频)对象的表面上，以便从表面捕获轮廓测量。当测量被获取时，可以基于轮廓测量来生成模型，从而使得当已经充分地扫描了对象的所有表面时模型完成。为了保持用户了解扫描的进度(例如，实时)，本公开提供了用于提供关于扫描的状态的反馈的示例。例如，反馈可以指示扫描的进度(例如，经由在生成虚拟化时的对象的虚拟化的显示和/或应当被扫描的区域的指示或关于用户下一步应当做什么的以进一步推进扫描的其他功能可见性(affordance))和/或用于帮助用户完成扫描的反馈(例如，扫描仪的视野指示、扫描仪的速度、扫描仪距对象的距离和/或扫描操作的其他参数)。以这种方式，可以向用户通知关于向对象的充分扫描的进度。
图1示出了用于扫描物理三维对象102的示例扫描环境100。如图所示，用户104可以操作扫描设备106以测量对象102的轮廓。尽管被示出为手持扫描设备，但在附加的或备选的示例中，扫描组件可以被整合到另一设备(诸如，头戴式显示器(HMD)设备108)中。扫描设备可以输出光和/或音频并且接收反射的光和/或音频以便测量对象102的轮廓。通过围绕对象102移动扫描设备106，可以从相对于对象102的不同有利位置进行测量以便评估对象的每个表面以用于建模。
扫描设备106可选地可以包括用于与计算设备110通信的通信子系统。计算设备110可以包括3D建模器112，其被配置为使用从不同有利位置获取的数据来生成物理对象的3D模型以测量物理对象102的不同视角。在一些实现中，扫描设备106和计算设备110可以被实现为彼此协作的分离的设备(例如，手持扫描棒和膝上型计算机)。在其他实现中，计算设备110和扫描设备可以被集成到公共设备(例如，具有扫描传感器的移动电话或具有扫描传感器的HMD)中。
无论在相同或不同的设备中，扫描设备106都可以将扫描数据的至少一部分发送给3D建模器112。3D建模器112可以基于任何适当的信息来标识扫描数据与物理对象的给定视角或有利位置的关系。例如，用户104、扫描设备106和/或用于扫描数据的元数据可以提供与物理对象102有关的信息、扫描设备的相对和/或绝对姿势和/或用于生成物理对象的3D模型的其他信息。此外，3D建模器可以包括用于确定用于生成物理对象的3D模型的信息中的至少一些信息的算法。例如，3D建模器可以将从扫描设备106和/或另一定位设备(例如，对扫描设备106和/或对象102成像的相机)接收的位置信息与对象102的已知位置和/或与对象102的其他测量相关。以这种方式，在3D建模器处从扫描设备接收的测量可以归因于由3D建模器生成的3D模型114的适当部分。
计算设备110还可以包括反馈模块116以用于提供关于扫描操作的反馈。反馈模块116可以生成和/或传输指令以控制设备来提供反馈。例如，反馈模块116可以生成和/或传输指令给扫描设备106以控制扫描设备的触觉致动器来输出触觉反馈。作为另一示例，反馈模块116可以生成和/或传输指令给HMD设备108以显示3D模型和/或与扫描操作有关的另一指示符。
图2是执行扫描操作并且提供与扫描操作有关的反馈的方法200的流程图。方法200可以由计算设备和/或系统(诸如，图1的计算设备110)执行。在202处，该方法包括确定扫描设备的三维姿势。如在204处所示，可以通过从扫描设备的位置传感器接收姿势信息来确定扫描设备的三维姿势。例如，姿势信息可以指示扫描设备在三维空间中的位置和/或扫描设备的定向。扫描设备可以包括IMU，诸如陀螺仪、加速度计、磁力计、相机和/或能够以六个自由度来确定上述姿势信息和/或跟踪扫描设备的移动的另一传感器。
来自扫描设备的姿势信息可以被映射到被与对象扫描系统的另一组件共享的坐标空间。例如，如在206处所示，扫描设备可以由远程成像设备成像。成像设备可以被并入在计算设备中和/或与计算设备通信。例如，成像设备可以被并入在HMD(诸如图1的HMD设备108)中。该成像装置可以被用于针对扫描设备提供相对于正被建模的对象的附加位置信息。因此，将姿势信息从扫描设备映射到成像设备的坐标空间可以将扫描设备的姿势与相对于对象的相关联的有利位置相关。在附加的或备选的示例中，姿势信息可以被映射到与显示设备相关联的坐标空间。以这种方式，并且如下面更详细地讨论的，通过利用共享坐标空间，可以相对于扫描设备的姿势来定位显示的数据。
简要地转到图3，示例扫描系统300的框图被示出，其示出了如图2的方法200中描述的扫描系统的组件之间的通信中的一些通信。例如，图3示出了包括位置传感器304的扫描设备302。包括图像传感器308的计算设备306也被示出。图像传感器308可以输出成像光和/或以其他方式捕获扫描设备302和/或真实世界对象310(例如，作为扫描设备的扫描的目标的对象，如下所述)的图像。因此，关于扫描设备302的位置和/或定向的姿势信息可以从位置传感器304和/或图像传感器308被发送给计算设备306的3D建模器312。
如果从位置传感器304和图像传感器308两者接收到姿势信息，则来自每个源的姿势信息可以在相同的坐标空间中被表达和/或被映射到共享的坐标空间。例如，姿势信息可以指示扫描设备相对于真实世界对象310或物理空间中的另一参考位置的姿势。在其他示例中，姿势信息可以指示扫描设备的绝对姿势(例如，基于全球定位系统[GPS]坐标，诸如纬度/经度测量和基本方向)。
返回图2，在208处，方法200包括从与确定的3D姿势相关联的有利位置接收3D对象的轮廓测量。如上所述，图3的真实世界对象310可以是扫描设备302的目标。因此，扫描仪314可以输出朝向真实世界对象310的扫描光(例如，在其中扫描仪是诸如红外扫描仪或深度相机的光学扫描仪的示例中的红外光)和/或音频(例如，在其中扫描仪是诸如超声换能器/成像设备的音频扫描仪的示例中的超声波)。在其他示例中，扫描仪可以使用环境光(例如，而不输出照明/扫描光)来捕获真实世界对象的图像和/或可以利用其他扫描技术，诸如热成像。
作为扫描操作的结果，扫描仪314可以从给定的有利位置测量扫描仪的视野内的真实世界对象310的轮廓。例如，如果扫描设备被定位成扫描真实世界对象的后部(类似于图1中所示的布置)，则扫描仪314可以从对象的后部接收输出扫描光、音频等的反射，其指示对应的物理特征。可以将这些轮廓测量发送给计算设备306的3D建模器312。
如上所述，3D建模器312还可以接收扫描设备302的姿势信息，并且因此可以将接收的轮廓测量与扫描设备的最后确定的姿势相关联。以这种方式，3D建模器可以标识从其接收到轮廓测量的有利位置，其指示包括测量的轮廓的真实世界对象310的区域。例如，3D建模器可以确定在当前姿势(例如，基于姿势信息)的扫描仪314的视野与真实世界对象(例如，由图像传感器308成像和/或基于对象的已知位置)的交叉。扫描仪314的视野内的真实世界对象的区域然后可以被与从该有利位置接收的轮廓测量相关联。
返回图2，该方法包括基于轮廓测量来生成和/或更新3D对象的3D模型，如在210处所示。因此，当在图3的3D建模器312处接收到轮廓测量时，3D对象的相关联的部分可以被建模以构建3D模型316，其可以被存储在计算设备306的存储设备上和/或与计算设备306通信。例如，如果扫描仪测量真实世界对象310的右后部分的轮廓，则轮廓测量可以被发送给3D建模器312并且被与对应于扫描设备302的姿势的有利位置相关。这一示例中的有利位置可以对应于被定位在在对象的后部并且被定向以使得扫描器314朝向对象的右后方的扫描设备。3D建模器312然后可以更新3D模型316以包括由3D模型316的右后部分处的轮廓测量标识的轮廓。以这种方式，真实世界对象310的给定区域的测量轮廓可以在3D模型316的相同区域处被复制。如本文所使用的，生成/更新模型包括在随后的建模过程期间(例如，当针对基于进度的建模呈现不充分的数据时)获取随后将被用于产生三维模型的扫描数据。
由于诸如扫描设备的采样率和视野/范围之类的属性，来自扫描设备的给定有利位置的轮廓测量可能无法充分地捕获对应于该有利位置的对象的区域的所有轮廓。因此，图2的方法200可以包括评估来自有利位置的轮廓测量的充分性，如在212处所示。例如，轮廓测量的充分性可以被与两个可能值(例如，或不充分)中的一个值或许多可能值(例如，充分性的比例)中的一个值相关联。不充分和/或并不在充分性的高值的轮廓测量可能负面地影响3D对象的3D模型的整体质量。可以基于扫描数据的分辨率、由扫描捕获的给定有利位置处的对象的量、扫描仪保持与有利位置相关联的姿势的时间量(例如，基于扫描仪的采样率)、下游建模算法处理数据的能力和/或影响3D模型的整体质量的扫描/轮廓测量的任何其他特性来确定轮廓测量的充分性。
作为说明性示例，如果扫描仪花费5ms(毫秒)来获取跨相关联视野的测量，但是扫描仪仅在给定有利位置被保持3ms，则与该有利位置相关联的轮廓测量可能不充分。在给定有利位置的3ms期间被捕获的轮廓测量可以由3D建模器处理并且被用于部分地更新3D模型的相关联的部分。一旦扫描仪从该有利位置获取了充分的轮廓测量，3D模型的相关联的部分就可以被完成。以这种方式，从有利位置对对象的轮廓测量的充分性可以对应于对象的3D模型的相关联的部分的完成水平。
在214处，该方法包括提供与扫描操作有关的反馈。反馈可以包括触觉反馈，如在216处所示，和/或视觉反馈，如在218处所示。例如，可以同时和/或相对于彼此在不同时间提供一种或两种类型的反馈。可以经由被集成在设备(诸如，扫描设备(例如，图1的扫描设备106和/或图3的扫描设备302))中的一个或多个触觉致动器和/或另一计算设备(例如，图1的计算设备110，图1的HMD设备108和/或图3的计算设备306)来提供触觉反馈。例如，并且参考图3，3D建模器312可以将反馈信息发送给触觉控件318，触觉控件318可以向扫描设备的触觉输出320提供触觉反馈指令。触觉致动器因此可以向与触觉输出设备接触的用户提供触觉反馈(例如，定向触觉反馈)。
可以提供触觉反馈以便向用户通知扫描的进度和/或扫描操作的其他属性。例如，如图2中所示，触觉反馈可以指示扫描的属性，诸如扫描仪距对象的距离、扫描仪的移动速度、扫描仪的移动方向和/或扫描的其他属性。在一些示例中，可以关于相关联的作为目标的扫描属性来提供关于属性中的每个属性的反馈。在说明性示例中，基于扫描仪的采样率，可以仅在扫描仪以阈值速度或低于阈值速度被移动时获取充分的轮廓测量。在这样的示例中，可以基于扫描仪相对于阈值速度的速度来调整触觉反馈。例如，随着扫描仪的速度接近和/或增加超过阈值速度，强度(例如，被激活的致动器的数量和/或激活的致动器的移动量)和/或触觉输出的频率可以增加。当扫描仪以低于阈值的速度和/或低于阈值的选定量被移动时，触觉致动器可以不被激活或者可以提供相对低的强度/移动频率(例如，相对于针对高于阈值的速度的输出)。在其中多个被个别地控制的致动器可以被包括设备中的示例中，可以提供定向触觉输出以指示扫描的属性(例如，其中触觉致动器沿着如下方向被顺序地激活，该方向当速度低于阈值在第一方向上移动，并且当速度高于阈值时在相反的第二方向上移动)。
附加地或备选地，触觉反馈可以指示正被扫描的3D对象的区域的轮廓测量的充分性。例如，触觉致动器可以被控制以在扫描器扫描未被充分测量的区域时以较高的第一强度和/或频率输出触觉反馈，并且当扫描仪扫描被充分(或更充分)地测量的区域时以较低的第二强度和/或频率输出触觉反馈。在一些示例中，触觉反馈可以指示正被扫描的3D对象的纹理。例如，可以针对具有粗糙纹理的表面提供较高强度和/或频率触觉输出，而可以针对具有平滑纹理(例如，比粗糙的质地更平滑)的表面提供较低强度和/或频率(相对于较高强度/频率)触觉输出。附加地或备选地，提供触觉反馈的触觉致动器的数量和/或位置可以被调整，以复制和/或以其他方式表示3D对象的当前扫描的区域的纹理。
如图3中所示，3D建模器312可以发送和/或3D模型316可以包括如下反馈信息，该反馈信息将被访问以提供用于显示控件322的反馈信息。尽管被示出为被包括在计算设备中，但是图3中所示的组件中的一个或多个组件可以跨多个设备而被分布。例如，多个计算设备中的每个计算设备可以包括图像传感器、3D建模器、3D模型、触觉控件和/或显示控件中的不同的一个。显示控件322可以向增强显示设备324发送视觉反馈指令。增强显示设备可以包括头戴式显示器(HMD)设备的透视显示器，诸如图1的HMD设备108和/或远程显示器(例如，被耦合到计算设备306的监视器)。在其中视觉反馈被提供给不透明的增强显示设备(例如，计算机监视器和/或平板计算机/移动电话/膝上型计算机显示器)的示例中，显示器还可以从图像传感器308接收图像信息，该图像信息包括扫描环境(例如，真实世界对象310、扫描设备302和/或物理空间中的其他组件)的图像。
如图2的方法200中所示，视觉反馈可以采取各种非限制性形式。例如，视觉反馈可以包括显示3D模型或对象的部分虚拟化(例如，当基于轮廓测量来生成/更新模型/虚拟化时是实时的，和/或对提供已经/需要被扫描的区域的指示的扫描数据的转化，作为获取或将要被获取的扫描数据将表示什么的估计，或者关于用户接下来应该做什么以进一步推进扫描操作的功能可见性)。在一些示例中，3D模型可以被显示为从正被扫描的真实世界对象的偏移。偏移模型的一个示例在图4的增强现实视图中被示出。如图所示，用户402可以通过头戴式显示器(HMD)设备406来观看真实世界对象404。HMD设备406的视野408被示出为包括真实世界对象404和表示真实世界对象的显示的3D模型410。显示的3D模型实际上不存在于真实世界中，并且仅在用户402在HMD 406的帮助下观看真实世界时可见。在所示的示例中，3D模型410被示出为从如通过HMD设备而被观看的真实世界对象完全地偏离(例如，不重叠)。然而，在其他示例中，当通过HMD设备而被观看时，偏移3D模型可以与真实世界对象部分地偏移/部分地重叠。
在一些示例中，3D模型410可以具有显示的位置，该显示的位置被世界锁定(world-lock)到真实世界中的物理对象，诸如正被扫描的真实世界对象(例如，对象404)和/或不同对象(例如，放置真实世界对象的表面)。因此，当用户在相关联的物理空间中来回移动时，3D模型可以占据用户视野的不同区域。以这种方式，用户可以通过围绕物理对象移动来查看3D模型的不同视角，3D模型被束缚于该物理对象。在其他示例中，3D模型可以具有显示的位置，该显示的位置被显示锁定(display-locked)到基于显示器的位置(例如，显示器的上角、显示器的中心和/或相对于视野的另一位置)。在这样的示例中，用户可以提供用户输入(例如，开动诸如操纵杆的控件、提供语音命令和/或以其他方式指示显示控件)以旋转/移动3D模型并从其他视角观看3D模型。
附加地或备选地，3D模型可以被显示为正被扫描的相关联的真实世界对象上的覆盖(例如，出现在其内或附近的区域)。图5中示出了重叠模型的示例。如图所示，用户502可以通过具有视野508的HMD设备506的透视显示器来观看真实世界对象504。图4示出了被示出为扫描的对象的偏移的完成的3D模型的示例。图5示出了被示出为扫描的对象的覆盖的部分完成的3D模型的示例，其中已经被充分地扫描的扫描的对象的区域被3D模型510的相关联的部分覆盖。3D模型的每个部分的外观可以包括基于对应于该部分的轮廓测量的充分性而被改变的视觉特征。例如，真实世界对象504的顶部边缘部分可以被覆盖有具有第一视觉属性(例如，紧密网格)的3D模型510的相关联的完成的部分。朝向真实世界对象504的顶部中心(在512处被指示)的区域可以被覆盖有具有第二视觉属性(例如，线之间具有比被用于3D模型的完成的部分的紧网格更宽的间隔的网格)的3D模型的相关联的未完成的部分。在附加或备选示例中，基于真实世界对象的相关联的区域的轮廓测量的充分性，可以使用不同的颜色、纹理或其他视觉属性来来表示3D模型的完成的和未完成的部分。在偏移或重叠模型显示中，可以实时(或接近实时)地更新模型。
附加地或备选地，视觉反馈可以指示扫描设备的视野。例如，可以显示增强(例如，经由HMD设备506)，当通过头戴式显示设备观看扫描设备时，该增强包括从扫描设备516延伸的截头椎体(frustrum)形状514。截头椎体形状514可以延伸远离扫描设备(例如，远离扫描设备的输出扫描光和/或声音的部分)。截头椎体形状的末端可终止于正被扫描的物理对象和/或空气的位置(例如，当扫描仪的视野未与物理对象完全地相交时-诸如当扫描仪未扫描时或扫描不像截头椎体形状那样宽的对象特征时)。如本文所使用的，截头椎体形状可以是指金字塔、锥体、扇形和/或朝向扫描设备会聚的任何其他二维或三维形状的至少一部分。在一些示例中，表示截头椎体形状的显示器的像素可以与扫描设备的真实世界位置和/或与扫描设备的真实世界视图相关联的显示器的像素相邻(例如，当增强显示器对应于不透明的显示器时)。
在一些示例中，指示扫描设备的视野的增强还可以指示视野的参数，诸如成像强度。例如，相对于当扫描的对象超出距扫描设备的阈值距离时，当扫描的对象在扫描设备的阈值距离内时，扫描设备可以提供更准确或频繁地采样的数据。以与其中来自手电筒的光分散的方式类似的方式，由扫描设备输出的用于成像目的的光和/或音频可以使光/音频进一步分散远离扫描设备。为了指示这种效果，截头椎体形状可以包括两个或更多个不同地显示的片段，两个或更多个片段中的每个片段从扫描设备或两个或更多个片段中的相邻片段延伸并且在距扫描设备的不同距离处终止。这样的分段还可以被用于指示对于有利的扫描而言扫描设备过于靠近。
图6示出了如通过具有视野604的HMD设备而被查看的增强602的示例。如图6中所示，增强602的第一片段606可以具有与第二片段608不同的外观。第二片段608进一步远离扫描设备610。因此，第二片段608可以表示扫描仪的视野的区域，其中相对于更靠近扫描设备的其他区域可以获取更少或更小的充分/完成的轮廓测量。尽管被示出为通过HMD设备的视图，但应该理解，附加地或备选地，可以经由不透明的增强显示设备来显示图4至图6中所示的显示的特征，其中真实世界对象的图像和增强(例如，虚拟特征)两者被显示。
返回图2，附加地或备选地，视觉反馈可以包括扫描操作的属性的指示。例如，上面讨论的关于触觉反馈(例如，扫描设备距正被扫描的对象的距离、扫描设备的移动速度和/或其他参数)的扫描的属性可以经由对其中对象正被扫描的物理环境的显示的增强而被表示。可以经由基于字符的显示输出(例如，指示当前扫描速度或相对于目标速度的当前扫描速度的文本)、图像和/或扫描属性的其他指示符来呈现扫描操作的属性。
在220处，方法200包括确定反馈是否将继续被提供。如果扫描操作停止(例如，基于用户请求和/或基于对象不在扫描仪的范围内)，则反馈可以不再被提供(例如，在220处为“否”)并且方法可以结束。如果扫描操作被继续，则反馈可以继续被提供和更新(例如，在220处为“是”)，并且该方法可以返回到202以继续监测扫描设备的3D姿势、接收轮廓测量以及更新3D模型。
上述系统和方法涉及提供关于扫描操作的实时反馈和相关联的3D模型的基于扫描操作的生成。描述的反馈可以帮助用户高效并且完全地扫描对象以便生成3D模型。例如，反馈可以指示用户可以调整扫描操作(例如，扫描速度的变化)和/或要被扫描的扫描的对象的区域以完成3D模型的方式。
在一些实施例中，本文描述的方法和过程可以被绑定到一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图7示意性地示出了计算系统700的非限制性实施例，计算系统700可以实施上述方法和处理中的一种或多种。例如，计算系统700可以或可以部分地包括图1的计算设备110、扫描设备106和/或HMD设备108、图3的扫描设备302和/或图3的计算设备306和/或被包括在它们内。计算系统700以简化的形式被示出。计算系统700可以采取一个或多个个人计算机、移动计算设备、头戴式显示器(HMD)设备、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动通信设备(例如，智能电话)和/或其他计算设备的形式。
计算系统700包括逻辑机器702和存储机器704。计算系统700可以可选地包括显示子系统706、输入子系统708、通信子系统710和/或图7中未示出的其他组件。
逻辑机器702包括被配置成执行指令的一个或多个物理设备。例如，逻辑机器可以被配置成执行指令，指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分。这样的指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果或以其他方式得到期望的结果。
逻辑机器可以包括被配置成执行软件指令的一个或多个处理器。附加地或备选地，逻辑机器可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核的或多核的，并且在其上被执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机器的个体组件可选地可以在两个或更多个分离的设备之间被分布，这些设备可以位于远程和/或被配置用于协同的处理。逻辑机器的各方面可以由在云计算配置中被配置的远程可访问的联网计算设备虚拟化和执行。
存储机器704包括一个或多个物理设备，该一个或多个物理设备被配置成保持由逻辑机器可执行以实现本文所述的方法和过程(诸如，图2的方法200)的指令。当这样的方法和过程被实现时，存储机器704的状态可以被转换-例如，以保持不同的数据。附加地或备选地，存储机器704可以保持由其他设备可访问的数据，诸如由处理器和/或外部设备(例如，显示设备)访问的完全或部分生成的3D模型(例如，图1的3D模型114和/或图3的3D模型316)。
存储机器704可以包括可移除和/或内置设备。存储机器704可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动、软盘驱动、磁带驱动、MRAM等)等等。存储机器704可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、依序存取的、位置可寻址的、文件可寻址的和/或内容可寻址的设备。
应当领会到，存储机器704包括一个或多个物理设备。然而，这里描述的指令的各方面备选地可以由通信介质(例如，电磁信号，光信号等)传播，该通信介质在有限的持续时间内不被物理设备保持。
逻辑机器702和存储机器704的方面可以被一起集成到一个或多个硬件逻辑组件中。这样的硬件逻辑组件可以包括例如场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可以被用于描述被实现以执行特定功能的计算系统700的一个方面。在一些情况中，可以经由执行由存储机器704保持的指令的逻辑机器702来实例化模块、程序或引擎。应当理解，可以从同一应用、服务、代码块、对象、库、例程、AP1、函数等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用、服务、代码块、对象、例程、AP1、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可以涵盖个体或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库纪录等。
应当领会到，这里使用的“服务”是跨多个用户会话可执行的应用程序。服务可以用于一个或多个系统组件、程序和/或其他服务。在一些实现中，服务可以在一个或多个服务器计算设备上运行。
在包括显示子系统706时，显示子系统706可以被用于呈现由存储机器704保持的数据的视觉表示。这一视觉表示可以采取图形用户界面(GUI)的形式。由于这里描述的方法和过程改变了存储机器保持的数据，并且因此改变了存储机器的状态，所以显示子系统706的状态同样可以被转换以在视觉上表示底层数据的变化。显示子系统706可以包括利用几乎任何类型的技术的一个或多个显示设备。例如，显示子系统706可以包括和/或向显示器(诸如图1的HMD设备108的透视显示器和/或增强显示设备324)提供显示指令。这样的显示设备可以与逻辑机器702和/或存储机器704在共享附件中被组合，或者这样的显示设备可以是外围显示设备。
在包括输入子系统708时，输入子系统708可以包括或对接于一个或多个用户输入设备，诸如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括或对接于选择的自然用户输入(NUI)部件。这样的部件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感应部件。例如，扫描设备(诸如图1的扫描设备106和/或图3的扫描设备302)可以包括用于确定设备的位置和/或定向的运动检测或其他位置传感器。
在包括通信子系统710时，通信子系统710可以被配置成将计算系统700与一个或多个其他计算设备通信地耦合。通信子系统710可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网的通信。在一些实施例中，通信子系统可以允许计算系统700经由诸如因特网的网络来将消息发送给其他设备和/或从其他设备接收消息。例如，图3的扫描设备302可以包括通信子系统以允许数据(例如，位置数据和/或轮廓测量)被发送给另一计算设备的3D建模器。扫描设备的通信子系统还可以允许从另一计算设备(包括3D建模器的计算设备或不同计算设备)接收控制数据，以控制扫描设备的反馈输出(例如，触觉输出)。
另一示例提供了一种计算机建模三维对象的方法，该方法包括：当扫描设备的三维姿势改变时，计算机跟踪扫描设备相对于三维对象的三维姿势，以从不同有利位置测量三维对象的不同轮廓；基于从扫描设备接收的测量来评估来自不同有利位置中的一个或多个不同有利位置的轮廓测量的充分性；以及经由触觉输出设备提供触觉反馈，触觉反馈指示对应于扫描设备的当前三维姿势的轮廓测量的充分性。附加地或备选地，这样的示例可以包括方法，其中提供触觉反馈包括：随着轮廓测量的充分性增加，减小由触觉输出设备提供的触觉输出的强度和频率中的一种或多种。附加地或备选地，这样的示例可以包括方法，其中提供触觉反馈包括：个体地控制多个触觉致动器中的每个触觉致动器以向与触觉输出设备接触的用户提供定向触觉反馈。附加地或备选地，这样的示例可以包括方法，其中经由扫描设备直接地向用户提供触觉反馈。附加地或备选地，这样的示例可以包括方法，其中触觉反馈指示扫描设备的速度。附加地或备选地，这样的示例可以包括方法，其中触觉反馈指示扫描设备距三维对象的距离。附加地或备选地，这样的示例可以进一步包括：经由增强现实显示器来提供指示轮廓测量的充分性的视觉反馈。附加地或备选地，这样的示例可以进一步包括：经由增强现实显示器来提供指示扫描设备的视野的视觉反馈。可以在各种实现中以任何合适的方式组合上述示例中的任何或所有示例。
另一示例提供了一种计算机建模三维对象的方法，该方法包括：当扫描设备的三维姿势改变时，计算机跟踪扫描设备相对于三维对象的三维姿势，以从不同有利位置测量三维对象的不同轮廓；以及经由增强现实显示器来显示增强场景，增强场景包括指示从扫描设备的当前有利位置的扫描设备的当前视野的增强。附加地或备选地，这样的示例可以包括方法，其中增强包括：当通过头戴式显示设备观看扫描设备时，从扫描设备延伸的截头椎体形状。附加地或备选地，这样的示例可以包括方法，其中截头椎体形状包括两个或更多个被不同地显示的区段，该两个或更多个区段中的每个区段从扫描设备或两个或更多个区段中相邻区段延伸并且在距扫描设备的不同距离处终止。附加地或备选地，这样的示例可以包括方法，其中增强场景还包括三维对象的模型。附加地或备选地，这样的示例可以进一步包括：形成和显示模型的部分，针对这些部分获得了充分轮廓测量。附加地或备选地，这样的示例可以包括方法，其中模型的一个或多个视觉特性至少基于三维对象的相关联的表面的轮廓测量的充分性。附加地或备选地，这样的示例可以包括方法，其中显示增强场景包括在偏离三维对象的位置显示三维对象的模型。附加地或备选地，这样的示例可以包括方法，其中显示增强场景包括：将模型显示为三维对象上的覆盖。附加地或备选地，这样的示例可以包括方法，其中扫描设备的三维姿势被映射到由头戴式显示设备共享的坐标空间，并且其中经由头戴式显示设备来显示增强场景。可以在各种实现中以任何合适的方式组合上述示例中的任何或所有示例。
另一示例提供了用于计算机建模三维对象的设备，该设备包括：被通信地连接到扫描设备和增强现实显示器的接口，逻辑机器，以及保持指令的存储机器，这些指令由逻辑机器可执行以：当扫描设备的三维姿势改变时，计算机跟踪扫描设备相对于三维对象的三维姿势，以从不同有利位置测量三维对象的不同轮廓；以及经由增强现实显示器来显示增强场景，增强场景包括三维对象、扫描设备和增强，该增强指示从扫描设备的当前有利位置的当前视野。附加地或备选地，这样的示例可以包括方法，其中增强现实显示器包括头戴式显示器(HMD)设备，并且其中当通过HMD设备来观看扫描设备和三维对象时，增强被显示为从扫描设备延伸并且与三维对象相交。附加地或备选地，这样的示例可以包括方法，其中增强场景还包括三维对象的模型，并且其中指令还可执行以至少基于由扫描设备从不同有利位置扫描的三维对象的表面的轮廓测量的充分性来形成和显示模型的部分。附加地或备选地，这样的示例可以包括方法，其中扫描设备包括一个或多个触觉致动器，并且其中指令还可执以向一个或多个触觉致动器输出触觉反馈控制，触觉反馈控制指示三维对象的所述轮廓测量的充分性。可以在各种实现中以任何合适的方式组合上述示例中的任何或所有示例。
将会理解，本文描述的配置和/或方式本质上是示例性的，并且这些具体的实施例或示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体的例程或方法可以表示任何数量的处理策略中的一个或多个处理策略。这样，所示和/或所述的各种动作可以按照所示和/或所述的顺序、以其他顺序、并行地被执行，或者被省略。同样，上述过程的顺序可以被改变。
本公开的主题包括各种过程、系统和配置以及本文公开的其他特征、功能、动作和/或属性、以及它们的任何和所有等价物的所有新颖且非显而易见的组合和子组合。

Claims (20)

1.一种计算机建模三维对象的方法，所述方法包括：
当扫描设备的三维姿势改变时，计算机跟踪所述扫描设备相对于所述三维对象的所述三维姿势，以从不同有利位置测量所述三维对象的不同轮廓；
基于从所述扫描设备接收的测量来评估来自所述不同有利位置中的一个或多个不同有利位置的轮廓测量的充分性；以及
经由触觉输出设备来提供触觉反馈，所述触觉反馈指示对应于所述扫描设备的当前三维姿势的轮廓测量的所述充分性。
2.根据权利要求1所述的方法，其中提供触觉反馈包括：随着轮廓测量的所述充分性增加，减小由所述触觉输出设备提供的触觉输出的强度和频率中的一种或多种。
3.根据权利要求1所述的方法，其中提供触觉反馈包括：个体地控制多个触觉致动器中的每个触觉致动器以向与所述触觉输出设备接触的用户提供定向触觉反馈。
4.根据权利要求1所述的方法，其中所述触觉反馈经由所述扫描设备被直接地提供给用户。
5.根据权利要求1所述的方法，其中所述触觉反馈指示所述扫描设备的速度。
6.根据权利要求1所述的方法，其中所述触觉反馈指示所述扫描设备与所述三维对象的距离。
7.根据权利要求1所述的方法，还包括：经由增强现实显示器提供指示轮廓测量的所述充分性的视觉反馈。
8.根据权利要求1所述的方法，还包括：经由增强现实显示器提供指示所述扫描设备的视野的视觉反馈。
9.一种计算机建模三维对象的方法，所述方法包括：
当扫描设备的三维姿势改变时，计算机跟踪所述扫描设备相对于所述三维对象的所述三维姿势，以从不同有利位置测量所述三维对象的不同轮廓；
将所述扫描设备的所述三维姿势映射到由增强现实显示器共享的坐标空间；以及
经由所述增强现实显示器显示增强场景，所述增强场景包括增强，所述增强指示所述扫描设备从所述扫描设备的当前有利位置的当前视野。
10.根据权利要求9所述的方法，其中当所述扫描设备通过头戴式显示器设备而被查看时,所述增强包括从所述扫描设备延伸的截头椎体形状。
11.根据权利要求10所述的方法，其中所述截头椎体形状包括不同地显示的两个或更多个片段，所述两个或更多个片段中的每个片段从所述扫描设备或所述两个或更多个片段中的相邻片段延伸并且在距所述扫描设备的不同距离处终止。
12.根据权利要求10所述的方法，其中所述增强场景还包括所述三维对象的模型，所述方法还包括形成和显示所述模型的部分，针对所述部分充分轮廓测量被获得。
13.根据权利要求12所述的方法，其中所述模型的一个或多个视觉特性至少基于所述三维对象的相关联的表面的轮廓测量的充分性。
14.根据权利要求12所述的方法，其中显示所述增强场景包括在从所述三维对象偏离的位置显示所述三维对象的所述模型。
15.根据权利要求12所述的方法，其中显示所述增强场景包括将所述模型显示为所述三维对象上的覆盖。
16.根据权利要求9所述的方法，其中所述显示器设备是头戴式显示器设备。
17.一种用于计算机建模三维对象的设备，所述设备包括：
接口，其被通信地连接到扫描设备和增强现实显示器；
逻辑机器；以及
存储机器，其保持指令，所述指令由所述逻辑机器可执行以：
当所述扫描设备的三维姿势改变时，计算机跟踪所述扫描设备相对于所述三维对象的所述三维姿势，以从不同有利位置测量所述三维对象的不同轮廓；
将所述扫描设备的所述三维姿势映射到由所述增强现实显示器共享的坐标空间；以及
经由所述增强现实显示器显示增强场景，所述增强场景包括所述三维对象、所述扫描设备和增强，所述增强指示从所述扫描设备的当前有利位置的当前视野。
18.根据权利要求17所述的设备，其中所述增强现实显示器包括头戴式显示器HMD设备，并且其中当所述扫描设备和三维对象通过所述HMD设备而被查看时，所述增强被显示为从所述扫描设备延伸并且与所述三维对象相交。
19.根据权利要求18所述的设备，其中所述增强场景还包括所述三维对象的模型，并且其中所述指令还可执行以至少基于由所述扫描设备从所述不同有利位置扫描的所述三维对象的表面的轮廓测量的充分性来形成和显示所述模型的部分。
20.根据权利要求19所述的设备，其中所述扫描设备包括一个或多个触觉致动器，并且其中所述指令还可执行以向所述一个或多个触觉致动器输出触觉反馈控制，所述触觉反馈控制指示所述三维对象的轮廓测量的所述充分性。
CN201780037911.3A 2016-06-30 2017-06-13 三维对象扫描反馈 Active CN109313821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/199,480 US10019839B2 (en) 2016-06-30 2016-06-30 Three-dimensional object scanning feedback
US15/199,480 2016-06-30
PCT/US2017/037093 WO2018005059A1 (en) 2016-06-30 2017-06-13 Three-dimensional object scanning feedback

Publications (2)

Publication Number Publication Date
CN109313821A CN109313821A (zh) 2019-02-05
CN109313821B true CN109313821B (zh) 2023-11-28

Family

ID=59093632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037911.3A Active CN109313821B (zh) 2016-06-30 2017-06-13 三维对象扫描反馈

Country Status (4)

Country Link
US (1) US10019839B2 (zh)
EP (1) EP3479358A1 (zh)
CN (1) CN109313821B (zh)
WO (1) WO2018005059A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
WO2019213111A1 (en) * 2018-04-30 2019-11-07 Meta View, Inc. System and method for presenting virtual content in an interactive space
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
SE543108C2 (en) * 2019-10-23 2020-10-06 Winteria Ab Method and device for inspection of a geometry, the device comprising image capturing and shape scanning means
US20230119162A1 (en) * 2020-03-02 2023-04-20 Apple Inc. Systems and methods for processing scanned objects
US11514690B2 (en) * 2020-06-30 2022-11-29 Sony Interactive Entertainment LLC Scanning of 3D objects with a second screen device for insertion into a virtual environment
EP4075095A1 (en) * 2021-04-14 2022-10-19 Medit Corp. Three-dimensional scanning system and method for controlling the same
CN114727090B (zh) * 2022-03-17 2024-01-26 阿里巴巴（中国）有限公司 实体空间扫描方法、装置、终端设备及存储介质
CN116758301B (zh) * 2023-08-14 2024-06-25 腾讯科技（深圳）有限公司 一种图像处理方法以及相关设备
CN117948915B (zh) * 2024-03-18 2024-05-31 杭州非白三维科技有限公司 一种多追踪头光学追踪三维扫描方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249600B1 (en) * 1997-11-07 2001-06-19 The Trustees Of Columbia University In The City Of New York System and method for generation of a three-dimensional solid model
US7256899B1 (en) * 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US7813591B2 (en) * 2006-01-20 2010-10-12 3M Innovative Properties Company Visual feedback of 3D scan parameters
CN101904770A (zh) * 2009-06-05 2010-12-08 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
CN102338616A (zh) * 2010-07-22 2012-02-01 首都师范大学 三维测量系统及方法
WO2012071466A2 (en) * 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
CN103391747A (zh) * 2011-02-22 2013-11-13 3M创新有限公司 3d数据采集中的空间雕刻
CN104699887A (zh) * 2013-12-10 2015-06-10 达索系统公司 3d cad模型的增强现实更新
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5306908A (en) 1993-03-15 1994-04-26 Hewlett-Packard Company Manually operated hand-held optical scanner with tactile speed control assembly
CA2253719A1 (en) 1996-04-24 1997-10-30 Shriners Hospitals For Children Method and apparatus for recording three-dimensional topographies
JP2000231627A (ja) 1998-12-22 2000-08-22 Xerox Corp フィードバック機構を備えた複数モード走査ペン及びこれを用いた入力方法
US20020023957A1 (en) 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US20060061545A1 (en) 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
US20080261165A1 (en) * 2006-11-28 2008-10-23 Bob Steingart Systems for haptic design of dental restorations
GB0708358D0 (en) 2007-05-01 2007-06-06 Cambridge Entpr Ltd Strain image display systems
DK2124196T3 (da) * 2008-05-20 2011-10-31 Widex As Anordning og fremgangsmåde til afbildning af en scannet overflade
US8189965B2 (en) 2008-11-17 2012-05-29 Image Trends, Inc. Image processing handheld scanner system, method, and computer readable medium
US8331775B2 (en) 2009-10-15 2012-12-11 Jack Harper Fingerprint scanning systems and methods
US20110102763A1 (en) 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8849015B2 (en) 2010-10-12 2014-09-30 3D Systems, Inc. System and apparatus for haptically enabled three-dimensional scanning
US20150070347A1 (en) * 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
US20150312561A1 (en) * 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
US9483771B2 (en) 2012-03-15 2016-11-01 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized haptic emulations
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
JP6144826B2 (ja) 2013-06-11 2017-06-07 クアルコム，インコーポレイテッド データベース作成のための対話型および自動的３ｄオブジェクト走査方法
US9338440B2 (en) 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US20150040005A1 (en) 2013-07-30 2015-02-05 Google Inc. Mobile computing device configured to output haptic indication of task progress
US10169795B2 (en) 2013-12-10 2019-01-01 Google Technology Holdings LLC Sizing wearable items by device scanning
US9589362B2 (en) * 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249600B1 (en) * 1997-11-07 2001-06-19 The Trustees Of Columbia University In The City Of New York System and method for generation of a three-dimensional solid model
US7813591B2 (en) * 2006-01-20 2010-10-12 3M Innovative Properties Company Visual feedback of 3D scan parameters
US7256899B1 (en) * 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
CN101904770A (zh) * 2009-06-05 2010-12-08 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
CN102338616A (zh) * 2010-07-22 2012-02-01 首都师范大学 三维测量系统及方法
WO2012071466A2 (en) * 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
CN103391747A (zh) * 2011-02-22 2013-11-13 3M创新有限公司 3d数据采集中的空间雕刻
CN104699887A (zh) * 2013-12-10 2015-06-10 达索系统公司 3d cad模型的增强现实更新
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Kinect的跨平台人机交互系统的研究和实现;肖杰;李秀鹏;史会余;谢政廷;;电脑编程技巧与维护(02);20-21 *
基于形状检索的场景图像三维建模;樊亚春;谭小慧;周明全;陆兆老;;高技术通讯(08);781-788 *

Also Published As

Publication number Publication date
CN109313821A (zh) 2019-02-05
US20180005433A1 (en) 2018-01-04
WO2018005059A1 (en) 2018-01-04
EP3479358A1 (en) 2019-05-08
US10019839B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
CN109313821B (zh) 三维对象扫描反馈
CN105981076B (zh) 合成增强现实环境的构造
US10972680B2 (en) Theme-based augmentation of photorepresentative view
US10409443B2 (en) Contextual cursor display based on hand tracking
KR101993920B1 (ko) 물리적 장면을 표현하기 위한 방법 및 장치
US9824500B2 (en) Virtual object pathing
US10366534B2 (en) Selective surface mesh regeneration for 3-dimensional renderings
US9509981B2 (en) Projectors and depth cameras for deviceless augmented reality and interaction
CN110476142A (zh) 虚拟对象用户界面显示
CN111862333B (zh) 基于增强现实的内容处理方法、装置、终端设备及存储介质
KR20140020871A (ko) 사용자 인터페이스 제시 및 상호작용
WO2013175700A1 (ja) 情報処理装置および情報処理方法
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
US8884968B2 (en) Modeling an object from image data
JP6581348B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111176427B (zh) 基于手持式智能设备的三维空间绘画方法和手持式智能设备
US10445940B2 (en) Modeling interactions between simulated characters and real-world objects for more realistic augmented reality
JP6948363B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240312166A1 (en) Rotation, inpainting and completion for generalizable scene completion
EP2540090A2 (en) Projectors and depth cameras for deviceless augmented reality and interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant