CN107690303B - 用于生成三维模型的计算设备和方法 - Google Patents

用于生成三维模型的计算设备和方法 Download PDF

Info

Publication number
CN107690303B
CN107690303B CN201580079477.6A CN201580079477A CN107690303B CN 107690303 B CN107690303 B CN 107690303B CN 201580079477 A CN201580079477 A CN 201580079477A CN 107690303 B CN107690303 B CN 107690303B
Authority
CN
China
Prior art keywords
scan
real
world object
model
passes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580079477.6A
Other languages
English (en)
Other versions
CN107690303A (zh
Inventor
大卫·布拉德利·肖特
斯蒂芬·乔治·米勒
若尔迪·莫里洛·佩雷什
J·康
帕蒂萨·庞凯瓦
马修·莱克
丹尼尔·约尔丹·卡锁
爱迪·利奇特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107690303A publication Critical patent/CN107690303A/zh
Application granted granted Critical
Publication of CN107690303B publication Critical patent/CN107690303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

示例涉及捕捉并处理三维(3D)扫描数据。在一些示例中，随着以多个定向重定位真实世界物体，获得真实世界物体的3D扫描数据，其中3D扫描数据包括3D一次扫描，每个3D一次扫描与一个定向相关联。用于在以每个定向重定位真实世界物体时投影与真实世界物体的位置相关的视觉提示的投影仪。接合3D一次扫描以生成真实世界物体的3D模型，其中在3D一次扫描中的每一个被合并至3D模型中时，在显示器上示出3D模型的实时表示。

Description

用于生成三维模型的计算设备和方法
技术领域
本公开涉及用于生成三维模型的计算设备和方法。
背景技术
物体的三维(3D)模型具有多个用途。3D模型可以用于各种应用，包括但不限于，电影和视频游戏资产、医疗矫正术和弥补术、工业设计等。
发明内容
本公开的第一方面涉及一种用于捕捉并处理三维(3D)扫描数据的计算设备，计算设备包括：接口，用于与3D扫描设备交互，3D扫描设备用于扫描真实世界物体以生成3D扫描数据；显示器，用于呈现3D扫描应用的用户界面；投影仪，用于在真实世界物体上和在真实世界物体周围直接地投影视觉提示；以及处理器，用于：随着以多个定向来对真实世界物体进行重定位，获得3D扫描数据，其中，3D扫描数据包括多个3D扫描通路，多个3D扫描通路中的每个3D扫描通路与多个定向中的一个定向相关联；使用投影仪投影视觉提示，其中视觉提示包括为用户提供与真实世界物体的位置相关的信息的提示、标记已经完成的扫描通路的提示以及指导用户对于多个3D扫描通路中的每个3D扫描通路重新定位真实世界物体的提示；响应于检测到真实世界物体处于目标位置中，启动多个3D扫描通路中的下一个扫描通路；并且接合多个3D扫描通路以生成真实世界物体的3D模型，其中，当多个3D扫描通路的每个3D扫描通路被合并至3D模型中时，在显示器上示出3D模型的实时表示。
本公开的第二方面涉及一种用于捕捉并处理三维(3D)扫描数据的方法，方法包括：基于真实世界物体的预扫描来生成初步模型，其中，初步模型被显示在用户界面上以由用户查看；随着以多个定向重定位真实世界物体，获得真实世界物体的3D扫描数据，其中，3D扫描数据包括多个3D扫描通路，多个扫描通路中的每个扫描通路与多个定向中的一个定向相关联；使用投影仪投影视觉提示，其中视觉提示包括为用户提供与真实世界物体的位置相关的信息的提示、标记已经完成的扫描通路的提示以及指导用户对于多个3D扫描通路中的每个3D扫描通路重新定位真实世界物体的提示；响应于检测到真实世界物体处于目标位置中，启动多个3D扫描通路中的下一个扫描通路；并且接合多个3D扫描通路以生成真实世界物体的3D模型，其中，当多个3D扫描通路的每个3D扫描通路被合并至3D模型中时，在显示器上示出3D模型的实时表示。
本公开的第三方面涉及一种编码有指令的机器可读存储介质，指令由处理器可执行，以用于捕捉并处理三维(3D)扫描数据，机器可读存储介质包括指令，以：执行背景表面的背景扫描，背景扫描用于在多个3D扫描通路期间区分真实世界物体与背景表面；基于真实世界物体的预扫描来生成初步模型，其中，初步模型被显示在用户界面上以由用户查看；随着多个定向重定位真实世界物体，获得真实世界物体的3D扫描数据，其中，3D扫描数据包括多个3D扫描通路，多个3D扫描通路中的每个3D扫描通路与多个定向中的一个定向相关联；使用投影仪投影与视觉提示，其中视觉提示包括为用户提供与真实世界物体的位置相关的信息的提示、标记已经完成的扫描通路的提示以及指导用户对于多个3D扫描通路中的每个3D扫描通路重新定位真实世界物体的提示；响应于检测到真实世界物体处于目标位置中，启动多个3D扫描通路中的下一个扫描通路；并且接合多个3D扫描通路以生成真实世界物体的3D模型，其中，当多个3D扫描通路中的每个3D扫描通路被合并至3D模型中时，在显示器上示出3D模型的实时表示。
附图说明
以下详细说明书参考附图，其中：
图1是用于捕捉并处理3D扫描数据的示例性计算设备的方框图；
图2是与用于捕捉并处理3D扫描数据的扫描设备通信的示例性计算设备的方框图；
图3是用于由计算设备执行以用于捕捉并处理3D扫描数据的示例性方法的流程图；
图4A是用于由计算设备执行以用于提供自动3D捕捉技术的示例性方法的流程图；
图4B是用于由计算设备执行以用于提供手动3D捕捉技术的示例性方法的流程图；以及
图5是在3D捕捉技术期间用于提供视觉提示的示例性用户界面的示意图。
具体实施方式
捕捉系统可以用于数字地捕捉与真实世界物体的形状和外观相关的数据。捕捉的数据可以随后用于构建物体的三维(3D)模型。可以使用不同的技术以收集关于真实世界物体的形状的数据，诸如接触扫描仪、飞行时间激光扫描仪、三角测量激光扫描仪、结构化光扫描仪等。例如，手持式设备可以用于通过当重新定位手持式设备时进行距离测量而收集形状数据。在该示例中，手持式设备使用内部坐标系统追踪其位置，内部坐标系统用于参考距离测量。
示例在此描述了允许用户放置物体表面并扫描其以从所有侧面生成完整的3D模型的3D捕捉技术。所生成的模型是具有纹理的3D网格，并且扫描过程包括从变化的定向渐进扫描并将这些扫描接合在一起以生成单个、完整的模型。对准每个增量扫描以适合于并扩展现有模型。
在一些示例中，当真实世界物体以多个定向而重新定位时获得真实世界物体的3D扫描数据，其中3D扫描数据包括每个与一个定向相关联的3D扫描通路(passes)。当在每个定向处重新定位真实世界物体时使用投影仪投影与真实世界物体的位置相关的视觉提示。接合3D扫描通路以生成真实世界物体的3D模型，其中当将每个3D扫描通路合并至3D模型中时在显示器上示出3D模型的实时表示。
现在参照附图，图1是用于捕捉并处理3D扫描数据的示例性计算设备100的方框图。计算设备100可以是能访问扫描设备的任何计算设备(例如智能电话、平板计算机、膝上型计算机、台式计算机等)。在图1的实施例中，计算设备100包括处理器110、接口115、投影仪118、以及机器可读存储介质120。
处理器110可以是一个或多个中央处理单元(CPUs)、微处理器、和/或适用于检索并执行存储在机器可读存储介质120中指令的其他硬件设备。处理器110可以获取、解码并执行指令122、124、126以使能检测接收用户以用于捕捉并处理3D扫描数据。作为检索并执行指令的备选例或除此之外，处理器110可以包括一个或多个电子电路，包括用于执行指令122、124、126的一个或多个的功能的多个电子部件。
接口115可以包括用于与扫描设备通信的多个电子部件。例如，接口115可以是以太网接口、通用串行总线(USB)接口、IEEE 1394(火线)接口、外部串行高级技术附件(eSATA)接口、或者适用于与扫描设备通信的任何其他物理连接接口。备选地，接口115可以是无线接口，诸如无线局域网(WLAN)接口或近场通信(NFC)接口。在工作中，如以下详述，接口115可以用于发送数据至扫描设备的对应接口并从其接收数据。
投影仪118是用于将图像投影至表面上的光学设备。例如，投影仪118可以是嵌入式光源、激光器、视频投影仪、或适用于投影图像的任何其他光学设备。
机器可读存储介质120可以是存储可执行指令的任何电子、磁性、光学或其他物理存储设备。因此，机器可读存储介质120可以例如是随机访问存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、存储驱动器、光盘等等。如以下详述，机器可读存储介质120可以采用可执行指令编码以用于捕捉并处理3D扫描数据。
3D扫描数据获得指令122从扫描设备获得3D扫描数据。扫描设备能够捕捉对于真实世界物体在扫描设备的视场中的形状和外观数据。在一些情形中，扫描设备是装备具有能够确定真实世界物体在相机视场中景深数据的多个透镜的3D相机。可以经由多次扫描通路而获得3D扫描数据，每个获得物体在不同位置和/或定向处的形状和外观信息。扫描通路可以是扫描循环的一部分，例如当围绕中心轴线旋转物体整圈时获得扫描数据。旋转可以如参照图4A所述手动地执行，或者如参照图4B所述自动地执行。在该示例中，扫描设备经由接口115连接至计算设备100。在其他示例中，扫描设备可以是计算设备100的集成部件。
视觉提示投影指令124使用投影仪118以在真实世界物体和物体所驻留表面上投影视觉提示。视觉提示向用户提供与物体的位置相关的信息。例如，视觉提示可以包括物体所面对方向的指示。当执行扫描循环时，视觉提示也可以标记对于物体已经完成的扫描通路。当使用手动旋转用于扫描时，视觉提示也可以指导用户如何对于每个3D扫描通路重新定位物体。示例性的视觉提示如以下参照图5所述。
扫描通路接合指令126将以上获得的扫描通路接合以创建3D模型。在一些情形中，当由扫描设备获得每一个时(即，在每次扫描通路之后修改3D模型以包括最新3D数据)接合扫描通路。当对于每次扫描通路而修改时也可以为用户显示3D模型。接合扫描通路将每个扫描通路中3D数据组合为单个3D模型。例如，可以识别并使用扫描通路中特色的特征以对准通路中数据，因此通路中数据可以组合为单个模型。
图2是经由网络245与计算设备200通信得示例性扫描设备250的方框图。如图2中所示以及以下所述，扫描设备250可以与计算设备200通信以捕捉并处理3D扫描数据。
如所示，计算设备200可以包括多个模块202-214，而扫描设备250可以包括多个模块252-254。每个模块可以包括编码在机器可读存储介质上并由各自设备200、250的处理器可执行的一系列指令。此外或作为备选的，每个模块可以包括一个或多个硬件设备，包括用于实施以下所述功能的电子电路。
与图1的计算设备100相同，计算设备200可以是智能电话、笔记本、台式机、平板电脑、工作站、移动设备、或适用于执行以下所述功能的任何其他设备。如以下详述，计算设备200可以包括用于捕捉并处理3D扫描数据的一系列模块202-214。
扫描接口202可以管理与扫描设备250的通信。具体的，扫描接口202可以启动与扫描设备250的连接并随后向扫描设备250发送扫描数据或从其接收扫描数据。
投影仪203在真实世界物体上以及真实世界物体周围投影视觉提示。例如，投影仪203可以包括在扫描循环期间用于提供视觉提示(即，扫描的定向、对于扫描循环的下一个定向等)的发光二极管(LED)。扫描UI模块210可以在扫描过程期间使用投影仪203以指示用户定位真实世界物体。
3D建模模块204可以处理扫描设备250的扫描数据以生成3D模型。尽管以下详述了3D建模模块204的部件，结合图1的指令122和126而以上提供关于3D建模模块204的示例性实施方式的额外细节。
3D数据扫描模块206从扫描设备250获得并处理扫描数据。当重新定位真实世界物体时，3D数据扫描模块206可以指示扫描设备250以执行扫描循环。扫描循环包括多个扫描通路，当物体在不同位置时获取每一个扫描通路并且可以组合以生成对于物体的形状和外观数据的全3D集合。例如，为了在3D中扫描物体，扫描设备250可以在物体上以图案的序列而投影结构化可见光和/或结构化红外光，并且捕捉和分析反射光。随后使用物体上结构化光图案的扭曲以计算物体的形状、深度和纹理。扫描设备250也可以捕捉物体的图像以用作所生成模型的表面纹理。
3D数据扫描模块206也可以使用扫描设备250以执行背景扫描。背景扫描允许区分物体与背景(例如表面、旋转机构等)。背景扫描可以在表面上放置物体之后执行。如果使用旋转机构，该背景扫描也可以包括多个扫描，其中旋转机构自动地旋转至倾斜和非倾斜位置。
3D数据扫描模块206也可以使用扫描设备250以执行预扫描。在预扫描期间，当其360度时扫描设备250快速地扫描物体。使用快速扫描以获得初步扫描数据以用于创建初步物体模型，这允许用户查看物体的总体形状并观察扫描过程如何渐进地添加细节。
接合模块208基于由3D数据扫描模块206获得的扫描数据而创建3D模型。具体地，接合模块208可以将3D扫描数据的扫描通路接合在一起以创建真实世界物体的全3D模型。当由3D数据扫描模块206获得时可以由接合模块208接合每个扫描通路至之前的扫描通路。例如，可以分析扫描通路以识别物体的特色特征以用于在合适点处重叠扫描通路。在接合了所有扫描通路之后，创建真实世界物体的全3D模型。
扫描UI模块210展现用于执行真实世界物体的3D扫描的用户界面(即，3D扫描应用的用户界面)。尽管以下详细描述扫描UI模块210的部件，结合图1的指令以上提供关于扫描UI模块210的示例性实施方式的额外细节。
定位模块212可以使用投影仪203以当重新定位物体以用于扫描时提供视觉提示。在3D数据扫描模块206执行了预扫描之后，定位模块212可以直接地在物体以及围绕其的表面上提供视觉提示。视觉提示可以例如是如以下参照图5所述，当执行扫描通路时可以由定位模块212更新视觉提示。例如，可以在表面上标识已完成的扫描通路，并且也可以显示对于下一个扫描通路的物体的位置。
对于手动扫描，定位模块212引导用户以在表面上手动地旋转物体。在使用旋转机构的情形中，自动地旋转物体，并且定位模块212可以示出旋转和扫描通路的进程。在每次360度旋转(即，扫描循环)的结束处，用户可以在计算设备200的显示器上检查模型，这可以包括旋转模型以从所有侧面检查物体。如果用户选择继续扫描以改进模型，他可以沿不同定向重新定位物体并继续额外的扫描循环。每次全360度旋转物体的构想是促进接合单个扫描的精确性。
实时模型模块214可以显示当执行扫描时物体的实时表现(例如来自相机的图像流)。当完成每个扫描通路并更新了模型时，可以更新实时表示以反映来自扫描通路的新细节。实时模型也可以允许用户在用户界面中重新定位模型，因此可以检查模型的所有侧面。
扫描设备250可以是计算设备200的外围或集成部件。扫描设备250是适用于捕捉3D数据的任何设备，诸如结构化光相机设备、激光扫描仪等。如以下详述，扫描设备250可以包括用于捕捉3D数据的一系列模块252-254。
在图2中，扫描设备250包括用于捕捉结构化光的相机252。例如，相机252可以包括标准和红外相机的组合，其中标准相机用于捕捉物体表面上的纹理以及红外相机用于捕捉形状数据。红外相机可以分析投影在物体表面上的结构化红外光的图案(例如星形场等)以获得形状数据。在该情形中，结构化红外光可以由3D数据使能器254投影。
图3是用于由计算设备100执行以用于捕捉并处理3D扫描数据的示例性方法300的流程图。尽管以下参照图1的计算设备100描述方法300的执行，可以使用用于执行方法300的其他合适的设备，诸如图2的计算设备200。方法300可以以存储在机器可读存储介质诸如机器可读存储介质120上的指令的形式、和/或以电子电路的形式而实施。
方法300可以开始于方框305并继续至方框310，其中计算设备100从扫描设备获得3D扫描数据。3D扫描数据包括对于真实世界物体在扫描设备的视场中的形状和外观数据。在方框315中，计算设备100使用投影仪以在真实世界物体以及物体所驻留表面上投影视觉提示。视觉提示可以为用户提供关于扫描设备的当前扫描循环的信息(例如下一个扫描通路、完成的扫描通路的位置等)。
在方框320中，计算设备100接合以上获得的扫描通路以创建3D模型。在一些情形中，当由扫描设备获得每一个时接合扫描通路(即，在每次扫描通路之后修改3D模型以包括最新3D数据)。方法300可以随后继续至方框325，其中方法300可以停止。
图4A是由计算设备100执行以用于提供自动化3D捕捉技术的示例性方法400。尽管以下参照图1的计算设备100描述了方法400的执行，可以使用用于执行方法400的其他合适的设备，诸如图2的计算设备200。方法400可以以存储在机器可读存储介质诸如机器可读存储介质120上的可执行指令的形式、和/或以电子电路的形式而实施。
方法400可以开始于方框402并继续至方框404，其中计算设备100引导用户连接并定位旋转机构。例如，计算设备100可以在表面上为旋转机构投影标识了位置和定向的视觉提示。在方框406中，计算设备100确定旋转机构是否恰当的定位。如果旋转机构并未恰当的定位，方法400可以返回至方框404。
如果旋转机构恰当的定位，在方框408中计算设备100引导用户在旋转机构上放置真实世界物体。在方框410中，计算设备100执行物体的预扫描以生成初步模型。在方框412中，计算设备100从用户获得扫描参数。例如，用户可以指定具有与被扫描物体类似形状的参考物体。
在方框414中，随着自动地重新定位物体，计算设备100执行扫描循环。具体的，旋转机构可以在扫描通路之间旋转物体，因此可以从物体的所有侧面获得扫描数据。当执行扫描通路时，将扫描通路接合至初步模型中以改进其细节。在方框416中，计算设备100确定用户是否满意3D模型。
如果用户不满意3D模型，在方框418中计算设备100引导用户重新定位物体以用于第二扫描循环。例如，计算设备100可以提供循环指令，指示用户改变旋转机构上物体的倾斜以用于第二扫描循环。在旋转机构上重新定位物体之后，方法400返回至方框414以执行第二扫描循环。
如果用户满意3D模型，在方框420中计算设备100清理3D模型。例如，计算设备100可以从3D模型移除人造物。在该示例中，计算设备100也可以提供允许用户手动地移除人造物的用户界面。为了清理3D模型，计算设备100也可以完成3D模型的接合(即，接合所有扫描通路)。方法400可以随后继续至方框422，其中方法400可以停止。
图4B是由计算设备100执行以用于提供手动3D捕捉技术的示例性方法450的流程图。尽管以下参照图1的计算设备100描述方法450的执行，可以使用用于执行方法450的其他合适的设备，诸如图2的计算设备200。方法450可以以存储在机器可读存储介质诸如可读存储介质120上的可执行指令的形式、和/或以电子电路的形式而实施。
方法450可以开始于方框452并且继续至方框454，其中计算设备100在表面上投影虚拟旋转机构。例如，虚拟旋转机构可以如以下参照图5所述。在方框456中，计算设备100引导用户在虚拟旋转机构上放置真实世界物体。例如，计算设备100可以在表面上投影识别了物体的位置和定向的视觉提示。
在方框458中，计算设备100执行物体的预扫描以生成初步模型。在方框460中，计算设备100从用户获得扫描参数。例如，用户可以指定具有与被扫描的物体类似形状的参考物体。
在方框462中，计算设备100针对物体的当前位置执行通路扫描。当执行扫描通路时，将扫描通路接合至初步模型中以改进其细节。在方框464中，计算设备100确定是否存在将要执行的更多扫描通路(即，扫描循环是否完成)。如果存在待执行的更多扫描通路，在方框466中计算设备100引导用户在虚拟旋转机构上旋转物体。具体地，计算设备100可以提供目标视觉提示，其指示用户将物体重新定位至目标位置。在手动旋转了物体之后，方法400返回至方框462，其中计算设备100执行下一个扫描通路。
如果不存在待执行的更多扫描通路，在方框468中计算设备100确定用户是否满意3D模型。如果用户不满意3D模型，在470方框中计算设备100引导用户重定位物体以用于第二扫描循环。例如，计算设备100可以提供循环指令，指示用户改变虚拟旋转机构上物体的倾斜角以用于第二扫描循环。在虚拟旋转机构上重定位了物体之后，方法450返回至方框462以启动第二扫描循环。
如果用户满意3D模型，在方框472中计算设备100清理3D模型。例如，计算设备100可以移除人造物并完成3D模型的接合。方法450可以随后继续至方框474，其中方法450可以停止。
图5是用于在3D数据捕捉期间提供视觉提示的示例性用户界面500的示意图。可以在3D数据捕捉期间将用户界面500投影至表面上以引导用户。如所示，用户界面500示出虚拟旋转机构，其包括物体位置502，完成的扫描通路504A、504B、504C、504D，下一个扫描通路506，以及未来的扫描通路508A、508B、508C。
物体位置502示出了被扫描的物体的位置和方向。当由用户移动物体时，可以实时地更新物体位置502。当完成了扫描通路时，更新用户界面500以示出已完成的通路504A－504D。如所示，扫描通路504D已经刚刚完成，并且用户被引导以重定位物体用于下一个扫描通路506。当下一个用户通路506和未来扫描通路508A－508C完成时，扫描循环完成。在该阶段，可以确定用户是否满意3D模型。
前述公开描述了用于捕捉并处理3D扫描数据的多个示例。以该方式，在此所公开的示例使能通过提供通过扫描过程引导用户的被投影视觉提示和实时模型更新而进行3D数据捕捉。

Claims (12)

1.一种用于捕捉并处理三维3D扫描数据的计算设备，所述计算设备包括：
接口，用于与3D扫描设备交互，所述3D扫描设备用于扫描真实世界物体以生成所述3D扫描数据；
显示器，用于呈现3D扫描应用的用户界面；
投影仪，用于在所述真实世界物体上和在所述真实世界物体周围直接地投影视觉提示；以及
处理器，用于：
随着以多个定向来对所述真实世界物体进行重定位，获得所述3D扫描数据，其中，所述3D扫描数据包括多个3D扫描通路，所述多个3D扫描通路中的每个3D扫描通路与所述多个定向中的一个定向相关联；
使用所述投影仪投影视觉提示，其中所述视觉提示包括为用户提供与所述真实世界物体的位置相关的信息的提示、标记已经完成的扫描通路的提示以及指导所述用户通过所述多个3D扫描通路中的每个3D扫描通路将所述真实世界物体重新定位到目标位置的提示；
响应于检测到所述真实世界物体处于所述目标位置中，启动所述多个3D扫描通路中的下一个扫描通路；并且
接合所述多个3D扫描通路以生成所述真实世界物体的3D模型，其中，当所述多个3D扫描通路的每个3D扫描通路被合并至所述3D模型中时，在所述显示器上示出所述3D模型的实时表示。
2.根据权利要求1所述的计算设备，进一步包括旋转机构，用于随着所述3D扫描设备扫描所述真实世界物体，将所述真实世界物体重定位至所述多个定向中的每个定向。
3.根据权利要求2所述的计算设备，其中，所述处理器进一步用于：随着由所述旋转机构连续地旋转所述真实世界物体，获得初步扫描数据，其中，所述3D扫描设备执行预扫描以收集所述初步扫描数据；并且
基于所述初步扫描数据生成所述真实世界物体的初步模型，其中，所述初步模型被显示在所述用户界面上，以由用户查看。
4.根据权利要求1所述的计算设备，其中，所述处理器进一步用于：
在所述显示器上向用户提供循环指令以修改所述真实世界物体的倾斜角；并且
启动用于所述真实世界物体的第二扫描循环。
5.根据权利要求1所述的计算设备，其中，所述处理器进一步用于：使用所述3D扫描设备以执行背景表面的背景扫描，所述背景扫描用于在所述多个3D扫描通路期间区分所述真实世界物体与所述背景表面。
6.一种用于捕捉并处理三维3D扫描数据的方法，所述方法包括：
基于真实世界物体的预扫描来生成初步模型，其中，所述初步模型被显示在用户界面上以由用户查看；
随着以多个定向重定位所述真实世界物体，获得所述真实世界物体的3D扫描数据，其中，所述3D扫描数据包括多个3D扫描通路，所述多个扫描通路中的每个扫描通路与所述多个定向中的一个定向相关联；
使用投影仪投影视觉提示，其中所述视觉提示包括为所述用户提供与所述真实世界物体的位置相关的信息的提示、标记已经完成的扫描通路的提示以及指导所述用户通过所述多个3D扫描通路中的每个3D扫描通路将所述真实世界物体重新定位到目标位置的提示；
响应于检测到所述真实世界物体处于所述目标位置中，启动所述多个3D扫描通路中的下一个扫描通路；并且
接合所述多个3D扫描通路以生成所述真实世界物体的3D模型，其中，当所述多个3D扫描通路的每个3D扫描通路被合并至所述3D模型中时，在显示器上示出所述3D模型的实时表示。
7.根据权利要求6所述的方法，进一步包括：随着3D扫描设备扫描所述真实世界物体以获得所述3D扫描数据，使用旋转机构来将所述真实世界物体重定位至所述多个定向中的每个定向。
8.根据权利要求6所述的方法，进一步包括：
在所述显示器上向所述用户提供循环指令以修改所述真实世界物体的倾斜角；并且
启动第二扫描循环以用于所述真实世界物体。
9.根据权利要求6所述的方法，进一步包括：使用3D扫描设备以执行背景表面的背景扫描，所述背景扫描用于在所述多个3D扫描通路期间区分所述真实世界物体与所述背景表面。
10.一种编码有指令的机器可读存储介质，所述指令由处理器可执行，以用于捕捉并处理三维3D扫描数据，所述机器可读存储介质包括指令，以：
执行背景表面的背景扫描，所述背景扫描用于在多个3D扫描通路期间区分真实世界物体与所述背景表面；
基于所述真实世界物体的预扫描来生成初步模型，其中，所述初步模型被显示在用户界面上以由用户查看；
随着多个定向重定位所述真实世界物体，获得所述真实世界物体的3D扫描数据，其中，所述3D扫描数据包括多个3D扫描通路，所述多个3D扫描通路中的每个3D扫描通路与所述多个定向中的一个定向相关联；
使用投影仪投影与视觉提示，其中所述视觉提示包括为所述用户提供与所述真实世界物体的位置相关的信息的提示、标记已经完成的扫描通路的提示以及指导所述用户通过所述多个3D扫描通路中的每个3D扫描通路将所述真实世界物体重新定位到目标位置的提示；
响应于检测到所述真实世界物体处于所述目标位置中，启动所述多个3D扫描通路中的下一个扫描通路；并且
接合所述多个3D扫描通路以生成所述真实世界物体的3D模型，其中，当所述多个3D扫描通路中的每个3D扫描通路被合并至所述3D模型中时，在显示器上示出所述3D模型的实时表示。
11.根据权利要求10所述的机器可读存储介质，其中，所述指令进一步用于：随着3D扫描设备扫描所述真实世界物体以获得所述3D扫描数据，使用旋转机构来重定位所述真实世界物体至所述多个定向中的每个定向。
12.根据权利要求10所述的机器可读存储介质，其中，所述指令进一步用于：
在所述显示器上向所述用户提供循环指令，以修改所述真实世界物体的倾斜角；并且
启动第二扫描循环以用于所述真实世界物体。
CN201580079477.6A 2015-06-04 2015-06-04 用于生成三维模型的计算设备和方法 Active CN107690303B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/034269 WO2016195694A1 (en) 2015-06-04 2015-06-04 Generating three dimensional models

Publications (2)

Publication Number Publication Date
CN107690303A CN107690303A (zh) 2018-02-13
CN107690303B true CN107690303B (zh) 2021-11-05

Family

ID=57441602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079477.6A Active CN107690303B (zh) 2015-06-04 2015-06-04 用于生成三维模型的计算设备和方法

Country Status (5)

Country Link
US (1) US10607397B2 (zh)
EP (1) EP3257026B1 (zh)
CN (1) CN107690303B (zh)
TW (1) TWI662510B (zh)
WO (1) WO2016195694A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155919B2 (ja) * 2018-11-16 2022-10-19 株式会社Ihi 三次元造形装置
WO2021021585A1 (en) * 2019-07-29 2021-02-04 Ocelot Laboratories Llc Object scanning for subsequent object detection
US11878086B2 (en) * 2020-04-15 2024-01-23 Honeywell International Inc. Apparatuses and methods for improved sanitization
CN111639567B (zh) * 2020-05-19 2024-03-22 广东小天才科技有限公司 一种三维模型的互动显示方法、电子设备及存储介质
CN111641656B (zh) * 2020-06-04 2022-12-16 上海图丽信息技术有限公司 一种医院数据实时投屏系统
US10991190B1 (en) 2020-07-20 2021-04-27 Abbott Laboratories Digital pass verification systems and methods
CN112060591B (zh) * 2020-11-12 2021-02-05 鑫精合激光科技发展（北京）有限公司 一种零件打印方法及系统、终端设备和计算机存储介质
DE202023000938U1 (de) 2023-04-27 2023-05-25 Dr. Clauß Bild- und Datentechnik GmbH Anordnung zur photogrammetrischen Objektaufnahme

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188143A1 (en) * 2002-07-10 2006-08-24 Marek Strassenburg-Kleciak Scanning system for three-dimensional objects
US20080101688A1 (en) * 2006-10-25 2008-05-01 D4D Technologies, Llc 3D photogrammetry using projected patterns
CN103228228A (zh) * 2010-07-12 2013-07-31 3形状股份有限公司 使用纹理特征的3d对象建模
US20130206985A1 (en) * 2012-02-14 2013-08-15 D. Clark Turner 3d backscatter imaging system
CN203457260U (zh) * 2013-09-02 2014-02-26 宁夏先锋软件有限公司 一种3d全息一体化背投装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047867A (en) * 1989-06-08 1991-09-10 North American Philips Corporation Interface for a TV-VCR system
US6280387B1 (en) * 1998-05-06 2001-08-28 Siemens Medical Systems, Inc. Three-dimensional tissue/flow ultrasound imaging system
US6900779B1 (en) * 2000-01-28 2005-05-31 Zheng Jason Geng Method and apparatus for an interactive volumetric three dimensional display
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
EP2757767B1 (en) * 2000-10-20 2019-08-07 Samsung Electronics Co., Ltd Image processing system and ordering system
US6925198B2 (en) * 2002-05-24 2005-08-02 Ronald S. Scharlack Method and system for three-dimensional modeling of object fields
US7324132B2 (en) * 2003-05-06 2008-01-29 Hewlett-Packard Development Company, L.P. Imaging three-dimensional objects
US7711179B2 (en) * 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
JP4722420B2 (ja) * 2004-07-07 2011-07-13 日本パイオニクス株式会社 ガスの処理方法
WO2007142643A1 (en) * 2006-06-08 2007-12-13 Thomson Licensing Two pass approach to three dimensional reconstruction
US7856142B2 (en) * 2007-01-26 2010-12-21 Sharp Laboratories Of America, Inc. Methods and systems for detecting character content in a digital image
WO2009001298A2 (en) * 2007-06-26 2008-12-31 Densys Ltd. Supplemental scene reference surface devices for three-dimensional mapping
JP2010533008A (ja) * 2007-06-29 2010-10-21 スリーエム イノベイティブ プロパティズ カンパニー ビデオデータ及び三次元モデルデータの同期ビュー
US20090067706A1 (en) * 2007-09-12 2009-03-12 Artec Ventures System and Method for Multiframe Surface Measurement of the Shape of Objects
CN101520319B (zh) * 2008-02-27 2012-02-22 邹小平 复合式三维激光测量系统及测量方法
WO2009120073A2 (en) 2008-03-24 2009-10-01 Bantwal Janardrian Mohandas Rao A dynamically calibrated self referenced three dimensional structured light scanner
CN101320473B (zh) 2008-07-01 2011-07-20 上海大学 自由多视角、实时的三维重建系统和方法
US8773514B2 (en) 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
US20120062557A1 (en) * 2010-09-10 2012-03-15 Dimensional Photonics International, Inc. Systems and methods for processing and displaying intra-oral measurement data
WO2012115862A2 (en) * 2011-02-22 2012-08-30 3M Innovative Properties Company Space carving in 3d data acquisition
EP2527784A1 (de) * 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US9245062B2 (en) * 2012-03-22 2016-01-26 Virtek Vision International Inc. Laser projection system using variable part alignment
WO2014001974A2 (en) * 2012-06-28 2014-01-03 Koninklijke Philips N.V. Dedicated user interface for mr-guided interstitial interventions
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
CN102980526B (zh) * 2012-08-23 2016-08-24 杭州先临三维科技股份有限公司 用黑白相机获取彩色图像的三维扫描仪及其扫描方法
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
CN102944191B (zh) * 2012-11-28 2015-06-10 北京航空航天大学 一种基于平面圆靶标的三维视觉测量数据拼接方法及装置
US9904356B2 (en) * 2013-05-28 2018-02-27 The Boeing Company Tracking a user to support tasks performed on complex-system components
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
US20150043788A1 (en) * 2013-07-22 2015-02-12 Clicrweight, LLC Determining and Validating a Posture of an Animal
GB2546022B (en) * 2014-08-20 2020-09-16 Synaptive Medical Barbados Inc Intra-operative determination of dimensions for fabrication of artificial bone flap
US10108269B2 (en) * 2015-03-06 2018-10-23 Align Technology, Inc. Intraoral scanner with touch sensitive input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188143A1 (en) * 2002-07-10 2006-08-24 Marek Strassenburg-Kleciak Scanning system for three-dimensional objects
US20080101688A1 (en) * 2006-10-25 2008-05-01 D4D Technologies, Llc 3D photogrammetry using projected patterns
CN103228228A (zh) * 2010-07-12 2013-07-31 3形状股份有限公司 使用纹理特征的3d对象建模
US20130206985A1 (en) * 2012-02-14 2013-08-15 D. Clark Turner 3d backscatter imaging system
CN203457260U (zh) * 2013-09-02 2014-02-26 宁夏先锋软件有限公司 一种3d全息一体化背投装置

Also Published As

Publication number Publication date
TWI662510B (zh) 2019-06-11
EP3257026A1 (en) 2017-12-20
US20180061120A1 (en) 2018-03-01
WO2016195694A1 (en) 2016-12-08
CN107690303A (zh) 2018-02-13
TW201703993A (zh) 2017-02-01
EP3257026B1 (en) 2020-11-18
US10607397B2 (en) 2020-03-31
EP3257026A4 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
CN107690303B (zh) 用于生成三维模型的计算设备和方法
CN105138135B (zh) 头戴式虚拟现实设备及虚拟现实系统
EP3007134B1 (en) Three-dimensional scan recovery
US8939842B2 (en) Method and system for operating a self-propelled vehicle according to scene images
JP4226550B2 (ja) 光学式マーカーを用いた三次元測定データ自動整列装置及びその方法
US9838670B2 (en) Method and system for three-dimensional imaging
TWI616842B (zh) 用於3d掃描之轉盤周邊設備
CN107362987A (zh) 一种基于视觉的机器人分拣方法及系统
US20120035799A1 (en) Method and system for operating a self-propelled vehicle according to scene images
CN1957374A (zh) 确定与ar－物体光学重叠的方法和装置
CN108362223B (zh) 一种便携式3d扫描仪、扫描系统和扫描方法
JP2012215394A (ja) 三次元計測装置および三次元計測方法
US20150332459A1 (en) Scanning device and method for positioning a scanning device
CN112161619A (zh) 位姿检测方法、三维扫描路径规划方法和检测系统
JPWO2019193859A1 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN108340405A (zh) 一种机器人三维扫描系统及方法
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
WO2012105228A2 (en) Imaging apparatus and imaging condition setting method and program
US10852403B2 (en) 3D scan tuning
JP2018160145A (ja) ３次元計測装置、３次元計測プログラム、および３次元計測システム
WO2021189194A1 (zh) 三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
Simões et al. 3D tracking in industrial scenarios: a case study at the ISMAR tracking competition
Rozenwald et al. Fully automatic 3D digitization of unknown objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant