CN110446906A - 三维扫描设备和方法 - Google Patents

Abstract

一种用于捕获三维对象形状数据的手持式数据采集系统，包括用户反馈屏幕和扫描模块，扫描模块能够以相对于所述反馈屏幕旋转的方式进行配置，并且用户能够对包括难以到达区域的对象进行扫描，同时，能够查看有关进行中扫描过程的反馈。

Description

三维扫描设备和方法

技术领域

本申请涉及可用于创建物理对象的数字3D表示的三维(3D)扫描仪。

背景技术

近来，对于高精确度且低成本3D扫描过程的需求日益增长，该过程可以承受具有挑战性的条件，例如扫描仪和被扫描对象之间的相对运动、非朗伯材料和各种照明条件等。

结构光(SL，Structured Light)技术是当前精确捕获三维(3D，three-dimensional)形状的最佳方法。这是通过具有特殊设计图案(patterns)的可见光或不可见光照射有用对象或环境的主动技术。然后利用一个或多个相机捕获对象和/或环境的图像，与此同时，特殊图案照射对象和/或环境。通过利用相机和投影仪的相对角度、位移和光学因子等知识的三角测量计算图像中的3D几何结构。主动光源使得对于不同的材料和环境特性(例如颜色、纹理和环境照明)的结果相对不变。现代光投影引擎、图像传感器和数字信号处理(DSP)设备技术可以可靠且准确地以高帧率投射和捕获高分辨率图像。

结构光技术结果的重要品质由投射到待捕获对象或环境上的图案的特征(通常是图案的时间序列)所决定。图案的目的是对信息进行编码，该信息使得相机图像坐标与投影图像坐标直接相关。投影图案通常对投影仪图像的列或行坐标进行编码，从而通过使用光学和几何校准信息，可以使用光学三角测量来识别被扫描对象的3D空间坐标，该3D空间坐标对应于投影仪坐标空间中的每个像素或者有时对应于捕获的相机图像中的每个像素。

通常，根据是否允许检索对应于离散投影仪像素位置的3D坐标或者是否允许子像素(即连续)测量，对结构化光图案进行分类。连续图案可为每个相机像素坐标或甚至相机子像素坐标找到不同的3D坐标，而离散图案仅识别对应于离散投影仪像素坐标的位置。离散技术的结果可能仅具有与投影仪像素同样数量的3D点，而由传统连续技术产生的3D模型可具有与相机像素同样数量的3D点。例如参见D.Moreno、W.Y.Hwang以及G.Taubin的利用Chebyshev相移的快速手形重建(Rapid Hand Shape Reconstruction with ChebyshevPhase Shifting)，2016年第四届三维视觉国际会议，其内容引入此文作为参考，以提供有用的背景技术。

传统上，连续技术要求更优地控制投影的颜色和强度，以及相机到投影仪的颜色和强度对应性，并且还需要颜色和强度的校准。相比之下，离散技术不需要达到导致慢且产生低分辨率等缺点的控制和校准程度。

通常被称为相移(PS，Phase Shifting)的许多连续技术将投影仪轴(通常是投影图像的X轴)编码为正弦灰度或彩色图案。PS技术更能容忍在使用数字投影仪中常见的大光学孔径时是无法避免的投影机散焦问题。

当前的PS三维扫描技术需要捕获每个静态数据集的对象或场景的多个图像，并且通常在其算法中假设图像是来自相同有利视点的相同场景。因此，在整个获取每个单独数据集的多图像捕获的期间，要求在扫描仪和对象或环境之间几乎没有相对运动。使用高帧率可以在一定程度上克服相对运动的局限性，但是如果能够减少每个数据集的待捕获图像的数量，则在三维精确度、数据质量和数量、颜色精确度和映射精确度方面将有直接的优势，尤其是对于在非均匀照射图案影响下的图像。

发明内容

根据一方面，本发明涉及一种用于捕获三维对象形状数据的手持式数据采集系统，包括用户反馈屏幕和扫描模块，扫描模块能够以相对于所述反馈屏幕旋转的方式进行配置，并且用户能够对包括难以到达区域的对象进行扫描，同时，能够查看有关进行中扫描过程的反馈。

本公开的一方面提供一种数据采集系统，包括：显示模块；传感器模块；发光模块。

根据一个示例，所述传感器模块包括第一传感器和第二传感器。

根据一个示例，所述第二传感器的视场大于所述第一传感器的视场(FOV，fieldof view)。

根据一个示例，所述显示模块可通过连接构件相对于所述传感器模块旋转。

根据一个示例，所述发光模块包括投影仪、发光二极管阵列或发光屏幕中的至少一个。

根据一个示例，所述第一传感器和所述第二传感器中的至少一个具有主相机轴，并且所述发光模块具有主发光轴，使得所述主相机轴与所述主发光轴之间的角度约为0度到30度。

本公开的另一方面提供一种扫描环境中的对象的方法，包括以下步骤：在所述对象上投射光；使用第一传感器捕获所述对象的至少第一图像；使用第二传感器捕获所述环境的至少第二图像；从所述第二图像生成元数据；以及将元数据与所述第一图像相关联。

根据一个示例，所述方法还包括将所述第一图像和关联的所述元数据存储在可检索的数据库中的步骤。

根据一个示例，所述元数据包括以下中的至少一个：与扫描系统有关的信息；与环境中的一个或多个对象有关的信息；与其他传感器数据有关的信息；与所述对象有关的信息；与进行扫描的用户有关的信息；或者所述对象和所述环境的特征之间的一个或多个相关性。

本公开的另一方面提供一种扫描对象的方法，包括以下步骤：在第一扫描模式下捕获第一对象的扫描数据；将所述扫描数据与预定阈值进行比较；基于与所述预定阈值的比较，在第二扫描模式下捕获所述第一对象的扫描数据。

根据一个示例，所述第二扫描模式包括比所述第一扫描模式更高的分辨率。

根据一个示例，所述方法还包括：相对于在二维图像中识别的所述第一对象，计算三维数据的覆盖范围或边界。

根据一个示例，将所述扫描数据与预定阈值进行比较，包括比较所述三维数据的覆盖范围与所述预定阈值。

根据一个示例，所述第二扫描模式自动启动并且没有用户输入。

本公开的另一方面提供一种三维扫描方法，包括以下步骤：在用手握住并旋转对象的同时，捕获对象的多个三维数据集；识别所述多个三维数据集中不一致的数据部分；移除所述三维数据集的不一致部分以创建修剪的数据集，其中不一致部分对应于所述手；对准所述修剪的数据集；以及组合所述修剪的数据集以创建表示没有手的被扫描对象的形状的统一的结果。

根据一个示例，在保持握住所述对象的状态下执行所述方法。

本公开的另一方面提供一种三维扫描方法，包括以下步骤：使用传感器捕获对象的一个或多个图像；

在显示器上显示所述对象的一个或多个图像；以及在显示关于所述一个或多个图像的精确度或数据密度中的至少一个的所述对象的一个或多个图像的同时，显示实时视觉反馈。

根据一个示例，所述实时视觉反馈包括以表示精确度或数据密度中的至少一个的不同颜色或纹理显示的所述对象上的差异区域。

附图说明

参考以下附图对本发明进行描述，其中：

图1示出了相移(PS)扫描设备；

图2示出了带有辅助相机的PS扫描设备；

图3描绘了3D扫描过程，其中作为扫描过程的一部分对被扫描对象重新定位；

图3A至图3B描绘了对可以重新定位一次或多次的对象进行3D扫描的方法流程图；

图4示出了用于自动移除3D数据中不需要部分的3D形状重建过程；

图5示出了从数据中移除手的3D扫描过程；

图6示出了从数据中移除支撑件的3D扫描过程；

图7示出了具有关于数据质量的用户反馈的3D扫描过程；

图8A示出了使用结构光照明图案的3D扫描过程；

图8B示出了使用修改的结构光照明图案的3D扫描过程；

图8C示出了使用修改的结构光照明图案的3D扫描过程；

图9A至9E示出了3D扫描设备的示例；

图10至图l0R示出了3D扫描设备的实施例的若干视图和选项；

图11A至图11C示出了3D扫描设备的实施例的若干视图和选项；

图12A至图12E示出了3D扫描设备的实施例的若干视图和选项；

图13是表示多阶段扫描处理的流程图；以及

图14是可用于实现本文描述的系统和方法的计算设备的框图。

具体实施方式

图1示出了相移(PS)3D扫描仪102。扫描仪102具有投影仪104和传感器106。3D扫描仪102(也称为扫描仪)是收集在其感应范围内的环境或对象的深度信息的设备。

3D扫描仪通常使用传感器和/或相机来收集环境信息。一些3D扫描仪通过使用光源或投影仪，利用光图案对环境进行编码，并且，在光源或投影仪投射的图像或光图案内具有像素或可离散访问的坐标。通过该编码可以确定哪个投影仪坐标创建的光撞击环境中或特定对象上的给定位置。

3D扫描仪通常使用光传感器。光传感器可以是检测光强度和可选颜色的电子传感器。传感器可以是电荷耦合器件(CCD，charge-coupled-device)和互补金属氧化物半导体(CMOS，complementary metal-oxide semiconductor)器件或产生根据入射光变化的信号的任何其他设备。信号通常是电子信号，但也可以是如同传统胶片的化学或物理信号。

基于本说明书的目的，术语“传感器”或“光传感器”可以广义地包括光检测元件(CCD、CMOS等)以及任意相关光学器件(可以是定义光轴的固定或可变的镜头组件)，光检测元件将图像分解成具有变化的灰度或颜色(例如，红、绿、蓝或青、磁、黄)强度值的像素。光轴可以垂直于或者以不垂直的角度定向于光检测元件的图像平面。当可变时，光学器件能够以机械或液体镜头技术等为基础，并且可以包括根据已知或自定义技术实现的自动聚焦电路。

在一个示例中，3D扫描仪可以体现为相机。相机可具有壳体、一个或多个光学元件(例如，镜头、滤光器等)，一个或多个光学元件利用容纳在壳体内的传感器和处理电路对壳体内或外部的光进行聚焦或过滤。相机可选地包括显示器以提供待成像场景的预览。

3D扫描仪可以使用光源(例如，发光模块)。一种类型的光源是投影仪。大多数投影仪能够调制它们在空间和/或时间发出的光。许多投影仪能够投射预定或动态图像。投影仪可具有焦距范围，或者它们可能无焦点(如激光投影仪的情况)。投影仪可以使用可见光或不可见光或其他波长的电磁辐射。也可以有其他类型的光源，包括发光二极管(LED)、例如LCD、OLED等的发光屏幕，以及白炽灯泡。

图像传感器和相机的分辨率通常根据像素尺寸或总像素数(百万像素)来描述。

通常，使用倒数(inverse)、点间距(例如，点之间的0.1毫米)描述3D扫描数据的分辨率。人们经常提到的“X.XXmm的分辨率”在技术上是指点间距。由于互不相同并且在同一3D扫描系统内受不同因素的影响，有时区分水平分辨率和深度分辨率。

传感器106可以是相机、电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或其他类型的传感器。投影仪104配置为在被扫描对象112上投射适当的结构化光图案(未示出)。投影仪104具有视场(FOV，field of view)110。视场110是投射有光的具有角度和空间的区域。扫描相机106配置为具有窄视场(FOV)114，由此从对象112反射的光捕获高分辨率数据。因为扫描相机106配置为捕获由投影仪104照射的对象而不是远离的或仅通过环境照明照射的对象，FOV114捕获有关环境或环境中其他对象的很少或不完整的信息(例如机器108可能无法得到捕获)。因此，可能丢失能够从环境和周围对象的照片捕获数据中推导出的上下文信息和元数据。

图2示出了扫描设备202的示意性实施例。扫描仪202具有投影仪204、传感器206、辅助传感器208和反馈屏幕210。投影仪204可以是如上参考图1所述的任何类型的投影仪。传感器206和/或辅助传感器208可以是如上参考图1所述的任何类型的传感器。

如上所述，对于传感器206和208，术语“传感器”或“光传感器”可以广义地包括光检测元件(CCD、CMOS等)以及任意相关光学器件(可以是定义光轴的固定或可变的镜头组件)，光检测元件将图像分解成具有变化的灰度或颜色(例如，红、绿、蓝或青、磁、黄)强度值的像素。光轴可以垂直于或者以不垂直的角度定向于光检测元件的图像平面。当可变时，光学器件能够以机械或液体镜头技术等为基础，并且可以包括根据已知或自定义技术实现的自动聚焦电路。

投影仪204可以是配置成投射任何类型的光的任何类型的设备，例如发光二极管(LED)阵列。投影仪204配置成向被扫描对象212投射适当的结构化光图案，例如已知或预定图案的光(如网格线、斑马条纹等(未示出))。投影仪204投射的光可以是可见光、红外(IR)、紫外(UV)或任何其他波长或组合波长的电磁辐射。在一个示例中，投影仪204和传感器206间隔开大约15至150mm(例如15至150mm+/-5mm)。投影仪204和传感器206可以彼此刚性对准，而在另一个示例中也可以相对于彼此移动。传感器206可以具有主相机轴(primarycamera axis)，并且投影仪204可以具有主发光轴(primary light emission axis)。在一个示例中，传感器和发光轴之间的角度大约为0到30度(例如0到30度+/-5度)。

传感器206可以是捕获和成像场景的任何类型的图像传感器(例如CMOS或CCD器件)。传感器206或辅助传感器208可以分别可操作地连接到一个或多个处理器组件230，以处理或操作由传感器206和/或208接收的数据。在一个示例中，传感器206和208可操作地连接到单个处理器组件，而在另一个示例中，各个传感器206和208可操作地连接到单独的分立处理器组件。处理器组件230包括主处理器232、图形处理单元(GPU)234和可以存储用于执行本文描述的任何处理的指令，以及与投影仪204的待显示光图案相关的任何数据的存储器模块236。传感器206单独或与下面描述的辅助传感器208组合，可以收集3D扫描数据并生成对象的3D模型。传感器206配置为具有窄视场(FOV)214，由此从对象212反射的光中捕获高分辨率数据(例如分辨率可以是0.2mm或更小的点间距)。FOV214捕获关于环境的很少或不完整的信息。辅助传感器208的FOV216比传感器206的FOV更宽。辅助传感器208可以具有任意分辨率。在一些实施例中，传感器208可以具有高分辨率(例如五千万像素)以便收集关于场景的非常详细的信息，或者它可以具有低分辨率(例如五十万像素)以收集减少带宽和处理要求的一些关于环境的信息。传感器206可以具有约小于100度(例如60度+/-40度)的对角视场，而辅助传感器可以具有约大于60度(例如60到180度)的对角视场。辅助传感器208还可以使用比传感器206更低的分辨率捕获图像数据。除了单帧图像之外，传感器206和/或辅助传感器还可以捕获流式视频。FOV216可以捕获关于对象212的一些信息以及关于环境的更多信息。例如，辅助传感器208能够捕获环境(例如工厂环境)中的其他对象和细节，例如机器218。其他类型的环境可能具有其他类型的对象和细节。室外环境可能有草和树木。零售店环境可能有产品、货架、灯和价格标签。家庭环境可能有沙发和墙上的图片。

在一个示例中，一个传感器(例如，传感器206)可用于捕获被3D扫描对象的图像。这些图像主要是在投射的照明图案的影响下的对象的图像，但也可能具有全照明。传感器的视场的宽度可以刚好捕获扫描设备前面的对象。另一传感器(例如传感器208)将用于捕获更多场景或环境。而这这受益于更广的视野。更广环境的图像可用于提取关于环境的信息，例如识别环境中的其他对象以及环境的类型。

可以使用单个传感器(例如，传感器206)或多个传感器来创建对象的3D模型。在一个示例中，用于创建对象的3D模型的单个传感器(例如，传感器206)可以配置用于单色捕获(如果投影的结构化光图像是单色的(例如，灰度))，但是通常还希望能够捕获被扫描对象和场景(例如，房间或其他周围环境)的彩色图像。为此，具有更宽FOV216的辅助传感器208可以捕获更完整的颜色和环境数据，并且还可以为用户提供更好的扫描体验，因为用户可以在反馈屏幕210中看到更多的环境，因此能够更加熟练地扫描对象的有用区域。另外，与图1的扫描仪102相比，扫描仪202可用的更宽的FOV216使得扫描仪202能够在围绕环境移动时更好地跟踪其相对于对象212的对准和定向。这是因为扫描仪202和相关的硬件/软件可以使用计算机视觉技术和更宽的FOV为计算机视觉算法提供更多的环境信息和更广泛的视觉点，以跟踪哪些视觉点带来更精确和更稳健的对准。

如同扫描仪202的配置的另一个优点是传感器206的分辨率(捕获的像素数)可能低于期望的场景图像捕获。例如，传感器206可以具有1280×720像素(大约1百万像素)的分辨率，而传感器208可以具有1920×1080(大约2百万像素)的分辨率，但是可以使任意分辨率的组合以作用于不同的优点和缺点。

辅助传感器208和更宽的FOV216可以在扫描对象(例如对象212)的同时捕获环境的大量照片和视频数据。并且可以保存该照片和视频数据并进行分析。特别地，本系统使用计算机视觉算法、对象识别算法、机器学习(ML)和人工智能(AI)来识别对象、环境和被扫描对象周围的上下文。该信息作为元数据与3D对象扫描数据一起存储在一个或多个存储器或数据存储器(例如RAM、ROM、闪存或下面参考图14描述的任何类型的存储器)中。元数据与扫描数据的耦合可以实现和改进3D扫描数据的许多用途，以及改进物理组件和系统的制造和装配。

使用具有捕获和存储与3D数据集相关的精确且高度详细的元数据的物理组件、计算硬件和软件的3D扫描设备能够解决以下几个技术问题：

使用元数据解决的一个问题是，实现按需制造组件，并具有更高的精确度、更低的错配率或不需要的物理属性。有利地，在本发明的系统和/或方法中，当在机器所在的现场或环境内扫描特定机器组件时，可以自动收集关于机器和机器的其他组件的元数据并将其存储为数据库的整体一部分(还包括扫描过程收集的3D数据)。然后，当扫描的组件准备好生产时，机器的相关元数据(例如公差、材料、键槽尺寸、倒角、润滑数据、机器的制造日期(由此带来的可能的磨损、匹配和操作事项)、已知的必要或期望的设计变更、产品召回、安全信息、最佳实践等)可用于调整组件的设计和生产说明或工艺，由此，与仅使用直接扫描的3D数据制造替换部件时相比，能够产生一种实质上不同且性能更好的替换部件。

另一种改进的示例是在扫描待检查、记录或替换的组件，并且组件的特性受环境影响的情况。例如，当扫描O形环时，可以在3D扫描仪捕获的3D数据集内捕获其变形。但是如果这种变形受到环境温度的影响，那么将环境温度作为元数据与3D数据一起存储在数据库中将十分有用。如果O形环稍后失效，并且在调查中，作为检查过程的一部分查看所采集的3D数据时，如果具有可用的捕获3D数据当时的温度数据，能用更适合的组件更好地做出设计和替换。

解决的另一个特定技术问题是使3D数据集更“可检索”，例如，基于元数据，使用高度详细的标准执行的搜索可以返回非常匹配标准的结果。例如，当有人搜索“具有云杉顶部、镀金调音头、以及状态良好的音孔拾音器的原声吉他”的3D数据文件时，那么只有在有关材料、条件和子组件或配件的元数据与3D数据存储在一起时才能够成功检索。

进一步扩展这一概念，更广泛的元数据解决了启用语义交互(semanticinteractions)的问题：例如，如果收集了足够的元数据，工程师可以扫描组件并搜索“适合”扫描组件的其他组件，在这种情况下“适合”可能是指“在150mm的螺栓圆上接受六个10mm定位销的孔图案，并且该孔图案中心距离对象基座200mm”。

元数据解决问题和改进工作流程的另一种方法是提供上下文。例如，鞋子设计师可能非常有兴趣找到鞋子模型或“改良”或独特的实际鞋子样本，而在线购买鞋子的消费者更可能想要鞋子模型的“官方”或“制造商推荐”版本。通过捕获和生成丰富的元数据以及3D数据集，可以更高效地实现包括鞋子设计、鞋子原型甚至制鞋设备在内的设计师工作流程和物理结果。类似地，可以通过更少的返回结果和时间浪费，以及更低的失败率来改善鞋类购物消费者的流程和结果。

在另一个示例中，元数据可以包括与扫描系统有关的信息(例如，扫描仪类型和序列号)、扫描过程使用的参数(例如，示例亮度、颜色捕获，比特深度等)、扫描的全局精确度、扫描数据文件中的最大估计误差、局部精确度(每个扫描数据点或每个位置的精确度)、数据密度/分辨率、推断位置、相关对象以及在其他情况中的3D数据的使用实例等。元数据还可以包括与房间中的其他对象有关的信息，如有用对象周围的环境类型(例如，生产线、实验室、自然室外环境、城市环境、零售地点、五金店、学校、家庭、厨房、客厅、车库等)。元数据还可以包括其他传感器数据，例如扫描时的温度、创建扫描数据文件所花费的扫描时间、扫描运动轮廓(例如扫描运动是否平滑或扫描过程中是否有大量抖动)、对象定向(例如，扫描是否涉及底部、顶部、侧面等)，或者相对于重力方向的扫描数据定向、GPS坐标、主导加速度(prevailing acceleration)、主导速度和位置。可以通过位于扫描设备上的一个或多个传感器模块生成传感器数据，例如加速度计、GPS、罗盘、陀螺仪等。其他元数据可包括对象类型(例如，摩托车制动杆、5C夹头等)、子特征或子部件(例如，螺栓类型和数量、NEMA17孔图案、1/8”轴键等)、制成对象的材料或多种材料、对象条件(生锈、新旧、凹陷、划痕、灰尘、涂漆、标记等)、OEM编号、供应商、成本、相对于OEM部件的条件或差异(例如，与从供应商提供的当前库存中部件相比，连接器不同/改变)、识别其他物质(漏油、积聚的污垢等)。元数据还可以包括与用户类型或数据源有关的信息，例如OEM(部件的官方版本)、用户的技能(专家用户、消费者用户、工程用户、新手、儿童、艺术家等)。当消费者在扫描的在线数据库搜索他们有兴趣购买的跑鞋时，该元数据非常有用。元数据可以确保跑鞋是“官方”版本而不是用过的鞋子的扫描，因此用户可以指定“OEM版本”作为检索的一部分。附加元数据可以包括：是否在扫描后对数据文件进行修改、扫描部分是否已经从部件的通用或规范版本修改、在扫描时或之后可能通过语音识别由用户有意添加的项目描述。附加元数据可以包括从收集的其他元数据中推测的元数据。推测的元数据可以包括通过在直接数据(例如，场景图像和对象图像和3D数据)的特征与其他类型的间接数据(例如，材料、环境类型或其他可能存在于环境中的对象类型)的统计数据库之间进行相关而获得的元数据。推测的元数据可以提供语义和可搜索的含义，类似于人类可以基于查看图像推导出关于对象或场景的数据中没有直接表示的知识。可将扫描数据和/或相关联的元数据存储在使用各种已知技术组织的可检索数据库中。在这方面，扫描数据可以包括3D形状数据(如下面将详细描述的)，并且可以基于元数据搜索3D形状数据。

使用元数据的非限制性示例如下。工程师正在CAD中创建新装配。工程师可以访问在装配期间需要使用的电机的3D扫描数据文件。在工程师的设计中，他需要确保电机轴的位置在装配中另一个基准的一定公差范围内，这需要在一定的最大误差范围内知道电机安装孔的尺寸。如果在电机的扫描数据文件中具有关于该扫描的精确度和/或最大误差的元数据，则可以构建组件并满足要求。如果没有该元数据，扫描数据将无法用于构建具有所需公差置信度的组件。

此外，由辅助传感器208捕获的照片和视频数据可以实现被扫描对象周围的场景或环境的部分或完全重建。与用于重建被扫描对象的3D模型的特定结构光技术相比，从照片数据对场景进行3D重建使用不同的算法(例如，摄影测量法)。扫描仪(如扫描仪202)的另一可选配置是传感器206和辅助传感器208的帧率不同。尽管扫描仪202和对象212有一定量的相对运动，扫描传感器206可以使用如30、60、90、120、240或高达约720帧/秒(FPS)的高帧率(或者可以使用一些其他数量的FPS),以结构光图案照明快速地捕获场景，以最小化多个捕获帧的模糊和未对准。相反，辅助传感器208可以以较低的帧率(例如12或24FPS(或任何其他FPS))捕获照片和视频，或者可以捕获单个照片或成组(例如，突发)照片。另外，传感器206和辅助传感器208不需要在完全相同的时间进行捕获，例如，当传感器206捕获图像时，可以通过投影仪204以SL图案照射场景和对象212，并且当投影仪204要么不进行任何投影要么进行不同投影(例如全照明或均匀的颜色)时，辅助相机可以捕获帧或视频，或者，辅助传感器208可以捕获包括上述所有的混合的帧，并在处理过程中或之后丢弃可能不需要的帧。

例如，传感器206和/或辅助传感器208可以配置为在同一扫描时段捕获结构光图像和正常照明摄影图像。因此，投影仪204可以按照某个预定间隔交替地投射结构光图案和正常照明图案(全照明或均匀颜色)。在一个示例中，间隔可以是大约0到100ms(例如，0到100ms+/-5ms)。优选地，间隔约为20毫秒(例如20毫秒+/-5毫秒)。传感器206和辅助传感器208可以交替地捕获图像数据以对应于交替发射的光图案，例如，传感器206捕获结构化光图案，而辅助相机208捕获正常照射图案。除了环境中的对象的图像之外，辅助传感器208还可以捕获有用对象的环境或周围环境的正常照明图像。

通过使两个传感器专用于不同的、离散的、各自的功能，并允许如分辨率、FPS、位深度、颜色、FOV、其他光学特性、镜头设计和其他特性的规格或参数，与仅具有单个相机或仅具有专门针对SL捕获技术选择的相机的扫描仪相比。扫描仪202能够更加完整和准确地捕获被扫描对象以及周围场景和环境以及有关捕获环境的元数据

图3描绘了对象302的扫描过程，其中作为扫描过程的一部分，对象302通过位置304A、304B、304C和304D重新定位。对象302可以是期望获得数字3D表示的任何可移动对象。如图2所示的扫描仪202的扫描设备(未示出)可用于通过结构光扫描过程(或其他扫描过程)创建多个3D数据集。当对象处于一个位置时，难以或不可能扫描对象的所有区域。对于传统的扫描技术而言，为了在新位置创建对象的更多数据集，重新定位并再次扫描对象时，通常很难或不可能将从不同对象位置获取的数据集进行对准。对关于一个或多个平面或轴对称，或者相对平滑或无特征的对象(例如对象302，牛奶盒仅作为示例)而言尤其如此，这是因为数据集可以按照多个方式对准并且几何误差很小。如果可以假设旋转量具有上限，则可以确定最可能的对准，但这通常不能通过来自两个位置的数据集来完成。

在本实施例的扫描过程中，扫描仪可以在整个重新定位过程中获得对象的照片、视频或3D数据集(并且可能有用户的手或其他重新定位设备)。中间结果是生成许多数据集(照片、视频和/或3D)，这些数据集在它们之间以已知的小时间间隔拍摄，并且可以假设增量数据集之间的旋转和平移很小。通过在照片或视频数据上使用CV算法(例如OpenCV库中可用算法)和在增量数据集上使用传统的小位移3D数据对准算法(如迭代最近点(ICP))，可以确定扫描对象的两个(或更多)位置之间的关系(线性和角位移)。使用该已知位移，可以对准来自对象302的两个(或更多个)位置的3D数据集，并且可以合并数据以创建没有歧义的统一3D模型(unified 3D model)结果。

图3A至图3B是描绘对能够重新定位一次或多次的对象进行3D扫描的方法302A的流程图。

在框(也称为“步骤”)304A中，一个或多个传感器捕获对象的一个或多个图像和/或视频和/或3D数据。

在框306A中，在捕获的数据中，识别相对于环境的对象。这可以利用传统的计算机视觉(CV)技术和图像数据或视频数据来完成，或者可以通过利用迭代最近点(ICP)算法匹配3D数据集来执行。该过程可以涉及从相对于对象和环境的扫描仪的多个相对位置捕获图像、视频和/或3D数据的迭代过程。

在框308A中，在图像中寻找对象和环境的参考特征。这可以通过图像或视频上的常规CV技术来完成，以找到关键点、边缘、曲率分析、颜色或强度梯度的分析以及纹理特征的识别，或者可以通过找到3D特征(签名的曲率(curvature signatures))在3D数据上执行。

在框310A中，计算对象定向估计并存储(例如，在存储器中)供以后使用。这可以在图像或视频数据上通过传统的CV技术完成，或者可以使用ICP和其他3D方法在3D数据上执行。

在框312A中，将定向估计与之前的定向估计进行比较。

在判定框314A中，确定对象定向是否相对于环境变化。

如果在判定框314A处为“是”，则进行到框316A，在框316A中确定是否预先设置了“运动中(in-motion)”旗标。“运动中”旗标是在捕获一个或多个图像期间相对于环境运动的对象状态的开始或指示。

如果在框316处为“是”，则可以可选地计算对象轨迹(例如，平移和旋转路径以及第一、第二、第三和/或更高的导数)。

如果在判定框316A处为“是”，则进行到框304A以捕获一个或多个图像和对象的3D数据。这表明对象相对于环境保持运动，系统应继续收集和处理对象图像，3D数据和对象定向进行估计直到系统确定对象已停止移动。

如果在判定框316A处为“否”，则设置“运动中”旗标。

回到判定框314A，如果在判定框314处为否，则进行到框320A，其中确定是否预先设定了“运动中”旗标。在此步骤中，确定对象之前是否相对于环境处于运动状态(如果已经设置了运动中旗标则会发生这种情况)，但现在已停止移动(如果系统在这组图像与前一组图像之间未检测到任何运动，则会发生这种情况)。如果对象曾在移动并且现在已停止，则需要旋转和/或平移生成的任意新3D数据，以便将其与移动对象之前收集的任意之前的3D数据对准。

如果在判定框320A处为“是”，则前进到框322A以将定向与之前的静止定向进行比较。在此步骤中，确定对象曾移动但现在已停止移动。

返回到判定框320A，如果“否”，没有预先设定“运动中”旗标，则返回到框304A以重复图像捕获过程。这组事件代表对象现在没有移动，并且之前没有移动，因此系统可以继续正常地获取数据。

在框324A中，确定新的静止定向与之前定向的不同是否超过阈值。该阈值可以表示对象相对于环境的移动量(平移和/或旋转)，如果超出，则意味着生成的任何新3D数据将需要被重新定向以使其适当地与任何之前生成的3D数据对准。

如果在框324A处为“是”，则进行到框326A以向用户显示之前捕获的3D数据得到旋转以匹配新的对象定向。这确保了用户在屏幕上看到的反馈与真实对象的定向匹配。因此，如果用户已捕获对象顶部的3D数据，然后将对象翻转，则之前捕获的数据将在用户反馈屏幕上翻转，以使其与正在收集和显示的对象的新3D数据正确对准。

在框328A，捕获更多3D扫描数据并使用新定向以将新数据对准至之前数据。

在框330A中，根据需要重复直到在框332A处完成。在该过程结束时，如果需要，可以精确地对准在多个位置拍摄的对象3D数据集并将其统一为单个3D数据集，以便表示整个对象或更多的对象，而不是仅在一个位置捕获对象数据。

图3、图3A和图3B所示的过程允许在扫描过程中重新定位被扫描对象，并且，自动旋转和统一从多个对象定向捕获的数据。这克服了现有系统的缺点，由此提供了解决技术难题，或者需要许多步骤和手动操作来利用典型的3D扫描仪收集、对准和整合关于对象的所有侧面的数据的技术方案。典型的3D扫描仪通常不允许在扫描过程中重新定位对象；相反，它们需要收集必须通过耗时且容易出错的过程手动连接的多个单独的数据集。

图4示出了3D形状重建过程，其中，将对象402置于基座404并进行3D扫描。该步骤在过程中标记为412A。扫描过程捕获关于对象402的3D形状信息，并且还可以从基座404捕获一些3D数据。3D数据集406表示对象402和基座404的3D数据组合。可以在标记为412B的步骤中识别表示基座404的数据408。可以在标记为412C的步骤中自动移除数据408，从而生成仅表示预期的对象410的3D数据集410。可以通过搜索表示大致位于平面并且在相对于重力矢量414方向位于数据集的最低高度的一组数据点来识别数据408。可以通过按颜色或纹理分割数据406来交替地识别数据408。扫描仪(未示出)中的加速度计(未示出)可用于记录扫描过程中重力场的主要方向(例如重力矢量)，从而可识别数据集的“底部”。还可以基于使用CV算法的照片分析、材料识别和/或不同的颜色或纹理来分割数据406。

图4的过程有利地允许自动识别和移除桌子或其他支撑件的数据，并且仅产生被扫描对象的统一3D数据。这是典型的3D扫描仪所具有的技术问题的解决方案，其中，典型的3D扫描仪通常收集被扫描对象下的桌子或其他支撑件的形状数据，并且必须长时间地手动移除数据。

图5示出了3D扫描过程，其中，扫描对象502以创建代表对象502形状的完整3D数字表示504，并且不会丢失在将对象502置于基座上进行扫描时可能无法访问的数据区域。在标记为512A的第一步骤中，扫描由手506握住的对象502以捕获3D数据和可能的照片和/或视频数据。手506可以是执行扫描操作的人手，或者可以是其他手。在步骤512A期间，可以根据需要相对于手506旋转和平移并重新定位对象502，以便完整地或实质上(例如，充分)完整地扫描覆盖对象502的整个表面。在步骤512A期间捕获的中间数据集可以具有根据手506的形状创建的数据。在标记为512B的步骤中，计算机视觉算法和3D数据分析用于照片和/或视频数据，以识别捕获的3D数据(和照片数据)中哪些子集508对应于手506以及数据510的哪些部分对应于对象502。确定哪些数据不属于对象的一种方法是对准捕获的一些或全部3D数据集，并比较数据集中的数据。可以安全地移除从一个数据集到另一个数据集不一致(即，改变形状)的3D数据的子集，并且可以合并来自所有数据集的剩余数据以创建统一的仅代表该对象且没有手或其他可移动支撑件的任何数据的数据集。这是因为相对于大部分表示被扫描对象的3D数据而言，手或其他可移动支撑件具有变化的形状和/或位置。然后在标记为512C的步骤中，移除数据集中不一致的部分(即，可能表示手506而不是对象)，并且合并剩余数据集以产生表示预期对象502的最终统一数据504。

图5A是对能够用手移动和手持的对象进行3D扫描的方法502A的流程图。

在框504A中，在投影的相位图像影响下捕获场景的图像。

在框506A中，从在框504A捕获的2D图像中计算一个或多个3D数据集。

在框508A中，识别对应于对象的3D数据点和图像像素，以及识别在多个3D数据集之间不一致的点和图像像素(例如由手(如有)和环境产生的点和图像像素)。

在框510A中，移除不一致的3D数据点(例如表示手的3D数据点)。

在框512A中，为对象、手和扫描仪的附加姿势进行重复直到实现期待的数据覆盖范围。

在框514A中，对准并组合数据集(移除手部数据)以创建完整的3D对象数据集直到在框516A处完成。注意，图5中的步骤可以按照不同顺序执行，例如，可以在解码3D数据之前在图像像素中识别对应于手的数据。并且，还可以在识别和去除不一致数据之前对准3D数据。注意，可以在用户持续手持对象的同时进行扫描，并且可以在保持手持对象的情况下创建没有手的完整3D数据集。此外，从组合数据集中移除手的过程不需要用户干预。这意味着用户可以在扫描过程中处理被扫描对象，并且扫描结果数据集将仅表示对象而没有用户的手，用户不必手动编辑3D数据集或3D文件以移除不需要的手数据并且用户不必在扫描过程中执行任何额外步骤。

在典型的扫描过程中，用户不能在扫描过程中处理对象，这不仅将放慢扫描过程，更重要的是会导致难以扫描的区域(例如遗漏凹面)或收集极少的数据，或者如果用户在扫描期间手持对象时，用户必须在之后手动编辑所得到的3D数据以移除对应于用户手的部分数据。这通常导致数据不准确(如果手动数据编辑过程不完善并且代表手的一些数据留在数据集中)，并且可能导致基于不完美的数据生产的物理部件具有物理缺陷。这将导致不匹配和组件或机器故障。此外，典型的3D扫描仪难以或需要许多步骤和手动操作来收集、对准和整合对象所有侧面的数据。通常，典型的3D扫描仪不允许在扫描过程中重新定位对象；相反，它们需要收集必须通过耗时且容易出错的过程手动连接的多个单独的数据集。

参照图5、图5A说明的从3D扫描数据中移除手的过程，可以通过例如自动移除不属于对象部分的3D数据、通过在扫描过程中允许用手重新定位被扫描对象，并自动旋转和统一从多个对象定向捕获的数据并删除来自手的任何数据来解决上述问题。这可以解决并最小化物理形状误差方面的技术问题，以具有适当功能和更少故障的数据集生产物理组件，并且，与现有的扫描过程相比，花费时间短且效率高。

图6示出了3D扫描过程，其中扫描对象602以创建完整的3D数字表示604，其表示对象602的形状，并且不会丢失在将对象602置于基座(例如桌子)上进行扫描时可能无法访问的数据区域。在标记为612O的第一步骤中，将支撑件606定位在扫描环境中，并且捕获支撑件606的3D扫描数据和/或照片。在标记为612A的第二步骤中，将对象602放置在支撑件606上并进行扫描以捕获3D数据和可能的照片和/或视频数据。在步骤612A中，可以根据需要旋转对象602以实现对象602的完整扫描覆盖。在步骤612A中捕获的中间数据集可以具有从支撑件606的形状创建的数据。在标记为612B的步骤中，识别对应于支撑件606的3D数据608的子集，并且将数据610的其他部分识别为对象602。之后，在标记为612C的步骤中，移除表示支撑件606的数据部分，并合并剩余的数据集以产生表示预期对象602的最终统一数据604。

图6所示的过程有利地允许自动识别和移除与支撑件有关的数据，并仅产生被扫描对象的统一3D数据。这为典型3D扫描仪的技术问题提供了技术解决方案，其中，典型的3D扫描仪通常收集被扫描对象下的支撑件的形状数据，并且必须长时间地手动移除该数据。

图7示出了3D扫描过程，其中扫描仪702用于扫描对象704以创建对象704的3D数字表示706。在扫描过程中，可以递增地获取3D数据集并对准和合并。具有光学有利的材料的对象704的凸面区域的数据即使来自最初几个数据集也可以具有高质量，例如它可以具有所需的点密度以及最佳的点精确度。但是，在凹陷、嵌入或材料或颜色或照明不适合扫描过程的区域中，可能无法获取数据，或者所获取的数据质量较差(例如，每个区域的数据点很少(低密度)和/或精确度低)。扫描仪702可以具有反馈屏幕708用于在扫描过程中向用户显示实时视觉反馈710。视觉反馈710可以包括差异区域(differentiated areas)712，其表示所获取的扫描数据的不同质量水平。差异区域712可以以不同的颜色或纹理显示(例如，基于阴影/交叉影线的密度)，并且可以动态地更新以指示已经获取或正在获取的网络数据状态的变化。反馈710和区域712使用户有效地引导扫描过程，从而在质量或数量差的区域获取更多和/或更高质量的数据，并且还避免对数据质量或数量达到可接受水平的区域进行重新扫描。该过程还可以帮助用户在尽可能短的时间内获得最准确的结果和最优的覆盖范围。该方法可以在更短的时间内获得更高质量的扫描数据，并且当根据3D扫描数据生产部件时，生产出具有更严格的公差、更好的形状保真度、更好的制造工艺效率(例如更少的返工)和更低的拒绝率的更高质量的制造部件。

视觉反馈，例如表示捕获的数据或正在进行的数据捕获过程的动态3D模型上的颜色，可以指示数据点的密度、深度值的置信度、深度计算中使用的矩阵的正交性、是否以相对于捕获设备的“最佳”角度捕获深度数据(由于从倾斜面捕获的数据质量较低，因此可能是正交的)。

数据密度是指单位面积的数据点数量。可能要求最小数据密度，从而在捕获具有特定最大曲率(曲率＝1/局部半径)的对象时实现所期待的全局精确度。除了曲率，数据密度还与可捕获的特征的频率有关。例如，可以使用数据密度对100粒度的砂纸(每平方英寸100粒)的颗粒进行检测，其中，该数据密度具有每平方英寸100个数据点的最小倍数。用于检测颗粒特征的最小倍数通常为4(即每平方英寸400个点)，因为线性数据密度需要是颗粒线性密度的两倍，并对此进行平方以获得区域密度。这是检测典型颗粒所需的最小密度，但不能保证表示需要更高的数据密度的完整形状。

在3D扫描中，与精确度无关，通常希望捕获具有特定最小数据密度的对象或给定特征。例如，当具有特定最小数据密度时，捕获的浮雕字的数据能够更加清晰，而不考虑数据的精确度(数据可能被移动任意相同量而具有非常低的精确度，但仍是清晰的)。

对于实现全局精确度而言，数据密度虽然必要但不充分。精确度可以被认为是数据中的位置表示与实际对象上的对应位置之间的差异的倒数(inverse)(例如“已知事实”)。通常错误地混淆精确度和误差，但随着误差的降低精确度会提高，因此精确度与误差成反比。任意给定的数据点可能是完全准确的(不需要数据密度)，但是数据点之间的全局精确度需要数据密度，对此将在下面说明。

数据密度意味着数据点之间的平均线性间距(通常也称为分辨率)：如果我们每单位面积有X个数据点，那么平均线性密度是每单位长度X个数据点的平方根，并且，数据点之间的平均间距是1/(平均线密度)；对于捕获对象细节而言，在点之间具有最小间距以及最小数据密度十分重要。根据定义，更精细的细节具有更高的曲率。当数据点连接为三角形网格时，给定区域的曲率越高点间距必须越小(因此数据密度必须越高)，从而实现所需的最小绝对误差，这是本领域普通技术人员已知的过程。

对于许多包括小型精密零件的工程用例，分辨率需要在0.001mm和0.1mm之间。对于其他用例，例如较大的零件、建筑用途或消费者用途，可以接受1mm至100mm的分辨率。

传统3D扫描方法的一个特征是利用平面图像传感器收集数据点。数据点是3D(例如x，y，z值)的，但是它们由平面传感器上的位置收集。其结果，当被捕获对象或场景的区域相对于传感器平面成一定角度时，收集的数据点被展开。当扫描对象的区域与图像传感器的平面成显著角度(例如，大于45度)时，相比平行于传感器的区域，对象表面的单位面积的数据点的数量显著地低于标定数据密度。此外，从与图像传感器的平面具有显著角度的对象区域收集的数据相比从几乎平行于图像传感器的平面的区域收集的数据，其精确度更差。传统的3D扫描技术通常不会向用户提供有关数据密度的实时反馈，或者尽管确实提供了一些反馈，也仅为关于是否已在某个区域中捕获数据，而不会提供相对于被扫描对象的表面积的局部密度。传统的3D扫描技术通常不向用户提供关于数据精确度的反馈(实时或其他)。

本系统和/或方法向用户提供关于捕获时的数据密度和可选的数据精确度的实时反馈。此外，反馈可以表示相对于对象表面的角度的数据密度(而不是相对于平行于传感器的平面)。另外，反馈可以表示在单个捕获时段收集的多个重叠数据集的组合所产生的净数据密度。例如，扫描相机(可以是手持的)每秒可以捕获许多数据集(例如，在2和100之间；在一个示例中，期望值可以是10)，并且这些数据集可以实时或者几乎实时地对准，以提供基于在由该区域分割的被扫描对象表面的给定区域中收集的数据点总数的净数据密度。注意，每个数据集大体可以从不同的相机姿势(姿势是指角度和位置)收集，因此与被扫描对象的区域形成不同的角度。提供给用户的反馈可以表示反映从不同角度捕获的数据的组合效果的净数据密度。反馈可以显示何时达到所需的数据密度(和/或数据精确度)，或者可以平滑地改变以反映任何存在的净数据密度或精确度。

3D扫描数据点的精确度受许多因素的影响，包括校准误差、传感器和投影仪过程的固有误差，以及相移轮廓测量法的情况下，与扫描对象的场景中的光行为有关的误差。在扫描过程中，用户可以控制一些影响所收集的数据精确度的因素，尤其是与场景中的光有关的因素。例如，当扫描仪靠近对象时所收集的数据的精确度可能更高，而当扫描仪远离对象时，收集的数据的精确度可能更低。不太明显的是，当传感器平面(或由投影仪和传感器几何形状限定的一些其他平面)几乎平行于被扫描对象的表面时，数据可能更准确。或者，如果对象是有光泽的，则在传感器“看到”镜面高光的情况下精确度可能非常低，相反，对于扫描仪和对象之间特定的可能窄的角度带而言，精确度得到显著提高。环境光源还可以反射场景和/或对象以影响某些扫描仪或对象位置的数据质量。扫描仪能够检测正在接收的数据的绝对或相对精确度。例如，如果原始传感器数据接近或超过传感器饱和阈值(最大读数)，则扫描仪或扫描软件可以判定数据的精确度可能很差。在另一个示例中，如果接收到的数据表明扫描仪和对象之间存在较高的相对角度，系统可以判定数据精确度可能较低(无论是否可以确定特定的局部精确度，这都可以实现)。用户可以实时控制扫描仪的角度和位置(特别是对于手持式扫描仪)。本系统和/或方法可以向用户提供关于数据精确度的反馈，该反馈可以使用户动态地改变扫描仪位置、角度或场景环境照明或扫描仪投影仪亮度，因此相比她或他没有该反馈的情况，可以实现更高的净数据精确度。

图7中所示的视觉反馈系统有利地提供关于数据质量和/或数据密度的实时反馈，因此扫描仪用户可以容易且自信地在重要区域中实现期望水平的数据质量和密度，并且可以在不重要的区域使用低的数据质量或数据密度。这为典型的扫描系统提供了解决技术问题的技术方案，典型的扫描系统很难在难以扫描的区域(例如凹陷)捕获数据，并且不提供有关数据精确度或数据密度的反馈。其结果，对于预期的应用，无法保障总是以足够的精确度或数据密度捕获重要特征。作为示例，基于典型的3D扫描数据制造的部件可能无法满足所需公差，因此无法正确拟合。

图8A和8B描绘了结构光扫描过程。

图8A示出了扫描过程，其中扫描仪802a使用投影仪(例如，投影仪204)创建结构化光照射图案804a，该投影仪照射待扫描对象806a并且还使用溢出照射810a照射场景808a的其余部分。扫描仪802a捕获对象806a和场景808a的图像，以便重建3D模型(未示出)。溢出照射810a使得在3D模型中重建部分场景808a。

图8B示出扫描过程，其中扫描仪802b使用投影仪(例如，投影仪204)创建结构光照射图案804b，该投影仪照射待扫描对象806b。与图8A的扫描过程相反，可以主动地将照射图案804b裁剪至较小的区域，使得它主要照射对象806b或其一部分，并且不会照射场景808b。由此能够获取表示对象806b的3D扫描数据，并且可以不包含场景808b的伪影。裁剪照射部分804b可以通过如下方法实现：获取一个或多个3D数据集，搜索附近的数据子集(例如，在扫描范围的中间的+/-25％之内)，然后通过移除朝向具有向上的法向量的数据(根据重力矢量)底部的任何大平面区域进一步从数据向下选择；之后，可以创建一个图像掩模，该掩模与投射到平行于光源的平面(例如投影仪)上的其余3D数据的形状相匹配。最后，通过在每个图像图案和图像掩模之间执行逐像素布尔并集运算(pixel-wise boolean unionoperation)来剪切要投影的光图案(在本领域技术人员已知的普通图像处理中常见的操作)。可能希望稍微扩展图像掩模和/或周期性地更新图像掩模的形状，使得即使在扫描设备和被扫描对象之间的相对运动之后也能正确地裁剪投影图像。上述裁剪的替代方法是使用计算机视觉(CV)技术在2D捕获图像中识别最突出的前景对象，并使用最突出对象的边界来创建剪切掩模(clipping mask)。扫描仪802b可以拍摄对象806的数字照片(例如，捕获静止或运动图像)、视频或其他初步数据，并执行分析步骤，例如使用计算机视觉(CV)算法来识别对象806b的边界，然后使用该分析结果主动产生结构光照射图案(例如804)，使其照射对象806b而不是其他对象或场景808b。可以与照片结合或替代照片使用其他类型的传感器和数据收集器，包括但不限于声纳、蓝光、红外线、TOF(time-of-flight)、激光雷达、焦深和视频来推断出待扫描的对象的边界。

图8C显示扫描过程，其中扫描仪802c创建照射待扫描对象806c的结构化光照射图案804c。与图8A的扫描过程相反，在更加受限的区域生成照射图案804c，避免捕获过多的3D数据，潜在地包括避免从周围场景808c捕获不需要的数据。照射图案804c可以具有固定的边界形状和尺寸(例如圆形、椭圆形或正方形或一些其他规则或不规则的几何形状)，或者它可以动态地变化，并且可以按照每帧生成照射图案804c的边界形状和尺寸(可能为每个捕获的图像动态生成，用于在捕获的图像之间可能小于100毫秒的时间跨度内重建3D数据)。照明图案804c的形状可以基于已经捕获的先前3D扫描数据生成，或者可以基于与扫描过程同时捕获的照片或视频数据生成，或者可以基于其他传感器数据生成或者可以是它可以是静态的，或是上述任意组合。

图9A至图9E示出了手持式3D扫描仪902的一种可能配置的若干视图。扫描仪902具有扫描模块904，扫描模块904包括相机906和主动照明源908。照明源908可以是投影仪、调制激光器、LED光源(例如发光模块)或其他主动控制的光源。扫描仪902还可以包括具有屏幕912的屏幕部分910。屏幕912可以是任何形式的视觉用户反馈设备，包括LED、OLED、LCD、投影仪或其他视觉反馈设备。扫描仪902还可以包括连接件914(例如连接构件)，其可移动地(例如，可旋转地)连接扫描模块904和屏幕部分910，使得扫描模块904可以相对于屏幕部分910移动或旋转。连接件914允许扫描模块相对于屏幕912的相对移动。在一个示例中，旋转可以高达大约270度(例如270度+/-5度)。扫描模块904可保持相机906和照明源908的刚性对准以产生主扫描方向916。屏幕912可以具有主观看方向918。连接件914可以允许用户改变主扫描方向916和主观察方向918之间的相对角度。

具有显示屏和3D数据捕获传感器的3D捕获系统可相对于彼此旋转。本领域普通技术人员清楚模可以按照各种方式实现模块之间的旋转(例如枢轴)。用户可以抓住显示屏并旋转捕获传感器，反之亦然，由此，使每个组件可单独旋转。这允许在一个方向上捕获数据的同时从不同方向查看数据，例如，在捕获位于用户头部上方的建筑细节时，其中，捕获传感器的指向为水平或略微向下以捕获物品顶部，而屏幕朝下倾斜使得用户无需歪斜他或她的头部便可观看屏幕(如果固定到捕获传感器方向，则屏幕朝上，必须爬梯子才能够看到屏幕)。这还允许用户在难以到达的区域中舒适地捕获图像数据。

图10至图l0R示出了3D扫描装置1002的实施例的若干视图和选项。扫描设备1002可具有扫描模块1004，扫描模块1004可通过可旋转耦合件(未示出)相对于基座1006旋转。扫描模块1004可包括第一相机1008、可选的第二相机1010和照明源1012。扫描模块1004还可包括冷却风扇1014和冷却翅片1016。

图10A示出了扫描模块1004、第一相机1008和照明源1012的一种可能配置。

图10B示出了具有第一相机1008、可选的第二相机1010和照明源1012的扫描模块1004的另一种可能配置。

图10C示出了具有第一相机1008、可选的第二相机1010和照明源1012的扫描模块1004的另一种可能配置。

图10D示出了扫描模块1004的内部组件的一种可能配置，包括第一相机1008、可选的第二相机1010、照明源1012和冷却风扇1014。

图10E示出了扫描模块1004的另一种可能配置，包括可选的冷却翅片1016。

图10F示出了可能通过扫描器模块1004的气流以及照明源1012、相机1008和冷却风扇1014的布置。

图10L、10M、1ON、10O、10P、10Q和10R示出了扫描设备1002和扫描仪模块1004的更多可能的配置，包括相机1008、可选的第二相机1010和照明源1012。

图11A、11B和11C示出了扫描装置1102的不同的视图和旋转配置。扫描设备1102可以包括扫描模块1104、基座1106、用户反馈屏幕1108、相机1110、照明设备1112和交互按钮1114。按钮1114可以是快门按钮、捕获触发器、电源按钮或一些其他功能按钮。扫描器模块1104可以借助旋转耦合件(未示出)可旋转地连接到基座1106，使得扫描模块1104相对于基座1106和/或屏幕1108旋转。

图12A、12B、12C、12D和12E示出了扫描装置1202的不同视图和旋转配置。扫描设备1202类似于图11的设备1102，但几何形状略微不同，在某些情况下可以更好地适应内部组件的放置和/或用户人体工程学。特别地，扫描模块1204可以具有偏移部分1206，以为相机1208和/或照明源1210和/或屏幕1212留出更多空间。图12c、12d和12e示出了具有处于不同旋转位置的扫描模块1204的扫描设备1202。

图9至图12的系统有利地提供了扫描过程的实时反馈，当扫描难以到达的区域时(如头顶或下方)，用户可能难以在保持扫描仪传感器指向正确方向的同时看到扫描仪的反馈屏幕。这为典型系统的技术问题提供了技术解决方案，在典型系统中，当扫描难以到达的区域(例如头顶或下方)时，用户可能难以在保持扫描仪传感器指向正确方向的同时看到扫描仪的反馈屏幕。

图13是描绘根据本公开的一个或多个方面的包括多个可能顺序捕获模式的多阶段3D扫描的方法1302的流程图。

在框1304中，在第一扫描模式中，用户以低分辨率从不同的有利位置捕获3D对象的扫描数据。在该示例中，这可以是待捕获对象的大体形状的宽的、快速的、低数据密度(例如，低分辨率)的捕获。

在框1306中，捕获对象的2D图像。在一个示例中，该方法可以在不捕获2D图像的情况下完成。

在框1308中，计算相对于在2D图像中识别的对象的3D数据的覆盖范围和边界。或者，可以直接测试低分辨率3D数据的覆盖范围，例如使用相对于捕获的3D数据的总大小(例如，表面积)的闭合度量(metrics of closure)或孔大小(例如，缺失数据)。

在判定框1310中，确定3D数据覆盖范围是否达到最小阈值。

如果在框1310处为是，则进行到框1312以可选地警告用户阶段1的低分辨率数据捕获已完成。

在框1314中，在第二模式中，用户以更高分辨率从不同有利位置捕获3D对象的扫描数据。可以启动第二种模式以在需要时捕获更多细节。在另一个示例中，可以启动第二模式以捕获有用的特定特征，例如用于捕获孔或凹陷的可选模式；捕捉凸台/凸起的可选模式；用于捕获暗对象(或混合暗对象的暗区)的可选模式；用于捕获亮对象(或混合反射率/镜面反射对象的闪亮区域)的可选模式；用于捕获光对象(或混合亮度对象的亮区)的可选模式；用于捕获透明对象(或混合透明对象的透明区域)的可选模式。

在框1316中，向用户显示高分辨率数据覆盖范围的反馈。

在框1318中，用户继续捕获高分辨率数据，直到在框1320处在期望区域中实现覆盖范围。

以上参照图13(或本申请中描述的任何其他模式)描述的扫描模式可以是用户驱动的(例如，可以通过用户输入进行切换的模式)或者可以包括自动切换(例如，无用户输入)的扫描模式。自动切换扫描模式的一个示例是，当完成待扫描对象的充分的低分辨率覆盖，扫描仪可以自动从宽的低密度模式切换到更细致的扫描模式。

图13中阐述的过程有利地提供第二较高分辨率扫描模式以实现对象的期望3D数据覆盖。在一个示例中，这可以自动完成(例如，没有用户输入)。这为典型扫描系统提供了技术问题的技术解决方案，典型的扫描系统很难在难以扫描的区域(如凹陷区域)捕获数据，并且不提供关于数据精确度或数据密度的反馈。其结果，对于预期的应用，无法始终以足够高的精确度或数据密度捕获重要特征。例如，基于典型3D扫描数据制造的部件可能不满足所需的公差，因此无法正确拟合。

图14是可作为客户端或服务器或多个服务器实现本文描述的系统和方法的计算设备1400、1450的框图。计算设备1400旨在表示各种形式的数字计算机，例如膝上型计算机、台式机、工作站、个人数字助理、服务器，刀片氏服务器、大型机和其他适合的计算机。计算设备1450旨在表示各种形式的移动设备，如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。另外，计算设备1400或1450可以包括通用串行总线(USB)闪存驱动器。USB闪存驱动器可以存储操作系统和其他应用程序。USB闪存驱动器可以包括输入/输出组件，例如无线发送器或可以插入另一计算设备的USB端口的或USB连接器。本文所示的组件的连接和关系以及它们的功能仅作为示例，并不限制本文描述和/或要求保护的发明的实现。

计算设备1400包括处理器1402、存储器1404、存储设备1406、连接到存储器1404和高速扩展端口1410的高速接口1408，以及连接到低速总线1414和存储设备1406的低速接口1412。每个组件1402、1404、1406、1408、1410和1412使用多种总线互连，并且可以适当地安装在公共母板上或以其他方式安装。处理器1402可以处理用于在计算设备1400内执行的指令，包括存储在存储器1404或存储设备1406上的指令，以在外部输入/输出设备(例如，耦合在高速接口1408上的显示器1416)上显示GUI的图形信息。在其他实现中，可以适当地使用多个处理器和/或多个总线以及多个存储器和多种类型的存储器。而且，可以连接多个计算设备1400，每个设备提供必要操作的部分(例如，作为服务器库、一组刀片式服务器或多处理器系统)。

存储器1404存储计算设备内的信息1400。在一个实现中，存储器1404是易失性存储单元。在另一实现中，存储器1404是非易失性存储单元。存储器1404还可以是其他形式的计算机可读介质(例如磁盘或光盘)。

存储设备1406能够为计算设备1400提供大容量存储。在一个实现中，存储设备1406可以是或包括计算机可读介质(如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备、包括在存储区域网络中或其他配置中的设备的一系列设备)。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含执行一个或多个方法的指令(例如上面描述的方法)。信息载体是计算机或机器可读介质，例如存储器1404、存储设备1406或处理器1402上的存储器。

高速控制器1408管理计算设备1400的带宽密集型操作，而低速控制器1412管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实现中，高速控制器1408耦合到存储器1404、显示器1416(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口1410、以及可以接受各种扩展卡(未示出)的高速扩展端口1410。在该实现中，低速控制器1412耦合到存储设备1406和低速扩展端口1414。包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或多个输入/输出设备(例如键盘、定点设备、扫描仪、或例如利用网络适配器等的交换机或路由器的网络设备)。

如图所示，计算设备1400可以通过多种不同的形式实现。例如，它可以实现为标准服务器1414，或者在一组这样的服务器中实现多次。它还可以实现为机架服务器系统1424的一部分。另外，它可以在如膝上型计算机1422的个人计算机中实现。或者，来自计算设备1400的组件可以与移动设备(未示出)中的其他组件组合(例如设备1450)。每个上述设备可以包含计算设备1400、1450中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1400、1450组成。

计算设备1450包括处理器1452、存储器1464、输入/输出设备(如显示器1454)、通信接口1466和收发器1468，以及其他组件。设备1450还可以设置有存储设备(例如微驱动器或其他设备)，以提供额外的存储。每个组件1450、1452、1464、1454、1466和1468使用多种总线互连，并且若干组件可以适当地安装在公共母板上或以其他方式安装。

处理器1452可以执行计算设备1450内的指令，包括存储在存储器1464中的指令。处理器可以实现为包括单独和多个模拟和数字处理器的芯片的芯片组。另外，可以使用多种架构中的任意架构来实现处理器。例如，处理器1402可以是FPGA、ASIC、CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器或MISC(最小指令集计算机)处理器。作为示例，处理器可用于提供设备1450的其他组件间的协调(如用户界面的控制、由设备1450运行的应用程序以及通过设备1450的无线通信)。

处理器1452可以通过控制接口1458与耦合到显示器1454的显示器接口1456与用户通信。显示器1454可以是例如TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器，或其他适当的显示技术。显示接口1456可以包括用于驱动显示器1454以向用户呈现图形和其他信息的适当电路。控制接口1458可以从用户接收命令并将它们转换以提交给处理器1452。另外，可以提供与处理器1452通信的外部接口1462，以便实现设备1450与其他设备的近区域通信。外部接口1462可以例如在一些实现中提供有线通信，或者在其他实现中提供无线通信，并且还可以使用多个接口。

存储器1464存储计算设备内的信息1450。存储器1464可以实现为计算机可读介质、易失性存储单元或非易失性存储单元中的一个或多个。还可以提供扩展存储器1474并通过扩展接口1472连接到设备1450，其中，扩展接口1472可以包括例如SIMM(单列直插存储模块)的卡接口。这种扩展存储器1474可以为设备1450提供额外的存储空间，或者还可以存储设备1450的应用程序或其他信息。具体地，扩展存储器1474可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1474可以作为设备1450的安全模块，并且可以编写有安全使用设备1450的指令。另外，可以经由SIMM卡提供安全应用程序以及附加信息(例如以不可攻击(non-hackable)的方式将识别信息放置在SIMM卡上)。

如下所述，作为示例，存储器可以包括闪存和/或NVRAM存储器。在一个实现中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含执行一种或多种方法(例如上述方法)的指令。信息载体为计算机或机器可读介质(例如存储器1464、扩展存储器1474或例如通过收发器1468或外部接口1462接收的处理器1452上的存储器)。

设备1450可以通过通信接口1466无线通信，通信接口1466可以在必要时包括数字信号处理电路。通信接口1466可以提供各种模式或协议下的通信(例如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等)。作为示例，这种通信可以通过射频收发器1468发生。另外，作为示例，可以使用蓝牙、WiFi或其他类似收发器(未示出)进行短距离通信。另外，GPS(全球定位系统)接收模块1470可以向设备1450提供与导航和位置相关的附加无线数据，在设备1450上运行的应用程序可以适当地使用该数据。

设备1450还可以使用音频编解码器1460进行话音通信，音频编解码器1460可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1460还可以为用户生成可听音(例如通过设备1450听筒的扬声器)。这种声音可以包括来自语音电话呼叫的声音、录音(例如，语音消息、音乐文件等)，并且还可以包括在设备1450上运行的应用程序生成的声音。

如图所示，计算设备1450可以通过多种不同的形式实现。例如，计算设备1450可以是蜂窝电话1480。它还可以是智能手机1482、个人数字助理或其他类似移动设备的一部分。

在此描述的系统和技术的各种实现可以在数字电子电路、集成电路、特别设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或它们的组合中实现。多种实现可包括一个或多个计算机程序的实现，该计算机程序可在包括至少一个可编程处理器的可编程系统中执行和/或解释，可编程处理器可以是特殊的或通用的，并进行耦合从而从存储系统、至少一个输入系统以及至少一个输出系统接收数据和指令，并向存储系统、至少一个输入系统以及至少一个输出系统发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程语言和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“非暂时性机器可读介质”、“非暂时性计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任意计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括将机器指令作为机器可读信号接收的机器可读介质。术语“机器可读信号”是指向可编程处理器提供机器指令和/或数据的任何信号。

为了与用户交互，本文描述的系统和技术可以在具有显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器的计算机上实现，从而向用户显示信息，并且该计算机还可以具有键盘和定向设备(例如，鼠标或轨迹球)，从而实现用户向计算机的输入。也可以使用其他类型的设备提供与用户的交互；例如，提供给用户的反馈可以是任意形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。

这里描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有可实现用户与本文描述的系统和技术交互的图形用户界面或Web浏览器的客户端计算机)，或者可以包括后端，中间件或前端组件的任意组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)，对等网络(具有ad-hoc或静态成员)，网格计算基础设施和因特网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。

本文描述了有益于所有相关用户并具有广泛用途的技术。然而，所描述的一些技术可能被不良行为者用于不良、恶意甚至非法目的。这存在于几乎所有技术当中，但当技术与用户的安全和私人信息交互时，通常会有更高的灵敏度。本文描述的全部技术设计为在尊重所有用户的权利的环境和方式下操作。因此，如用户通知、选择加入和选择退出程序以及隐私设置等类似特征的可用选项能够用于确保用户安全和隐私得到尊重。

尽管上面已经详细描述了一些实现，但也能够进行其他修改。此外，图中描绘的用于实现期待结果的逻辑流程不需要按照所示的特定顺序或序列执行。可以向所描述的流程增加其他步骤，或者可以从中去除步骤，并且可以将其他组件添加到所描述的系统或从所述系统中移除。因此，其他实现包括在权利要求书的范围内。

前文已详细描述了本发明的说明性的实施例。在不脱离本发明的思想和范围的情况下可进行各种修改和增加。为提供多种与新的实施例相关的结合特征，上述各种实施例中的每一个实施例的特征可适当地与其他实施例的特征相结合。此外，虽然前文描述了一些本发明的设备和方法的单独的实施例，但本文的描述仅仅是对本发明原理的应用的说明。例如，本文使用的各种方向性和定向性的术语(及其语法上的变形)，如“垂直”、“水平”、“上”、“下”、“底”、“顶”、“侧”、“前”、“后”、“左”、“右”等，只适用于相对情况，不作为关于固定坐标空间的绝对方位/定向，如重力作用方向。此外，过程(process)或处理器(processor)能够与其他过程和/或处理器组合或分为多个子过程或处理器。根据此处的实施例可对这种子过程和/或子处理器进行各种不同的组合。同样地，可明确设想到，本文的任何功能、过程和/或处理器能够利用电子硬件、软件或硬件和软件的结合实施，这些软件包括过程指令的非暂时计算机可读的媒介。因此，本说明仅仅起示例性作用，并不旨在限制本发明的范围。

Claims (18)

1.一种数据采集系统，包括：

显示模块；

传感器模块；

发光模块。

2.根据权利要求1所述的数据采集系统，其中，

所述传感器模块包括第一传感器和第二传感器。

3.根据权利要求2所述的数据采集系统，其中，

所述第二传感器的视场大于所述第一传感器的视场。

4.根据权利要求1所述的数据采集系统，其中，

所述显示模块可通过连接构件相对于所述传感器模块旋转。

5.根据权利要求1所述的数据采集系统，其中，

所述发光模块包括投影仪、发光二极管阵列或发光屏幕中的至少一个。

6.根据权利要求2所述的数据采集系统，其中，

所述第一传感器和所述第二传感器中的至少一个具有主相机轴，并且所述发光模块具有主发光轴，使得所述主相机轴与所述主发光轴之间的角度约为0度到30度。

7.一种扫描环境中的对象的方法，包括以下步骤：

在所述对象上投射光；

使用第一传感器捕获所述对象的至少第一图像；

使用第二传感器捕获所述环境的至少第二图像；

从所述第二图像生成元数据；以及

将元数据与所述第一图像相关联。

8.根据权利要求7所述的方法，还包括：

将所述第一图像和关联的所述元数据存储在可检索的数据库中。

9.根据权利要求7所述的方法，其中，

所述元数据包括以下中的至少一个：

与扫描系统有关的信息；

与环境中的一个或多个对象有关的信息；

与其他传感器数据有关的信息；

与所述对象有关的信息；

与进行扫描的用户有关的信息；或者

所述对象和所述环境的特征之间的一个或多个相关性。

10.一种扫描对象的方法，包括以下步骤：

在第一扫描模式下捕获第一对象的扫描数据；

将所述扫描数据与预定阈值进行比较；

基于与所述预定阈值的比较，在第二扫描模式下捕获所述第一对象的扫描数据。

11.根据权利要求10所述的方法，其中，

所述第二扫描模式包括比所述第一扫描模式更高的分辨率。

12.根据权利要求10所述的方法，还包括：

计算相对于在二维图像中识别的所述第一对象的三维数据的覆盖范围或边界。

13.根据权利要求12所述的方法，其中，

将所述扫描数据与预定阈值进行比较，包括比较所述三维数据的覆盖范围与所述预定阈值。

14.根据权利要求10所述的方法，其中，

所述第二扫描模式自动启动并且没有用户输入。

15.一种三维扫描方法，包括以下步骤：

在用手握住并旋转对象的同时，捕获对象的多个三维数据集；

识别所述多个三维数据集中不一致的数据部分；

移除所述三维数据集的不一致部分以创建修剪的数据集，其中不一致部分对应于所述手；

对准所述修剪的数据集；以及

组合所述修剪的数据集以创建表示没有手的被扫描对象的形状的统一的结果。

16.根据权利要求10所述的三维扫描方法，其中，

在保持握住所述对象的状态下执行所述方法。

17.一种三维扫描方法，包括以下步骤：

使用传感器捕获对象的一个或多个图像；

在显示器上显示所述对象的一个或多个图像；以及

在显示关于所述一个或多个图像的精确度或数据密度中的至少一个的所述对象的一个或多个图像的同时，显示实时视觉反馈。

18.根据权利要求17所述的三维扫描方法，其中，

所述实时视觉反馈包括以表示精确度或数据密度中的至少一个的不同颜色或纹理显示的所述对象上的差异区域。