CN104871176A - 扫描设备及用于定位扫描设备的方法 - Google Patents

扫描设备及用于定位扫描设备的方法 Download PDF

Info

Publication number
CN104871176A
CN104871176A CN201380066415.2A CN201380066415A CN104871176A CN 104871176 A CN104871176 A CN 104871176A CN 201380066415 A CN201380066415 A CN 201380066415A CN 104871176 A CN104871176 A CN 104871176A
Authority
CN
China
Prior art keywords
scanning device
pattern
image
unit
master map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380066415.2A
Other languages
English (en)
Other versions
CN104871176B (zh
Inventor
D·N·兹纳缅斯基
F·H·范黑施
R·弗卢特尔斯
K·C·范布雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN104871176A publication Critical patent/CN104871176A/zh
Application granted granted Critical
Publication of CN104871176B publication Critical patent/CN104871176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明涉及一种用于扫描对象(12)的扫描设备(10、10’)，其中，所述扫描设备包括：投射单元(16)，其用于将对齐图像(28)投射到所述对象(12)上，所述对齐图像(28)包括主图样(26)；图像捕获单元(18)，其用于捕获所述对象(12)的实况相机图像(30)，所述实况相机图像(30)包括所述主图样(26)的衍生图样(32)，所述衍生图样(32)表示从所述图像捕获单元(18)视角查看到的所投射的所述对齐图像(28)；以及对齐单元(22、22’)，其用于基于捕获到的实况相机图像(30)来提供对所述扫描设备(10、10’)的关于被扫描的对象(12)的正确位置和/或取向的指示。

Description

扫描设备及用于定位扫描设备的方法
技术领域
本发明涉及一种用于扫描对象，尤其是用于扫描对象的3D表面的扫描设备。
此外，本发明涉及一种用于关于要被扫描的对象定位扫描设备的方法。
背景技术
扫描设备通常利用图像传感器收集从对象反射的光，以生成对象的图像。图像传感器将光能转换为电荷，并且最后转换为表示光的颜色和强度的比特组。得到的数字图像例如是诸如纸的相对平坦对象的二维图像，所述相对平坦对象例如被放置在平台式扫描器上。
3D扫描是将对象的几何形状或形式转换为数据点集的技术。每个点可以表示被扫描的对象的表面在三维空间中的实际点。收集到的数据能够用于构建数字、三维模型。收集到的3D数据可广泛用于各种应用。例如，娱乐行业在制作电影和数字游戏中广泛使用3D扫描技术。该技术的其他常见应用包括工业设计、矫形和假体、逆向工程和成型技术、质量控制/检查以及文化产品的记录。
尤其是，能够收集人脸的3D数据。捕获到的面部轮廓和几何结构能够用于设计面罩，所述面罩应用于包括CPAP(持续气道正压通气)的许多医学领域中。对面部轮廓的精准3D建模使得对避免空气泄漏问题的合适的面罩的制造容易，空气泄漏能够导致眼部刺激。
存在能够用于建立3D扫描设备的许多不同技术。一种公知的分类方法将所述扫描技术划分为两种类型：接触式3D扫描和非接触式3D扫描。
接触式3D扫描器通过物理接触来探查对象，同时对象与精确平坦表面板接触或静止在精确平坦表面板上。该类型的扫描技术主要用在制造中并且能够非常精确。接触式扫描的缺点是其需要与被扫描的对象接触。因此，对象在扫描过程期间可能会被改变或被损伤。此外，相比于其他扫描方法，该扫描技术通常很慢。此外，不期望使用这样的3D接触式扫描器来扫描人脸的面部轮廓。
3D扫描技术的另一种常见种类是有源非接触式扫描。有源意味着各自的扫描器发出特定类型的编码的、结构化的或非编码的能量(例如，光)，并且检测所述能量在被扫描的对象处的反射，以便探查对象并且捕获对应的3D表示。
有源非接触型3D扫描器最常基于对三角测量法的使用。在该情况下，扫描器例如将激光射束引导在对象上，并且使用相机来寻找激光点的位置。取决于激光多么远地撞击对象的表面，激光点出现在相机的视场中的不同位置处。基础技术因为激光点、相机及激光发出器形成三角形而被称为三角测量法。
代替于单个激光点，光的图样能够被投射在对象上。该类型的扫描器被称为结构化的光扫描器，并且能够被视为有源非接触式扫描器。图样可以是诸如线的一维图样或诸如网格的二维图样或线条纹图样。例如使用LCD投影器将光图样投射到对象上。从图样投影器稍微偏移的相机捕获从相机视角查看到的结构化的光。此外，分析捕获到的图像并且评估图样失真。借助于基于三角测量法的算法，来计算到图样的每个点的距离。通过在对象的表面上扫描光图样，能够得到对象的3D表示。结构化的光3D扫描器提供非常快速的扫描。代替于同时扫描一个点或一条线，结构化的光扫描器能够一次扫描多个点或多条线或整个视场。
然而，为了采集合适的扫描，扫描器应当被定位于距对象特定的距离和/或角处。为了适当地对齐扫描器，公知地，例如使用静态目标图样，所述静态目标图样包含需要通过移动及旋转手持扫描器来与面部特征对齐的标记物。作为范例，患者的面部的眼睛需要与所投射的圆对齐，而十字需要与鼻尖对齐。然而该对齐流程仅提供相当不准确的结果，并且已被发现对于使用这样的扫描器的睡眠技师而言并不足够直观。此外，如果对象和扫描器能够自由移动(例如，借助于手持扫描器在没有颏支撑器的情况下扫描人的头部)，则用户在评估合适的扫描位置中可能会有困难。因此，需要特定形式的反馈或辅助，来关于要被扫描的对象正确地定位扫描设备。
发明内容
因此，本发明的目的是提供辅助用户来找到扫描设备的关于被扫描的对象的正确位置和/或取向的扫描设备和方法。
在本发明的第一方面中，提供了一种用于扫描对象的扫描设备，所述扫描设备包括：投射单元，其用于将对齐图像投射到所述对象上，所述对齐图像包括主图样；图像捕获单元，其用于捕获所述对象的实况相机图像，所述实况相机图像包括所述主图样的衍生图样，所述衍生图样表示从所述图像捕获单元视角查看到的所投射的所述对齐图像；以及对齐单元，其用于基于捕获到的实况相机图像来提供对所述扫描设备的关于被扫描的对象的正确位置和/或取向的指示。
在本发明的又一方面中，提供了一种用于关于要被扫描的对象定位扫描设备的方法，其中，所述方法包括：将对齐图像投射到所述对象上，所述对齐图像包括主图样；捕获所述对象的实况相机图像，所述实况相机图像包括所述主图样的衍生图样，所述衍生图样表示从图像捕获视角查看到的所投射的所述对齐图像；基于捕获到的实况相机图像来提供对所述扫描设备的关于被扫描的对象的正确位置和/或取向的指示；并且基于所提供的指示来改变所述扫描设备的位置和/或取向，使得当重复前面的步骤时，所述扫描设备基本上占据所述正确位置和/或取向。
所述扫描设备的所述投射单元能够例如是能够将包括所述主图样的所述对齐图像投射到所述对象上的LCD投影器或者任何其他稳定光源。通常，电荷耦合器件或CMOS传感器用作所述图像捕获单元，以用于捕获所述实况相机图像。由于所述扫描设备是基于结构化的光原理的，因而所述投射单元将光的图样投射到所述对象上并且评估在所述对象上的所述图样的变形，以便得到被扫描的对象的3D表示。为了采集精确扫描并且为了确保要被扫描的对象在扫描器的操作范围内，必须关于所述对象对齐所述扫描设备的位置和/或取向，即，所述扫描设备必须被定位于距所述对象的特定距离/角范围处。用户能够通过基于所提供的指示而仅相对于所述对象移动所述扫描设备，来非常容易地对齐所述位置和/或取向。为了提供所述指示，所述扫描设备可以评估捕获到的实况相机图像，并且可以基于所述评估来确定所述扫描设备的可能的未对齐。在该情况下，所述指示包括与所确定的未对齐有关的信息。备选地，由所述扫描设备的操作者基于所述指示来评估所述扫描设备从所述正确位置和/或取向的偏离，其中，在提供所述指示之前，所述扫描设备并不评估所述扫描设备的对齐。由于低复杂性，所述扫描设备的提出的对齐能够非常快速地被执行。
从属权利要求中定义了本发明的优选实施例。
在第一实施例中，所述投射单元被配置为投射静态主图样，其中，所述对齐单元是叠加单元，所述叠加单元被配置为通过将捕获到的实况相机图像与所述静态主图样叠合，来更新所述对齐图像，如果所述静态主图样与所述衍生图样在经更新的对齐图像中基本上符合，则所述经更新的对齐图像指示所述扫描设备的关于所述被扫描的对象的所述正确位置和/或取向。换言之，所述扫描器的用户直观地理解，一旦所述静态主图样与所述衍生图样在所述经更新的对齐图像中基本上符合，所述扫描设备就被合适地对齐。在该实施例中，不必将复杂算法实施在所述扫描设备中来评估所述扫描设备的正确对齐。相比于自动对齐流程(其例如能够由于面部毛发以及造成模糊的相机图像的扫描器或对象的移动而失灵)，所提出的使用用户的潜意识视觉反馈的对所述扫描设备的人工对齐被视为非常鲁棒的解决方案。
在又一个实施例中，所述投射单元被配置为投射包括基本图样的主图样，其中，所述正确位置和/或取向是所述扫描设备的关于所述被扫描的对象的正确距离。所述基本图样例如能够包括圆以及相交在所述圆的中心处的两条线。从所述投射单元稍微偏移的所述图像捕获单元从图像捕获单元视角捕获所述基本图样。如果所述静态主图样与所述衍生图样在经更新的对齐图像中不符合，则到所述对象的距离没有被正确地设置。因此，用户必须将所述扫描设备移动为更接近或更远离所述对象。借助于叠合的图样，能够非常快速地并且以简单、直观且更加鲁棒的方式对齐所述扫描设备到要被扫描的对象的距离。
在又一个实施例中，所述投射单元被配置为投射包括所述基本图样以及补充图样的主图样，其中，所述正确位置和/或取向是所述扫描设备的关于所述对象的正确角度。除所述基本图样之外，所述主图样还能够包括所述补充图样，所述补充图样例如由被布置在所述基本图样的圆外部的两个不同侧上的两条额外的线构成。所述主图样，如该实施例中指定的，使所述扫描设备的关于所述被扫描的对象的位置和/或取向的对齐容易。所以，如果所述静态主图样与所述衍生图样在经更新的对齐图像中不符合，则用户也能够必须相对于所述对象旋转所述扫描设备。由所述对齐图像包括的所述静态主图样和所述衍生图样的视觉反馈实现所述扫描设备的角位置的快速、容易、直观并且更加鲁棒的对齐。
在另一个实施例中，所述扫描设备还包括处理单元，所述处理单元用于处理捕获到的实况相机图像，并且被配置为将经处理的实况相机图像提供到所述叠加单元。借助于所述处理单元，所述实况相机图像在其由所述主图样叠合之前，能够被调整。这实现经更新的对齐图像的改进的质量，并且因此方便所述扫描设备的关于所述对象的更加精确的对齐。
在又一个实施例中，所述处理单元被配置为缩放所述实况相机图像。所述缩放功能用于匹配所述图像捕获单元的纵横比与所述投射单元的纵横比。由于所述处理单元可以用于将所述投射单元的图形特性与所述图像捕获单元的图形特性同步，因而实现了所述投射单元与所述图像捕获单元的非常灵活的组合。此外，改进了静态主图样和实况相机图像的对齐的质量，从而方便所述扫描设备的更加精确的对齐。备选地，能够进一步增加缩放率，以改进视觉反馈的敏感度并且降低纹理鬼影。
在另一个实施例中，所述处理单元被配置为变换所述实况相机图像，使得当所述扫描设备被合适地对齐到校准对象时，所述主图样与所述衍生图样在经更新的对齐图像中基本上符合。在该实施例中，所述扫描设备提供首先关于校准对象对齐所述扫描设备的选项。针对该对齐对象，所述合适的距离和角是用户已知的。这意味着，如果所述扫描设备被定位于已知距离和角处，则所述静态主图样与所述衍生图样在经更新的对齐图像中理论上应当符合。如果所述图样不符合，那么所述处理单元被编程为变换所述实况相机图像，使得所述主图样与所述衍生图样最终在经更新的对齐图像中符合。找到的变换被存储并且被应用在视觉反馈回路中。该措施改进了视觉反馈。
在又一个实施例中，所述叠加单元被配置为：与应用到所述主图案相比，将不同亮度和/或颜色应用到捕获到的实况相机图像。不同亮度和/或颜色允许更容易地分辨所述主图样与所述衍生图样。结果，用户能够更精确地对齐所述扫描设备。
在另一个实施例中，所述叠加单元被配置为通过重复地将连续捕获到的实况相机图像与所述主图样叠合，来重复地更新所述对齐图像。在该实施例中，当改变所述扫描设备的位置和/或取向时，用户得到连续视觉反馈。因此，该措施加快所述扫描设备的对齐的速度。
在又一个实施例中，所述扫描设备被配置为抑制或避免在经更新的对齐图像中的鬼影图样。当通过重复地将连续捕获到的实况相机图像与所述主图样叠合来重复地更新所述对齐图像时，所述经更新的对齐图像可以包括从包括所述投射单元、所述图像捕获单元以及所述叠加单元的闭合回路得到的许多鬼影图样。尽管由于所述鬼影图样全部偏离在相同的方向中因此所述鬼影图样而可能感受不到扰动，并且在对对齐的精细调谐期间所述鬼影图样甚至可以支持用户，但是在特定实施例中能够有效地抑制或者甚至避免鬼影图样。
在另一个实施例中，所述叠加单元被配置为通过以下来抑制所述鬼影图样：增强所述实况相机图形的对比度以从所述实况相机图像的背景分割所述衍生图样，并且将所述实况相机图像的亮度归一化以使得亮度是低于所述主图样的亮度的预定比率。由于这些措施，所述对齐图像基本上仅包括所述静态主图样以及所述衍生图样，所述衍生图样在该实施例中仅由从所述图像捕获单元透视查看到的所述主图样构成。鬼影图样以及与投射的图样不相关的其他图像内容(双鬼影鼻子/眼睛等)被抑制。因此，用户的注意力仅被定于这两个图样。
在又一个实施例中，所述图像捕获单元被配置为通过将所述图像捕获单元与所述投射单元同步来避免鬼影图样，使得所述衍生图样及捕获到的实况相机图像仅由从所述图像捕获单元视角查看到的所述主图样构成。如果所述静态主图样由所述图像捕获单元已知，则使得所述图像捕获单元能够采集仅包含从所述图像捕获单元透视查看到的所述主图样。因此，能够通过该措施来有效地避免鬼影图样。
在又一个实施例中，所述投射单元被配置为针对所述主图样使用第一颜色通道并且针对所述衍生图样使用第二颜色通道，来投射经更新的配置图像，其中，所述图像捕获单元被配置为使用至少所述第一颜色通道来捕获所述实况相机图像，在该实施例中，有利地使用彩色投射单元以及彩色图像捕获单元。通过使用不同颜色通道来投射并且采集所述主图样和所述衍生图样，能够避免潜在造成混淆的鬼影图样的生成。
在另一个实施例中，所述扫描设备被配置为确定表示所述对象的至少部分的3D几何结构的3D数据。3D扫描器分析所述对象以收集与其形状有关并且可能与其外观(例如，颜色)有关的数据。收集的3D数据能够用于构建数字、三维模型。所述3D数据可广泛用于各种应用。举例来说，它们能够由娱乐行业在制作电影和电子游戏中所使用。其他常见应用包括工业设计、矫形和假体、逆向工程和成型技术、质量控制/检查以及文化产品的记录。
在又一个实施例中，所述扫描设备包括用于将所述3D数据转移到数据存储单元的接口。在一个实施例中，所述数据存储单元被定位于紧邻于所述扫描设备或者能够集成在所述扫描设备中。在另一个实施例中，所述数据存储单元被远程定位于例如制造场所处，在所述制造场所中所述3D数据用于制造产品。
例如，对象能够是人的面部。人的面部的3D数据例如能够用于制造用于所述人的个体化的面罩，例如用于医学处置的患者接口，或者用于其他应用(例如电影的制作)任何其他类型的面罩。
在发明的方法的优选实施例中，静态主图样被投射到所述对象上，其中，提供所述指示以及改变所述位置和/或取向的步骤包括以下步骤：通过将捕获到的实况相机图像与所述静态主图样叠合，来更新所述对齐图像；将经更新的对齐图像投射到所述对象上；以及改变所述扫描设备的所述位置和/或取向，使得所述静态主图样与所述衍生图样在所述经更新的对齐图像中基本上符合。该实施例提供了用于关于所述对象对齐所述扫描设备的直观方法，并且因此不需要对使用所述扫描器的人员进行特殊培训。
在另一个实施例中，所述方法还包括对齐所述扫描设备，使得所述主图样的中心指向所述对象的中心。所述主图样的中心例如能够是基本图样的圆。该圆的中心然后能够被对齐，使得所述中心指向所述对象的中心，所述中心通过范例能够是被扫描的人的鼻子。这支持所述扫描距离及所述扫描角的精确对齐。
在另一个实施例中，所述方法还包括对齐所述扫描设备，使得所述主图样的垂直对称轴与所述对象的垂直对称轴符合。所述对象的所述垂直对称轴例如能够是包括鼻梁的人脸的垂直中线。该图样在对齐过程期间支持用户，并且使对所述扫描设备的正确定位容易。
在本发明的又一方面中，所述扫描设备的所述投射单元被配置为投射包括标记物图样的主图样，其中，所述对齐单元包括计算单元，所述计算单元用于：基于捕获到的实况相机图像来确定所投射的标记物图样的深度值，所述深度值表示所投射的标记物图样的位置与所述扫描设备的位置之间的距离；并且基于所确定的深度值来计算所述扫描设备的对齐误差，所述对齐误差表示所述扫描设备的实际定位从所述扫描设备的所述正确位置和/或取向的偏离，对所述扫描设备的所述正确位置和/或取向的指示是基于所述对齐误差的。在该实施例中，所述扫描设备被配置为连续提供关于所述对齐误差的反馈。这确保所述扫描设备的关于所述对象的非常快速并且精确的对齐。
在所述扫描设备的又一个实施例中，所述对齐单元包括检测单元，所述检测单元用于确定所投射的标记物图样的位置。借助于所述检测单元，能够非常快速地识别所述标记物图样。因此，能够分别提供所述对齐误差以及所述指示，而没有任何实质性延迟。
在所述扫描设备的另一个实施例中，所述对齐单元包括呈现单元，所述呈现单元用于将对所述扫描设备的所述正确位置和/或取向的所述指示呈现到所述扫描设备的操作者。借助于从所述扫描设备提供的直接反馈，所述用户(例如，睡眠技师)能够直接对所述扫描设备的位置未对齐做出反应。这确保扫描器的正确对齐，并且因此实现对例如患者的面部的精确扫描。
在所述扫描设备的又一个实施例中，所述呈现单元被配置为呈现包括所述对齐误差的数量和/或方向的对所述扫描设备的所述正确位置和/或取向的指示。在该实施例中，所述扫描设备的用户接收关于所述对齐误差的方向和数量的精准信息。由于所述扫描设备的用户精确已知必须如何关于所述对象移动和/或旋转所述扫描器，因而所述对齐流程能够被加速。
在所述扫描设备的另一个实施例中，所述呈现单元包括叠覆单元，所述叠覆单元用于通过将所述主图样与包括对所述扫描设备的所述正确位置和/或取向的所述指示的图像叠覆，来更新所述对齐图像。可视化提供了用于指示所述对齐误差的非常直观的方法。所以，所述对齐误差能够例如被投射在人的面部的前额区域上。这意味着，关于所述扫描设备的所述正确位置和/或取向的反馈被直接呈现在操作所述扫描设备的所述用户的视场中。这实现更加用户友好地并且更加容易的对齐流程。此外，不需要额外的硬件来显示所述对齐误差。
在所述扫描设备的又一个实施例中，所述呈现单元包括视觉显示单元，所述视觉显示单元用于显示包括对所述扫描设备的所述正确位置和/或取向的所述指示的图像。在该实施例中，单独的单元用于呈现关于所述对齐误差的信息。该外部显示单元能够被定位于距操作所述扫描设备的所述用户的任何距离处。此外，能够以任何格式呈现所述信息，并且例如能够根据操作者的需求来缩放所述信息。同样，额外的文本能够被提供在所述视觉显示单元上，所述额外的文本建议所述用户必须关于所述对象如何移动和/或旋转所述扫描设备。
根据所述扫描设备的另一个实施例，所述呈现单元包括声学单元，所述声学单元用于声学地提供包括对所述扫描设备的所述正确位置和/或取向的所述指示的信息。所述声学单元例如能够包括扬声器，所述扬声器声学地提供用于通过所述对齐流程来引导所述扫描设备的操作者的信息。该声学信息能够额外地或备选地被提供到所述对齐误差的视觉呈现。
在所述扫描设备的另一个实施例中，所述投射单元被配置为投射包括空间地编码的图样和/或时间地编码的图样的标记物图样。这样的编码的图样使对所投影的标记物图样的检测容易，从而实现更加快速的对齐流程。
根据所述扫描设备的另一个实施例，所述投射单元被配置为投射包括静态元素图样的主图样。所述静态元素图样例如能够包括在对齐流程的开始时需要与人的面部的眼睛和/或鼻尖对齐的十字和/或两个圆。对静态元素图样的应用提供了所述扫描设备的粗略初始对齐。因此，对所述对齐误差的指示仅是对所述扫描设备的所述位置和/或取向的精细调谐所需要的。结果，所述对齐流程能够被加速。
根据发明方法的又一个方面，主图样包括被投射到所述对象上的标记物图样，其中，提供所述指示的步骤包括：基于捕获到的实况相机图像来确定所投射的标记物图样的深度值，所述深度值表示所投射的标记物图样的位置与所述扫描设备的位置之间的距离；基于所确定的深度值来计算所述扫描设备的对齐误差，所述对齐误差表示所述扫描设备的实际定位从所述扫描设备的所述正确位置和/或取向的偏离；以及基于所述对齐误差，来提供对所述扫描设备的所述正确位置和/或取向的指示。所提出的方法通过将关于所述对齐误差的直接反馈连续提供到所述扫描设备的操作者，改进了所述对齐流程。该反馈能够被增加到投射的图样，或者通过另一模态(例如单独的屏幕或者声学单元)给出。借助于所呈现的对齐误差，贯穿所述对齐流程直观地引导所述扫描设备的操作者。因此，所述扫描器非常快速并且精确地被对齐到所述对象。
根据另一个实施例，所述方法还包括在对所述深度值的确定之前确定所投射的标记物图样的位置。首先，必须在捕获实况相机图像中识别所投射的标记物图样。一旦该标记物的位置被确定，就借助于3D扫描器连续估计该标记物的深度值。基于深度估计，所述扫描设备的对齐误差被计算并且被提供到所述扫描器的操作者。有利地，所述主图样包括被投射到所述对象上的多个标记物图样。这使对所述对齐误差的计算容易。
应理解，要求保护的方法与要求保护的并且在从属权利要求中定义的设备具有相似和/或相同的优选实施例。
附图说明
本发明的这些和其他方面将根据下文描述的实施例变得显而易见并且参考下文描述的实施例得到阐述。在下图中：
图1示出了用于扫描对象的扫描设备的优选实施例；
图2示出了由对齐图像包括的静态主图样的不同实施例，所述对齐图像由扫描设备投射到对象上；
图3至6示出了针对扫描设备的不同未对齐的各种对齐图像；
图7示出了用于关于对象定位扫描设备的方法的优选实施例；
图8示出了根据本发明的又一方面的用于扫描对象的扫描设备的优选实施例；并且
图9示出了包括对根据本发明的又一方面的扫描设备的正确位置和/或取向的指示的示范性主图样。
具体实施方式
图1示出了扫描设备10，其通过范例用于扫描人14的面部12。在该示范性实施例中，扫描设备10是手持3D扫描器，其被配置为扫描面部12的面部表面，以便生成面部12的3D表示。3D表示例如能够用于制造在医学处置期间应用的面罩。为实现该3D表示，扫描器10必须测量扫描器10与面部12的面部表面之间的距离。这通常通过应用已知的三角测量机制来实现。
扫描器10包括投射单元16和图像捕获单元18，并且是基于结构化的光原理的。投射单元16例如是LCD/DMD投影器16。图像捕获单元18是相机18，通常是电荷耦合设备或CMOS设备。结构化的光手持3D扫描器10借助于投影器16将光的图样投射到面部12上。为了生成面部12的3D表示，扫描器10评估所述图样的变形，所述图样是借助于相机18而被捕获的。如在图1中能够查看到的，相机18从图样投影器16稍微偏移。由于相机18从不同于投影器16的角查看所投射的图样，因而取决于扫描器10与面部12的表面点之间的距离，所述图样出现在相机18的视场中的不同位置处。该技术被称为三角测量法。通过计算扫描器10与面部12的每个表面点之间的距离，能够得到面部12的3D表示。
根据该描述的方法，显然扫描器10的关于面部12的对齐是关键问题。为了采集准确的扫描，扫描器10必须被定位于距面部12特定的距离及角处。为了支持该对齐过程，扫描器10包括图样生成器20、叠加单元22以及处理单元24。图样生成器20生成静态主图样26，所述静态主图样26经由叠加单元22而被提供到投影器16。投射单元16将包括所述静态主图样26的对齐图像28投射到面部12上。然后，相机18捕获面部12的实况相机图像30，其中，实况相机图像30包括从相机18的视角查看到的投射的对齐图像28。因此，实况相机图像30包括衍生图样32，所述衍生图样是从静态主图样26导出的图样。
捕获到的实况相机图像30然后被提供到处理单元24，所述处理单元例如缩放实况相机图像30，以改进视觉反馈的敏感度。在进一步的步骤中，经处理的实况相机图像30被提供到叠加单元22。叠加单元22通过将经处理的实况相机图像30与静态主图样26叠合，来生成经更新的对齐图像28。借助于投影器16，将该经更新的对齐图像28再次投射到面部12上。作为由叠加单元22执行的叠加的结果，经更新的对齐图像28包括静态主图样26以及衍生图样32。作为选项，叠加单元22可以将不同的亮度水平和/或颜色应用到静态主图样26以及衍生图样32。因此，用户能够非常容易地在投射的对齐图像28中分辨所述图样26、32。有利地，衍生图样32在经更新的对齐图像28中表现为亮度较小，使得用户直观地识别静态主图样26与衍生图样32。
在扫描器10的优选实施例中，投射对齐图像28，捕获实况相机图像30，通过将捕获到的实况相机图像30与静态主图样26叠合来生成经更新的对齐图像28并且再次投射经更新的对齐图像28的序列，被连续地重复。这确保扫描器10的关于面部12的精确对齐。
图2a示出了包括基本图样34的静态主图样26的示范性实施例。基本图样34由圆36和十字图样38构成。优选地，用户对扫描器10进行对齐，使得圆36的中心指向面部12的中心(例如被扫描的人14的鼻子)。此外，用户在垂直方向上对扫描器10进行对齐，使得十字图样38的垂直对称轴与面部12的垂直对称轴(例如，包括人14的鼻梁的面部12的中线)符合。如将从以下范例而变得显而易见的，图2a的静态主图样26使扫描器10的关于在扫描器10与面部12之间的距离的正确对齐容易。然而，图2a的静态主图样26不适于校准扫描器10相对于面部12的取向。
图2b图示了包括基本图样34以及补充图样40的静态主图样26，所述补充图样允许扫描器10的垂直角关于面部12的对齐。在该范例中，假设投影器16及相机18在垂直方向上被布置到彼此。能够通过检查补充图样40的顶部部分和底部部分二者，来对齐扫描器10的垂直角。
图3至6示出了用于扫描器10的关于面部12的不同未对齐的各种对齐图像28。对于之后所有的对齐图像28，假设投影器16在垂直方向上被布置在相机18之上。总体而言，如果静态主图样26与衍生图样32在经更新的对齐图像28(其被投射在面部12上)中基本符合，则扫描器10相对于面部12被正确定位和/或取向。如果所述两个图样26、32在对齐图像28中不符合，则用户必须调节扫描器10相对于面部12的扫描距离和/或角，直到主图样26与衍生图样32近似符合为止。借助于图3至6，解释了用户应当如何解读对齐图像28的观测到的图样26、32。
在图3至5中，通过实线图示静态主图样26，而通过虚线图示衍生图样32。
图3示出了对齐图像28的范例，其中，扫描器10被定位为过于接近面部12。因此，用户必须将扫描器10移动为更加远离，以便对扫描器10的距离正确地进行对齐。
图3b图示了相反的范例，其中，扫描器10被定位为距面部12太远。结果，必须将扫描器10移动为更接近面部12。
图4和5示出了不同的对齐图像28，其中，静态主图样26包括基本图样34和补充图样40，所述补充图样额外地方便对扫描器10的正确取向的跟踪。
在图4a中，扫描器10被定位为太接近面部12，所以必须将扫描器10移动为更加远离。图4b图示了与示出在图4a中的范例相反的范例。如此，扫描器10被定位为距面部12太远。因此，必须将扫描器10移动为更接近面部12。
图5图示了与扫描器10与面部12之间的取向(角)有关的扫描设备10与面部12的未对齐的两个范例。在图5a中，相比于投影器16，相机18更接近于面部12。这意味着相对于面部12扫描器10是朝上看的。因此，用户必须向下旋转扫描器10。在图5b所图示的范例中，相比于投影器16，相机18距面部12更远。由于扫描器10总的来说是朝下看的，因而用户必须将其向上旋转。
该对齐流程假设，如果扫描设备10的关于被扫描的对象12的正确位置和/或取向被建立，则就主图样26与衍生图样32基本上符合而言，扫描器10被正确预对齐。例如，在扫描设备10的正确位置和/或取向是事先已知的情况下，能够通过相对于校准对象12适当地对齐扫描器10来执行预对齐。如果针对适当对齐的扫描设备10，静态主图样26与衍生图样32在对齐图像28中不符合，那么处理单元24能够被编程为搜寻这样的图像变换：主图样26与衍生图样32在对齐图像28中符合。尤其是，处理单元24能够对捕获到的实况相机图像30进行(线性)变换，直到主图样26与衍生图样32的准确叠覆被确认为止。借助于扫描器10的该预对齐，能够实现扫描器10的关于面部12的精确对齐。
作为包括投影器16、相机18、处理单元24及叠加单元22的回路(同样参见图1)的结果，对齐图像28可以包括许多鬼影图样42。在图1中，出于简洁的目的，仅图示了一个鬼影图样42(参见图6中的虚线)。
尽管鬼影图样42能够不是感受到的扰动并且在扫描器10的精细对齐期间甚至可以支持用户(因为所有鬼影图样42偏离在关于主图样26的相同方向中)，但是在对齐图像28中能够有效地抑制或者甚至避免所述鬼影图样。存在如何抑制或者甚至避免鬼影图样42的若干个选项。
在一个实施例中，实况相机图像30是对比增强的，以便从背景分割观测到的衍生图样32(可能包括若干个鬼影图样42)，并且降低纹理鬼影。此外，将实况相机图像30的亮度标准化，使得其是比主图样26的亮度低的特定的部分。这些步骤也将降低图像鬼影。
在备选实施例中，相机18与投影器16同步，使得相机18仅采集只包括主图样26的实况相机图像30。结果，投影器16投射仅包括主图样26和衍生图样32的对齐图像28，所述对齐图像继而仅包括从相机18透视查看到的主图样26。在投影器16与相机18之间的同步流程期间，主图样26的形状可以被提供到相机18。这使得相机18能够自动检测并且捕获仅主图样26。
在又一个实施例中，彩色相机和彩色投影器用于相机18和投影器16。因此，能够使用不同的颜色通道来投射及采集主图样26和观测到的衍生图样32。尤其是，投影器16在将经更新的配置图像28投射到面部12上时，能够将第一颜色通道用于主图样26，并且将第二个颜色通道用于衍生图样32。如果相机18例如使用第一个颜色通道来捕获实况相机图像30，则实况相机图像30仅包括从相机透视查看到的主图样26。结果，鬼影图样42能够被有效地避免。
图7示出了用于图示方法44的优选实施例的图，所述方法用于关于对象12定位扫描设备10。
在第一步骤46中，对齐图像28被投射到对象12上，其中，对齐图像28包括静态主图样26。
在步骤48中，关于对象12对齐扫描设备10。对齐流程包括定位扫描设备10，使得主图样26的中心指向对象12的中心。此外，应当对扫描设备10进行定位，使得主图样26的垂直对称轴与对象12的垂直对称轴符合。
在步骤50中，捕获对象12的实况相机图像30，其中，所述实况相机图像30包括从图像捕获视角查看到的投射的对齐图像28。因此，实况相机图像30包括衍生图样32，所述衍生图样继而包括从图像捕获视角查看到的静态主图样26。
在步骤52中，处理实况相机图像30。在一个示范性实施例中，实况相机图像30例如能够被缩放以匹配相机18的纵横比与投影器16的纵横比。在另一个实施例中，能够进一步增加缩放率，以改进视觉反馈的敏感度并且降低纹理鬼影。
在步骤54中，通过将捕获到的实况相机图像30与静态主图样26叠合，来更新对齐图像28。任选地，不同亮度和/或颜色能够被应用到实况相机图像30和静态主图样26。这使得在对齐图像28内区分衍生图样32与静态主图样26容易。
在下一个步骤中，经更新的对齐图像28被投射到对象12上，从而再次返回到步骤46。
如果静态主图样26和衍生图样32在经更新的对齐图像28中不符合，那么用户必须在步骤48的进一步迭代中再次关于对象12对齐扫描器10。因此，对齐步骤48也可以包括改变扫描设备10的关于被扫描的对象12的位置和/或取向。
重复步骤46至54，直到静态主图样26和衍生图样32在经更新的对齐图像28中基本上符合为止。如果实现该状态，则扫描器10被正确对齐到对象12。因此，能够采集对象12的精确扫描。此外，确保了要被扫描的对象在扫描器的操作范围内。
总而言之，图1至7描述了用于扫描对象12的扫描设备10，其中，扫描设备10包括：投射单元16，其用于将对齐图像28投射到对象12上，所述对齐图像28包括静态主图样26；图像捕获单元18，其用于捕获对象12的实况相机图像30，所述实况相机图像30包括静态主图样26的衍生图样32，衍生图样32表示从图像捕获单元18视角查看到的所投射的所述对齐图像28；以及叠加单元22，其用于通过将捕获到的实况相机图像30与静态主图样26叠合来更新对齐图像28，如果静态主图样26与衍生图样32在经更新的对齐图像28中基本上符合，则所述经更新的对齐图像28指示扫描设备10的关于被扫描的对象12的正确位置和/或取向。
此外，图1到7涉及用于关于要被扫描的对象12定位扫描设备10的方法，其中，所述方法包括：将对齐图像28投射到对象12上，所述对齐图像28包括静态主图样26；捕获对象12的实况相机图像30，所述实况相机图像30包括静态主图样26的衍生图样32，所述衍生图样32表示从图像捕获视角查看到的所投射的所述对齐图像28；通过将捕获到的实况相机图像30与静态主图样26叠合来更新对齐图像28；将经更新的对齐图像28投射到对象12上；以及改变扫描设备10的位置和/或取向，使得当重复前面的步骤时，静态主图样26与衍生图样32在经更新的对齐图像28中基本上符合。
根据本发明的又一个方面，图8图示了用于扫描对象12的扫描设备10’的另一个实施例。总体而言，扫描设备10’对应于图1示出的扫描设备10的实施例。对应的单元/元件因此由相同的附图标记来标示。在下文中，仅解释不同之处。
如图8所示，扫描设备10’包括对齐单元22’，所述对齐单元22’耦合到图样生成器20、投射单元16及相机18。对齐单元22’包括检测单元60、计算单元62及呈现单元64。在扫描设备10’的图示的示范性实施例中，呈现单元64包括叠覆单元66和声学单元68。在备选实施例中，呈现单元64能够包括叠覆单元66或者声学单元68。在扫描设备10’的又一个备选实施例中，呈现单元64也能够被布置在扫描设备10’的外部，并且例如能够包括外部视觉显示单元，例如借助于无线通信连接到计算单元62的平板电脑。
在下文中，将结合图8和9解释对齐单元22’的功能。在扫描设备10’的该实施例中，图样生成器20生成主图样26，所述主图样包括静态元素图样70以及多个标记物图样72。主图样26被提供到对齐单元22’，所述对齐单元将主图样26转发到投射单元16。如在图1所示的实施例中，投射单元16将对齐图像28投射到人的面部12上，其中，对齐图像28包括主图样26。静态元素图样70可以包括椭圆形图样70a，所述椭圆形图样分别能够被对齐在人14的眼睛和面部12处。此外，静态元素图样70能够包括十字70b，在扫描设备10’的对齐流程期间，所述十字需要被聚焦在人14的鼻尖上。通过将静态元素图样70瞄准人14的各个面部特征，扫描设备10’的粗略初始对齐被执行。因而，扫描器10’的对齐被加速。
对齐过程的以下步骤提供了对扫描设备10’的位置和/或取向的精细调谐。在图9所图示的主图样26的示范性实施例中，标记物图样72包括空间编码的图样，尤其是包括二维码的AR标签(增强现实标签)。备选地，能够使用其他类型的代码，例如时间编码图样(例如时间交替块)。在主图样26的又一备选实施例中，空间编码的图样和时间编码的图样两者被用作标记物图样72。空间编码的图样和/或时间编码的图样被应用于确保在对齐过程的较后步骤中能够容易地检测标记物图样72。
如在扫描设备10的实施例中，相机18捕获包括主图样26的衍生图样32的相机图像30。由于衍生图样32表示从相机视角查看到的投射的对齐图像28，因而衍生图样32还包括从静态元素图样70和标记物图样72导出的图样。然后捕获到的实况相机图像30被转发到检测单元60。检测单元60用于确定标记物图样72的精准位置。标记物图样72的近似位置是先前已知的这样的事实使得对标记物图样72的搜寻容易。因此，当使用空间编码的图样作为标记物图样72时，能够例如通过将滑动窗口与搜寻窗口相关，来快速找到标记物图样72的精准位置。类似地，当使用时间编码的图样作为标记物图样72时，能够应用时间滤波。一旦标记物图样72的精准位置已经被确定/估计，该位置信息就被转发到计算单元62。
标记物图样72的所确定的位置直接转化到各自的深度值。能够例如通过应用查找表来执行该变换。根据深度估计(涉及标记物图样72的位置)来导出模型，所述模型允许得出与面部12的关于扫描设备10’的位置和/或取向有关的结论。简单模型例如通过确定在图9中图示的标记物图样72a、72c和72b的深度值趋势，来估计沿面部12的垂直轴的取向。类似地，从标记物图样72d、72c和72e的深度值的趋势导出沿面部12的水平轴的取向。扫描设备10’与面部12之间的正确距离是从中央标记物图样72c的深度值或者与标记物图样72a至72e有关的全部深度值的平均值导出的。总而言之，能够根据与标记物图样72有关的深度估计，来计算扫描设备10’的关于面部12的对齐误差。该对齐误差被转发到呈现单元64。
呈现单元64负责于将对扫描设备10’的正确位置和/或取向的指示74呈现到扫描设备10’的操作者，其中，指示74是从对齐误差导出的。指示74能够被视觉和/或声学地提供到操作者。在图8所图示的实施例中，对齐误差被转发到叠覆单元66以及声学单元68。叠覆单元66通过将主图样26与包括指示74的图像叠覆来更新对齐图像28，所述指示表示对对齐误差的可视化。参考图9所图示的范例，指示74可以包括指示必须如何关于面部12旋转扫描设备10’的两个箭头(参见图9中的指示74的左侧及右侧的箭头)，并且可以包括额外的箭头(参见图9中的指示74的中央的箭头)，所述额外的箭头关于在扫描设备10’与人的面部12之间正确距离地引导用户。针对对当前对齐误差的可视化，指示74被投射到面部12上，优选地在面部的前额区域12上，因为前额区域通常相对平坦。
备选地或者额外地，除了图示在指示74中的三个箭头之外，指示74可以包括误差尺，以将对齐误差的数量可视化。此外，还能够将转向标(gimbal)可视化为指示74的部分。
声学单元68针对声学描述而处理对齐误差，并且将该经处理的信息转发到扬声器。经处理的信息可以包括声学指示74，例如，“向左转”、“向右转”、“移动为更加接近”和/或“移动为更加远离”。
扫描设备10’能够连续测量标记物图样72的深度值，并且能够向扫描设备10’的操作者提供关于当前对齐误差的连续反馈。对齐误差被视觉地和/或声学地呈现给扫描器操作者。基于对齐误差的指示74确保了在对齐流程期间对扫描设备10’的直观处理。此外，所提供的指示74实现扫描器10’的关于对象12的非常快速并且精确的对齐。通过指示对齐误差的数量和/或方向，关于需要如何旋转和/或移动扫描器10’而引导扫描器10’的操作者，以便快速降低当前对齐误差。
扫描设备10’也方便对扫描设备10’的容易且舒服的校准，其中，从扫描器内部单元到“真实世界”坐标(例如，在扫描设备10’被定位的坐标系中)的(非线性)转换被确定。在这样的校准过程中的关键工具是适当的校准模板。校准模板例如能够是校准图，所述校准图是具有包括已知间距的标记物的完全平坦板。针对校准，扫描设备10’被定位于关于校准板的多个不同距离和/或角处，其中，扫描设备10’正将图样投射在校准板上。由于校准流程通常允许关于对扫描设备10’的定位的特定自由度，因而足够将扫描设备10’定位于近似距离和/或角处。通过提供指示扫描设备10’的关于校准板的正确位置的指示74，由扫描设备10’支持该定位。因此，提出的扫描设备10’还使得没有经验的用户能够执行扫描器校准。不需要额外的特殊装备，例如，膝上电脑。
根据本发明的又一方面，图8和9公开了用于扫描对象12的扫描设备10’，其中，扫描设备10’包括：投射单元16，其用于将对齐图像28投射到对象12上，所述对齐图像28包括主图样26；图像捕获单元18，其用于捕获对象12的实况相机图像30，所述实况相机图像30包括主图样26的衍生图样32，衍生图样32表示从图像捕获单元18视角查看到的所投射的所述对齐图像28；以及对齐单元22’，其用于基于捕获到的实况相机图像30，来提供对扫描设备10’的关于被扫描的对象12的正确位置和/或取向的指示，其中，投射单元16被配置为投射包括标记物图样72的主图样26，并且其中，对齐单元22’包括计算单元62，所述计算单元用于基于捕获实况相机图像30来确定投射的标记物图样72的深度值，所述深度值表示投射的标记物图样72的位置与扫描设备10’的位置之间的距离，并且所述计算单元用于基于确定的深度值来计算扫描设备10’的对齐误差，对齐误差表示扫描设备10’的实际定位从扫描设备10’的正确位置和/或取向的偏离，对扫描设备10’的正确位置和/或取向的指示74是基于对齐误差的。
此外，根据本发明的另一方面，图8和9涉及用于关于要被扫描的对象12定位扫描设备10’的方法，其中，所述方法包括：将对齐图像28投射到对象12上，所述对齐图像28包括主图样28；捕获对象12的实况相机图像，所述实况相机图像30包括主图样26的衍生图样32，衍生图样32表示从图像捕获视角查看到的所投射的所述对齐图像28；基于捕获到的实况相机图像30，来提供对扫描设备10’的关于被扫描的对象12的正确位置和/或取向的指示；并且基于所提供的指示来改变扫描设备10’的位置和/或取向，使得当重复前面的步骤时，扫描设备10’基本上占据正确位置和/或取向，其中，主图样26包括被投射到对象12上的标记物图样72，并且其中，提供指示74的步骤包括以下步骤：基于捕获到的实况相机图像30，来确定投射的标记物图样72的深度值，所述深度值表示投射的标记物图样72的位置与扫描设备10’的位置之间的距离；基于所确定的深度值，来计算扫描设备10’的对齐误差，所述对齐误差表示扫描设备10’的实际定位从扫描设备10’的正确位置和/或取向的偏离；以及基于对齐误差，来提供对扫描设备10’的正确位置和/或取向的指示74。
尽管已经在附图和前文描述中详细图示并描述了本发明，但是这样的图示和描述应被视为说明性或示范性的，而非限制性的；本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求书，在实践要求保护的本发明时，能够理解并实现对所公开的实施例的其他变型。尤其是，所公开的扫描设备及方法也能够应用于任何其他应用中，例如，通过范例的方式，能够应用于电影和电子游戏的制作、质量控制、逆向工程或成型技术中。在本申请中，术语“符合”一般应被解读为“基本上符合”。衍生图样在多数情况下将包括关于主图样的自然变形，例如由于被扫描的对象的精准3D头部几何结构从校准对象的3D形状的偏离。
在权利要求书中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以履行权利要求书中所记载的若干个项目的功能。尽管在互不相同的从属权利要求中记载特定措施，但是这并不指示不能有利地使用这些措施的组合。
权利要求书中的任何附图标记都不应被解释为对范围的限制。

Claims (20)

1.一种用于扫描对象(12)的扫描设备(10、10’)，包括：
-投射单元(16)，其用于将对齐图像(28)投射到所述对象(12)上，所述对齐图像(28)包括主图样(26)，
-图像捕获单元(18)，其用于捕获所述对象(12)的实况相机图像(30)，所述实况相机图像(30)包括所述主图样(26)的衍生图样(32)，所述衍生图样(32)表示从所述图像捕获单元(18)视角查看到的所投射的所述对齐图像(28)，以及
-对齐单元(22、22’)，其用于基于捕获到的实况相机图像(30)来提供对所述扫描设备(10、10’)的关于被扫描的对象(12)的正确位置和/或取向的指示。
2.根据权利要求1所述的扫描设备(10)，其中，所述投射单元(16)被配置为投射静态主图样(26)，并且其中，所述对齐单元(22)是叠加单元(22)，所述叠加单元被配置为通过将捕获到的实况相机图像(30)与所述静态主图样(26)叠合，来更新所述对齐图像(28)，如果所述静态主图样(26)与所述衍生图样(32)在经更新的对齐图像(28)中基本上符合，则所述经更新的对齐图像(28)指示所述扫描设备(10)的关于所述被扫描的对象(12)的所述正确位置和/或取向。
3.根据权利要求1所述的扫描设备，其中，所述投射单元(16)被配置为投射包括基本图样(34)的主图样(26)，并且其中，所述正确位置和/或取向是所述扫描设备(10)的关于所述被扫描的对象(12)的正确距离。
4.根据权利要求2所述的扫描设备，还包括处理单元(24)，所述处理单元用于处理捕获到的实况相机图像(30)，并且被配置为将经处理的实况相机图像(30)提供到所述叠加单元(22)。
5.根据权利要求4所述的扫描设备，其中，所述处理单元(24)被配置为对所述实况相机图像(30)进行缩放。
6.根据权利要求4所述的扫描设备，其中，所述处理单元(24)被配置为变换所述实况相机图像(30)，使得当所述扫描设备(10)被合适地对齐到校准对象时，所述主图样(26)与所述衍生图样(32)在所述经更新的对齐图像(28)中基本上符合。
7.根据权利要求2所述的扫描设备，其中，所述叠加单元(22)被配置为与应用到所述主图样(26)相比，将不同亮度和/或颜色应用到捕获到的实况相机图像(30)。
8.根据权利要求2所述的扫描设备，其中，所述叠加单元(22)被配置为通过重复地将连续捕获到的实况相机图像(30)与所述主图样(26)叠合，来重复地更新所述对齐图像(28)。
9.根据权利要求1所述的扫描设备(10’)，其中，所述投射单元(16)被配置为投射包括标记物图样(72)的主图样(26)，并且其中，所述对齐单元(22’)包括计算单元(62)，所述计算单元用于：
-基于捕获到的实况相机图像(30)来确定所投射的标记物图样(72)的深度值，所述深度值表示所投射的标记物图样(72)的位置与所述扫描设备(10’)的位置之间的距离，并且
-基于所确定的深度值来计算所述扫描设备(10’)的对齐误差，所述对齐误差表示所述扫描设备(10’)的实际定位从所述扫描设备(10’)的所述正确位置和/或取向的偏离，对所述扫描设备(10’)的所述正确位置和/或取向的所述指示(74)是基于所述对齐误差的。
10.根据权利要求9所述的扫描设备，其中，所述对齐单元(22’)包括呈现单元(64)，所述呈现单元用于将对所述扫描设备(10’)的所述正确位置和/或取向的所述指示(74)呈现给所述扫描设备(10’)的操作者。
11.根据权利要求10所述的扫描设备，其中，所述呈现单元(64)被配置为呈现包括所述对齐误差的数量和/或方向的对所述扫描设备(10)的所述正确位置和/或取向的指示(74)。
12.根据权利要求10所述的扫描设备，其中，所述呈现单元(64)包括叠覆单元(66)，所述叠覆单元用于通过将所述主图样(26)与包括对所述扫描设备(10’)的所述正确位置和/或取向的所述指示(74)的图像叠覆，来更新所述对齐图像(28)。
13.根据权利要求10所述的扫描设备，其中，所述呈现单元(64)包括视觉显示单元，所述视觉显示单元用于显示包括对所述扫描设备(10’)的所述正确位置和/或取向的所述指示(74)的图像。
14.根据权利要求10所述的扫描设备，其中，所述呈现单元(64)包括声学单元(68)，所述声学单元用于声学地提供包括对所述扫描设备(10’)的所述正确位置和/或取向的所述指示(74)的信息。
15.根据权利要求9所述的扫描设备，其中，所述投射单元(16)被配置为投射包括空间地编码的图样和/或时间地编码的图样的标记物图样(72)。
16.一种用于关于要被扫描的对象(12)定位扫描设备(10、10’)的方法，所述方法包括：
-将对齐图像(28)投射到所述对象(12)上，所述对齐图像(28)包括主图样(26)，
-捕获所述对象(12)的实况相机图像(30)，所述实况相机图像(30)包括所述主图样(26)的衍生图样(32)，所述衍生图样(32)表示从图像捕获视角查看到的所投射的所述对齐图像(28)，
-基于捕获到的实况相机图像(30)，来提供对所述扫描设备(10、10’)的关于被扫描的对象(12)的正确位置和/或取向的指示，并且
-基于所提供的指示来改变所述扫描设备(10、10’)的位置和/或取向，使得当重复前面的步骤时，所述扫描设备(10、10’)基本上占据所述正确位置和/或取向。
17.根据权利要求16所述的方法(44)，其中，静态主图样(26)被投射到所述对象(12)上，并且其中，提供所述指示以及改变所述位置和/或取向的步骤包括以下步骤：
-通过将捕获到的实况相机图像(30)与所述静态主图样(26)叠合，来更新所述对齐图像(28)，
-将经更新的对齐图像(28)投射到所述对象(12)上，并且
-改变所述扫描设备(10)的所述位置和/或取向，使得所述静态主图样(26)与所述衍生图样(32)在所述经更新的对齐图像(28)中基本上符合。
18.根据权利要求16所述的方法，其中，包括标记物图样(72)的主图样(26)被投射到所述对象(12)上，并且其中，提供所述指示(74)的步骤包括以下步骤：
-基于捕获到的实况相机图像(30)来确定所投射的标记物图样(72)的深度值，所述深度值表示所投射的标记物图样(72)的位置与所述扫描设备(10’)的位置之间的距离，
-基于所确定的深度值来计算所述扫描设备(10’)的对齐误差，所述对齐误差表示所述扫描设备(10’)的实际定位从所述扫描设备(10’)的所述正确位置和/或取向的偏离，并且
-基于所述对齐误差，来提供对所述扫描设备(10’)的所述正确位置和/或取向的指示(74)。
19.根据权利要求18所述的方法，还包括在对所述深度值的所述确定之前，确定所投射的标记物图样(72)的位置。
20.一种提供用于人(14)的患者接口的方法，包括以下步骤：
-接收所述人(14)的面部的3D数据，所述3D数据通过利用已经被通过根据权利要求16所述的方法关于所述人(14)定位的扫描设备、或者借助于根据权利要求1所述的扫描设备(10、10’)来扫描所述人(14)的所述面部而获得，或者通过根据权利要求16所述的方法关于所述人(14)定位扫描设备、或者借助于根据权利要求1所述的扫描设备(10、10’)并且利用所定位的扫描设备扫描所述人(14)的所述面部而获得，并且
使用所述人(14)的所述面部的所接收的3D数据，来制造用于所述人(14)的所述患者接口，或者确定用于所述人(14)的所述患者接口的形状和/或从患者接口的预定集合选择适于所述人(14)的患者接口。
CN201380066415.2A 2012-12-18 2013-12-12 扫描设备及用于定位扫描设备的方法 Active CN104871176B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261738594P 2012-12-18 2012-12-18
US61/738,594 2012-12-18
US201361832289P 2013-06-07 2013-06-07
US61/832,289 2013-06-07
PCT/IB2013/060832 WO2014097060A2 (en) 2012-12-18 2013-12-12 Scanning device and method for positioning a scanning device

Publications (2)

Publication Number Publication Date
CN104871176A true CN104871176A (zh) 2015-08-26
CN104871176B CN104871176B (zh) 2019-03-08

Family

ID=50069256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380066415.2A Active CN104871176B (zh) 2012-12-18 2013-12-12 扫描设备及用于定位扫描设备的方法

Country Status (7)

Country Link
US (1) US9947112B2 (zh)
EP (1) EP2936390A2 (zh)
JP (1) JP6302482B2 (zh)
CN (1) CN104871176B (zh)
BR (1) BR112015014054A2 (zh)
RU (1) RU2649958C2 (zh)
WO (1) WO2014097060A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107764182A (zh) * 2016-08-17 2018-03-06 卡尔蔡司工业测量技术有限公司 测量系统以及用于配置测量系统的方法
CN108345812A (zh) * 2017-12-25 2018-07-31 阿里巴巴集团控股有限公司 一种扫描定位方法、装置、设备及系统
CN111107234A (zh) * 2018-10-26 2020-05-05 东芝泰格有限公司 多功能外围设备以及用于对齐扫描文档的系统和方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415654A (zh) * 2014-02-18 2017-02-15 诺日士精密株式会社 信息处理装置、信息处理方法及程序
US20170200383A1 (en) * 2014-05-27 2017-07-13 Invenciones Tecnológicas Spa Automated review of forms through augmented reality
CN107735136B (zh) 2015-06-30 2021-11-02 瑞思迈私人有限公司 使用移动应用的面罩大小调整工具
WO2017012969A1 (en) * 2015-07-17 2017-01-26 Koninklijke Philips N.V. Device and method for determining a position of a mobile device in relation to a subject
US10600203B2 (en) * 2017-06-06 2020-03-24 CapSen Robotics, Inc. Three-dimensional scanner with detector pose identification
TW202009868A (zh) * 2018-08-17 2020-03-01 聚晶半導體股份有限公司 三維感測裝置及三維感測方法
US11615616B2 (en) * 2019-04-01 2023-03-28 Jeff Jian Chen User-guidance system based on augmented-reality and/or posture-detection techniques
WO2021021085A1 (en) * 2019-07-26 2021-02-04 Hewlett-Packard Development Company, L.P. Modification of projected structured light based on identified points within captured image
EP3839418A1 (en) * 2019-12-18 2021-06-23 Hexagon Technology Center GmbH Optical sensor with overview camera
WO2022005337A1 (en) * 2020-06-29 2022-01-06 Autonomous Non-Profit Organization For Higher Education «Skolkovo Institute Of Science And Technology» Veins mask projection alignment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653481A (zh) * 2002-05-13 2005-08-10 维森盖特有限公司 应用瞬时特征标记的发射计算机辅助断层成像装置和方法
US20070098234A1 (en) * 2005-10-31 2007-05-03 Mark Fiala Marker and method for detecting said marker
US20090283598A1 (en) * 2007-05-24 2009-11-19 Northrop Grumman Space Image Detection System and Methods
US20110002510A1 (en) * 2008-09-15 2011-01-06 Global Rainmakers, Inc Operator interface for face and iris recognition devices

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6314311B1 (en) 1999-07-28 2001-11-06 Picker International, Inc. Movable mirror laser registration system
US6317616B1 (en) * 1999-09-15 2001-11-13 Neil David Glossop Method and system to facilitate image guided surgery
JP2002324239A (ja) 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7711179B2 (en) 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
US9084556B2 (en) * 2006-01-19 2015-07-21 Toshiba Medical Systems Corporation Apparatus for indicating locus of an ultrasonic probe, ultrasonic diagnostic apparatus
CA2645538A1 (en) 2006-03-09 2007-09-13 Imagnosis Inc. Medical image processing method
US8730321B2 (en) * 2007-06-28 2014-05-20 Accuvein, Inc. Automatic alignment of a contrast enhancement system
US20100079481A1 (en) 2007-01-25 2010-04-01 Li Zhang Method and system for marking scenes and images of scenes with optical tags
JP2008275392A (ja) 2007-04-26 2008-11-13 National Institute Of Advanced Industrial & Technology ３次元形状計測方法および装置
WO2009120073A2 (en) 2008-03-24 2009-10-01 Bantwal Janardrian Mohandas Rao A dynamically calibrated self referenced three dimensional structured light scanner
KR20120000071A (ko) 2009-02-27 2012-01-03 보디 설피스 트랜스레이션 인크. 삼차원 표현들을 사용한 물리적 파라미터들의 추정
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US9098899B2 (en) 2010-05-27 2015-08-04 Koninklijke Philips N.V. Determining the specific orientation of an object
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
US8821015B2 (en) * 2011-03-08 2014-09-02 Carestream Health, Inc. Alignment apparatus for X-ray imaging system
DE102011015987A1 (de) * 2011-04-04 2012-10-04 EXTEND3D GmbH System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
WO2012160470A1 (en) 2011-05-24 2012-11-29 Koninklijke Philips Electronics N.V. 3d scanner using structured lighting
US9107613B2 (en) * 2011-09-06 2015-08-18 Provel, Inc. Handheld scanning device
CA2851659A1 (en) * 2011-10-09 2013-04-18 Clear Guide Medical, Llc Interventional in-situ image guidance by fusing ultrasound and video
CA2856075A1 (en) * 2011-11-18 2013-05-23 Optovue, Inc. Fundus camera
WO2013076605A1 (en) * 2011-11-23 2013-05-30 Creaform Inc. Method and system for alignment of a pattern on a spatial coded slide image
US8662676B1 (en) * 2012-03-14 2014-03-04 Rawles Llc Automatic projector calibration
US8937657B2 (en) * 2012-07-15 2015-01-20 Erik Klass Portable three-dimensional metrology with data displayed on the measured surface
US8416236B1 (en) * 2012-07-19 2013-04-09 Google Inc. Calibration of devices used to generate images of a three-dimensional object data model
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1653481A (zh) * 2002-05-13 2005-08-10 维森盖特有限公司 应用瞬时特征标记的发射计算机辅助断层成像装置和方法
US20070098234A1 (en) * 2005-10-31 2007-05-03 Mark Fiala Marker and method for detecting said marker
US20090283598A1 (en) * 2007-05-24 2009-11-19 Northrop Grumman Space Image Detection System and Methods
US20110002510A1 (en) * 2008-09-15 2011-01-06 Global Rainmakers, Inc Operator interface for face and iris recognition devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NEIL GLOSSOP 等: "Laser Projection Augmented Reality System for Computer-assisted surgery", 《INTERNATIONAL CONGRESS SERIES》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107764182A (zh) * 2016-08-17 2018-03-06 卡尔蔡司工业测量技术有限公司 测量系统以及用于配置测量系统的方法
CN108345812A (zh) * 2017-12-25 2018-07-31 阿里巴巴集团控股有限公司 一种扫描定位方法、装置、设备及系统
CN111107234A (zh) * 2018-10-26 2020-05-05 东芝泰格有限公司 多功能外围设备以及用于对齐扫描文档的系统和方法

Also Published As

Publication number Publication date
BR112015014054A2 (pt) 2017-07-11
US20150332459A1 (en) 2015-11-19
EP2936390A2 (en) 2015-10-28
US9947112B2 (en) 2018-04-17
RU2649958C2 (ru) 2018-04-05
RU2015129528A (ru) 2017-01-26
WO2014097060A2 (en) 2014-06-26
CN104871176B (zh) 2019-03-08
WO2014097060A3 (en) 2014-12-31
JP2016501380A (ja) 2016-01-18
JP6302482B2 (ja) 2018-03-28

Similar Documents

Publication Publication Date Title
CN104871176A (zh) 扫描设备及用于定位扫描设备的方法
US11867978B2 (en) Method and device for determining parameters for spectacle fitting
US9895131B2 (en) Method and system of scanner automation for X-ray tube with 3D camera
CN109040738B (zh) 校准方法和非暂态计算机可读介质
Ceriani et al. Rawseeds ground truth collection systems for indoor self-localization and mapping
US8170297B2 (en) Face authentication system and face authentication method
US9563954B2 (en) Method for capturing the three-dimensional surface geometry of objects
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
CN107735016A (zh) 用于扫描解剖结构且用于显示扫描结果的系统和方法
US11145130B2 (en) Method for automatically capturing data from non-networked production equipment
EP3067861A2 (en) Determination of a coordinate conversion parameter
CN100590577C (zh) 触摸屏定位装置及其定位方法
CN102508578B (zh) 投影定位装置及方法、交互系统和交互方法
JP2010219825A (ja) 三次元計測用画像撮影装置
US9746966B2 (en) Touch detection apparatus, touch detection method, and non-transitory computer-readable recording medium
CN109752855A (zh) 一种光斑发射装置和检测几何光斑的方法
CN104933704B (zh) 一种三维立体扫描方法及系统
CN105700736A (zh) 输入操作检测设备、投影装置、交互白板和数字标识装置
CN107764182A (zh) 测量系统以及用于配置测量系统的方法
US20240029372A1 (en) Method for automatically capturing data from non-networked production equipment
CN109102548B (zh) 一种用于标识跟踪范围的方法及系统
JP2003067726A (ja) 立体モデル生成装置及び方法
US11580656B1 (en) Systems and methods for detecting and correcting data density during point cloud generation
Wang et al. Real-time registration of video with ultrasound using stereo disparity
JPH0377533A (ja) 注視姿勢及び注視点絶対位置の計測装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant