CN113272874A - 基于模拟的捕获系统调整 - Google Patents

基于模拟的捕获系统调整 Download PDF

Info

Publication number
CN113272874A
CN113272874A CN201980087939.7A CN201980087939A CN113272874A CN 113272874 A CN113272874 A CN 113272874A CN 201980087939 A CN201980087939 A CN 201980087939A CN 113272874 A CN113272874 A CN 113272874A
Authority
CN
China
Prior art keywords
capture
reference model
capture system
settings
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980087939.7A
Other languages
English (en)
Inventor
维贾库马尔·纳亚克
内森·雷德·马兹哈尔·戈德温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN113272874A publication Critical patent/CN113272874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

在根据本公开的一个示例中，描述了一种系统。系统包括复制器以接收待扫描的对象的参考模型。系统的捕获系统模拟器模拟捕获设置。捕获系统包括被放置在对象周围的多个捕获装置。系统还包括控制器。控制器提取捕获系统的模拟捕获数据，并且基于所提取的模拟捕获数据来确定对捕获设置的调整。

Description

基于模拟的捕获系统调整
背景技术
捕获系统用于生成对象的三维(3D)虚拟表示。例如，多个相机可以被放置在诸如奖杯的对象周围。计算装置收集并且使用来自相机的数据以生成对象的3D模型。
附图说明
附图图示出在本文中描述的原理的各种示例，并且是说明书的一部分。所图示的示例仅用于图示，并且不限制权利要求的范围。
图1是根据在本文中描述的原理的示例的用于基于模拟的捕获系统调整的环境的图。
图2是根据在本文中描述的原理的示例的用于基于模拟的捕获系统调整的系统的框图。
图3是根据在本文中描述的原理的示例的用于执行基于模拟的捕获系统调整的方法的流程图。
图4是根据在本文中描述的原理的另一示例的用于基于模拟的捕获系统调整的系统的框图。
图5A和图5B描绘根据在本文中描述的原理的示例的系统的可视化。
图6A和图6B描绘根据在本文中描述的原理的示例的系统的可视化。
图7A和图7B描绘根据在本文中描述的原理的示例的系统的可视化。
图8是根据在本文中描述的原理的另一示例的用于执行基于模拟的捕获系统调整的方法的流程图。
图9是根据在本文中描述的原理的另一示例的用于基于模拟的捕获系统调整的系统的框图。
图10是根据在本文中描述的原理的另一示例的用于执行基于模拟的捕获系统调整的方法的流程图。
图11描绘根据在本文中描述的原理的示例的用于基于模拟的捕获系统调整的非暂时性机器可读存储介质。
在整个附图中，相同的附图标记表示相似但不一定相同的元件。附图不一定按比例缩放，并且一些部分的尺寸可能被夸大以更清楚地图示出所示示例。此外，附图提供了与描述一致的示例和/或实现方式；然而，描述不限于附图中提供的示例和/或实现方式。
具体实施方式
三维(3D)扫描是一种应用于多种行业的操作。例如，如果用户实现了任何数量的操作来重新创建物理对象，则3D对象可以用于3D打印。在该示例中，用户可以将对象放置在工作台(stage)上。然后，一个或多个相机用于捕获信息，可以从该信息生成电子3D模型。尽管提供了一个特定示例，但存在物理对象被捕获装置扫描并且被数字化的多种场景。
虽然这样的捕获系统无疑为各种使用打开了大门，但对这些系统的操作的一些增强可以改进它们的实际使用。例如，捕获系统的有效性取决于构成系统的捕获装置的位置和捕获特性。例如，为了正确地捕获物理对象的3D模型，3D对象的所有表面应该在捕获系统的至少一个捕获装置的视场内。为了确保这一点，捕获装置位置被调整很多次，以得到查看3D对象的所有表面的设置。
在系统中的捕获装置的放置和调整可能是复杂的、耗时的且繁重的。此外，在捕获过程完成之前可能无法确定捕获装置放置是否令人满意。因此，用户可能必须迭代地执行3D扫描，确定是否存在遮挡(occlusions)或3D对象的未被捕获的部分，并且然后手动地重新定位捕获装置以尝试扩大覆盖范围。对于每个3D捕获，该过程可能被重复多次。可以想象，调整相机、执行全3D扫描以及基于输出重新调整相机的这样的过程对于计算装置在计算上可能是昂贵的并且对于用户可能非常耗时。
因此，本说明书描述了通过模拟不同捕获装置的视场并且然后在执行3D扫描之前调整捕获装置以确保以令人满意的覆盖程度和/或质量水平扫描对象来提供自动化解决方案的方法和系统。
具体地，本说明书描述了系统。该系统包括复制器以接收待扫描的对象的参考模型。系统的捕获系统模拟器模拟捕获设置。在该示例中的捕获系统包括放置在对象周围的多个捕获装置。该系统还包括控制器。控制器1)提取捕获系统的模拟捕获数据，并且2)基于所提取的模拟捕获数据来确定对捕获设置的调整。
本说明书还描述了方法。根据该方法，接收待扫描的对象的参考模型。模拟捕获系统的捕获设置，该捕获系统包括放置在对象周围的多个捕获装置。提取捕获系统的模拟捕获数据，并且基于所提取的模拟捕获数据来确定对捕获设置的调整。
本说明书还描述利用由处理器可执行的指令来编码的非暂时性机器可读存储介质。机器可读存储介质包括接收待扫描的对象的参考模型的指令和模拟捕获系统的捕获设置的指令，该系统包括放置在对象周围的多个捕获装置。机器可读存储介质还包括提取捕获系统的模拟捕获数据并且融合在捕获系统中的每个捕获装置的所提取的捕获数据的指令。机器可读存储介质还包括生成捕获系统和参考模型的可视化并且将融合数据与参考模型进行比较的指令。机器可读存储介质还包括确定捕获系统捕获的质量度量并且将质量度量与质量阈值进行比较的指令。机器可读存储介质还包括基于质量度量与质量阈值的比较的输出来确定对捕获设置的调整并且调整捕获设置的指令。
总之，使用这样的系统1)使捕获系统调整操作自动化，2)允许在全3D扫描之前的捕获系统调整，3)节约处理带宽，4)增强三维扫描过程流程，5)提高扫描质量，6)加速新产品设计配置，以及7)允许调整以补偿待扫描的对象的不同类型和尺寸。然而，本文中公开的装置可以处理在很多技术领域中的其他问题和不足。
如在本说明书中和所附权利要求中所使用的，术语“参考模型”指代用于待扫描的对象的虚拟替代对象或物理替代对象。也就是说，参考模型是对象的通用表示，该参考模型在捕获系统设置调整期间用作占位符(placeholder)。如下面将描述的，在一些示例中，参考模型可以具有类似于待扫描的对象的形式和形状。
现在转到附图，图1是根据在本文中描述的原理的示例的用于基于模拟的捕获系统调整的环境的图。如上所描述，捕获系统包括用于从对象(102)收集数据使得可以生成对象(102)的数字3D模型的诸如相机的多个捕获装置(104-1、104-2、104-3)。捕获装置(104)可以是诸如相机、扫描仪或其他形式的捕获装置(104)的任何类型。捕获装置(104)可以被放置在对象(102)周围，对象(102)在图1中所描绘的示例中是玩具汽车。
捕获装置(104-1、104-2、104-3)的输出被传递到允许对象的3D模型的生成的系统(100)。然而，在这样的捕获之前，可以模拟捕获装置(104-1、104-2、104-3)。也就是说，与装置特性以及捕获装置(104)的位置相关的信息可以被发送到系统(100)。捕获装置位置信息和捕获装置设置的组合可以被称为捕获系统设置。
然后，系统(100)重新创建环境，使得捕获装置(100)的定位、位置和/或设置可以被调整以确保输出对象的高质量扫描。注意，虽然图1描绘了三个捕获装置(104)，但是可以根据本文中描述的原理实现任何数量的捕获装置。
捕获系统可以包括任何数量的捕获装置(104)，捕获装置(104)可以是静止的或移动的。例如，捕获系统可以包括被放置在放置待扫描的对象(102)的工作台周围的多个静止相机。在捕获期间，每个静止捕获装置(104)收集对象(102)的数据。在另一示例中，单个移动相机被放置在工作台周围。在捕获期间，相机在对象(102)周围移动以收集数据。
图2是根据在本文中描述的原理的示例的用于基于模拟的捕获系统调整的系统(100)的框图。如上所描述，系统(100)从任何数量的捕获装置(图1，104)收集信息并且生成待扫描的对象(图1，102)的3D模型。
然而，在这样的3D扫描之前，系统(100)还生成捕获环境的模拟。因此，系统(100)包括复制器(206)以接收待扫描的对象(图1，102)的参考模型。参考模型是待扫描的对象(图1，102)的参考或替代3D模型。在一些示例中，参考模型可以是待扫描的对象(图1，102)的虚拟近似。也就是说，参考模型可以具有与待扫描的对象(图1，102)相似的形状和形式。参考模型可以被表示为点的云，每个点具有唯一的位置坐标。也就是说，待扫描的对象(图1，102)可以被表示为点的云，每个点具有x、y和z坐标。也可以使用诸如极坐标系的其他坐标系。虽然具体参考了点云，但可以通过诸如网格布局或表面的地形图的其他方式对参考模型进行参考。
点云参考模型可以是标准，可以与该标准比较来自捕获系统的各个捕获装置(图1，104)的点云。例如，如果待扫描的对象(图1，102)是鞋，则参考模型鞋可以被接收，该参考模型鞋包括在它的整个可见表面上的点的标准数量和分散。然后，将捕获系统捕获的模拟与参考模型进行比较，以确定应该对捕获系统进行哪些改变(如果有的话)以提高扫描的质量。
在一些示例中，参考模型可以是物理模型。在该示例中，点云从位于参考模型周围的实际相机提取，而不是从位于虚拟参考模型周围的模拟捕获装置提取。
系统(100)还包括模拟捕获设置的捕获系统模拟器(208)。在本说明书中和在所附权利要求中，术语捕获系统指代被放置在对象(图1，102)周围的多个捕获装置，并且捕获设置指代系统的操作条件。操作条件包括但不限于捕获装置放置和/或捕获装置特性。也就是说，捕获系统模拟器(208)模拟在捕获系统中的捕获装置(图1，104)的具体特性。也就是说，捕获系统作为整体可以具有某些设置，诸如在捕获系统中的捕获装置(图1，104)的数量、那些捕获装置(图1，104)相对于待扫描的对象(图1，102)以及相对于其他捕获装置(图1，104)的放置以及每个捕获装置(图1，104)对于对象(图1，102)的入射角。
每个捕获装置(图1，104)也可以具有某些特性。捕获装置特性的示例包括视场、质量设置、灵敏性、焦距等。捕获系统模拟器(208)模拟这些特性。虽然具体参考了几种类型的系统特性和装置特性，但捕获系统模拟器(208)也可以捕获其他特性。
捕获系统和捕获装置(图1，104)特性影响对象(图1，102)如何被捕获，或更确切地，对象(图1，102)的什么部分被捕获。例如，在系统内的捕获装置(图1，104)相对于彼此的位置影响可以看到的对象(图1，102)的量。此外，对象(图1，102)与捕获装置(图1，104)之间的距离影响有多少对象(图1，102)在捕获装置(图1，104)的视场内。
装置特性还影响在捕获系统内的每个捕获装置(图1，104)生成对象(图1，102)的完整图像的能力。例如，相机的焦距可以影响捕获的数量。此外，每个捕获装置(图1，104)的ISO、分辨率或其他成像特性可以影响捕获的图像的质量和/或分辨率。作为另一示例，所获取的点云可以是有干扰的，并且被入射角、视场、相机失真等影响。因此，捕获系统模拟器(208)应用诸如噪声的实际相机操作条件和上面提到的相机设置，使得在虚拟化中对环境条件建模。
因此，捕获系统模拟器(208)模拟每个捕获装置(图1，104)以及捕获系统作为整体的捕获特性。换句话说，捕获系统模拟器(208)在准备阶段重新创建捕获环境，并且从而可以用于在给定当前设置的情况下确定预期的3D扫描。
然后，系统(100)的控制器(210)提取捕获系统的模拟捕获数据。也就是说，控制器(210)模拟来自捕获装置的图像捕获。这可以包括提取参考模型的点云的对每个捕获装置(图1，104)可见的部分。也就是说，参考模型的点云可以限定参考模型的整个表面。控制器(210)从每个捕获装置(图1，104)提取在该捕获装置(图1，104)的视场内的参考模型点云的该部分。也就是说，相机可能只看到表示参考模型的点云点的一部分。对具体捕获装置(图1，104)可见的点可以通过任何数量的操作(包括光线跟踪)来识别。换句话说，所提取的点仅仅是通过具体捕获装置(图1，104)的透镜可见的那些点。
确定每个捕获装置(图1，104)可以看到什么允许系统(100)在该点处从实际捕获装置(图1，104)复制点云获取。该所提取的信息在确定捕获系统的捕获的质量以及调整和优化捕获系统的各个捕获装置(图1，104)的方面是有用的。
因此，控制器(210)可以基于所提取的模拟捕获数据来确定对捕获设置的调整。也就是说，通常控制器(210)可以输出对捕获系统的特性的调整以确保当启动扫描操作时生成物理对象(图1，102)的高质量扫描。
可以调整捕获环境和各个捕获装置特性中的任一个或两个。例如，可以调整捕获装置(图1，104)的质量和/或位置。此外，可以调整各个捕获装置(图1，104)的诸如ISO、焦距、视场、灵敏性等的捕获特性。注意，在执行扫描之前，可以进行调整的模拟和确定。也就是说，扫描操作本身对计算装置来说是沉重的负担，而捕捉环境的模拟在计算上不昂贵。因此，本扫描系统(100)通过在模拟阶段而不是在实际捕捉阶段期间调整/优化捕获装置(图1，104)的放置和设置来使扫描过程更有效。
图3是根据在本文中描述的原理的示例的用于执行基于模拟的捕获系统调整的方法(300)的流程图。在第一操作中，接收待扫描的对象(图1，102)的参考模型(框301)。如上所描述，参考模型可以是对象(图1，102)的点云表示。也就是说，参考模型可以包括分散在它的表面上的各种点，每个点具有它自己的唯一参考位置。该点云用于确定捕获系统的准确地使对象(图1，102)数字化的能力的质量，并且用作捕获装置(图1，104)调整的基础以提高扫描质量。
然后，捕获系统模拟器(图2，208)模拟(框302)捕获系统的捕获设置，该捕获系统包括被放置在对象(图1，102)周围的多个捕获装置(图1，104)。如上所描述，捕获装置(图1，104)的数量可以是一，在这种情况下捕获装置(图1，104)可以在扫描期间围绕对象(图1，102)旋转。在另一示例中，捕获装置(图1，104)的数量大于一。大于一个的捕获装置(图1，104)是移动的或静止的，并且它们的组合模拟用于确定扫描质量。
捕获系统的模拟捕获数据被提取(框303)并且用于确定(框304)对捕获设置的调整。也就是说，对于在捕获系统中的每个捕获装置(图1，104)，提取对象(图1，102)参考模型的点云的对该捕获装置(图1，104)可见的部分。由此，可以确定对象(图1，102)的什么部分在捕获系统的当前设置下被捕获系统可见。然后，可以做出调整。这样的调整可以是捕获装置的数量和位置。例如，调整可以是将捕获装置(图1，104)添加到捕获系统，调整捕获装置(图1，104)相对于彼此或相对于对象(图1，102)的位置，和/或调整不同捕获装置(图1，104)的设置。应注意，可以对捕获系统做出上述调整的任何组合。可以迭代地执行以上所描述的过程。也就是说，可以模拟(框302)捕获设置，提取(框303)捕获数据，以及确定(框304)调整。在做出调整之后，模拟(框302)所调整的捕获设置，并且重复该过程直到预测到3D扫描的期望质量。
图4是根据在本文中描述的原理的另一示例的用于基于模拟的捕获系统调整的系统(100)的框图。类似于在图2中描绘的系统(100)，在图4中描绘的系统包括复制器(206)、捕获系统模拟器(208)和控制器(210)。在该示例中，系统(100)进一步包括可视化界面(412)。可视化界面(412)生成捕获环境的可视化，即捕获系统和参考模型。也就是说，可视化界面(412)可以在耦接到系统(100)的显示装置上呈现参考模型以及用于执行对象(图1，102)的3D扫描的捕获装置(图1，104)的表示。
可视化界面(412)也可以可视化对捕获系统的调整。例如，在进行由系统(100)确定的调整期间或之后，可以更新可视化界面(412)以显示捕获装置(图1，102)的调整或改变的位置和数量。可视化界面(412)也便于捕获设置的用户调整。在一些示例中，可以自动对捕获装置(图1，102)做出调整。也就是说，可以在没有捕获装置(图1，104)的物理用户操纵的情况下做出调整。
在其他示例中，不是自动改变设置，可以向用户提供调整捕获装置(图1，102)的提示。在一些示例中，可以便于手动和自动调整。也就是说，系统(100)可以自动调整捕获装置(图1，104)的位置，并且可以允许经由直接用户输入进行进一步的附加调整。
可视化界面(412)也可以描绘捕获装置(图1，104)的设置。因此，除了操纵捕获装置(图1，104)的位置和质量以外，用户还可以经由菜单基于来自系统(100)的输入或基于独立地确定的标准来调整捕获装置(图1，104)的各种设置。
图5A和图5B描绘了根据在本文中描述的原理的示例的捕获系统的可视化。如上所描述，捕获系统可以包括很多捕获装置(图1，104)，并且捕获系统模拟器(图2，208)可以模拟捕获装置(图1，104)。图5A和图5B描绘了具有围绕参考模型(514)的捕获装置(图1，104)的表示(516-1、516-2、516-3)的这样的模拟，参考模型(514)如上所描述可以是对象(图1，102)的替代。
每个捕获装置(图1，104)的视场在附图中由虚线指示。图5A和图5B清楚地描绘了捕获系统包括由多个表示(516-1、516-2、516-3)表示的多个捕获装置(图1，104)的示例。在该示例中，捕获装置(图1，104)是静止的。在该示例中，可以调整的捕获设置包括每个捕获装置(图1，104)的位置。
参考模型(514)被传递到系统(100)，并且是来自捕获装置(图1，102)中的每一个的表示的信息。根据该信息，控制器(210)可以评估扫描环境。具体地，控制器(210)确定参考模型(514)的哪些部分是不可见的。例如，控制器(210)可以确定与第一表示(516-1)相关联的捕获装置(图1，104)可以对参考模型(514)的顶部分和参考模型(514)的左侧进行成像，而与第二表示(516-2)相关联的捕获装置(图1，104)可以对参考模型(514)的后部分进行成像，并且与第三表示(516-3)相关联的捕获装置(图1，104)可以对参考模型(514)的右侧部分进行成像。控制器(210)也可以确定参考模型(514)的前部分在捕获系统的当前操作设置的情况下不被捕获系统可见。这可以基于每个表示(516)的所提取的点云信息的分析来确定。因此，控制器(210)确定附加捕获装置(图1，104)应该被包括在捕获系统中，该附加捕获装置(图1，104)在图5B中描绘的可视化中被表示。
因此，如在图5B中建议的，在可视化中被表示为第四表示(516-4)的附加捕获装置(图1，104)可以被添加到捕获系统以捕获参考模型(514)的前表面，使得在扫描操作期间可以捕获对象(图1，102)的所有表面。
图6A和图6B描绘了根据在本文中描述的原理的另一示例的捕获系统的可视化。具体地，图6A和图6B描绘简化系统的俯视图。在该示例中，捕获系统包括如由关联的表示(516-1、516-2)所指示的两个捕获装置(图1，104)。然而，由于每个捕获装置(图1，104)的有限视场以及在一些示例中待扫描的对象(图1，102)的复杂性质，可能导致遮挡(618-1、618-2)。通常，遮挡(618)指代在对象(图1，102)的表面上的在当前捕获系统配置的情况下是不可见的位置。这样的遮挡(618)在参考模型(514)上是可见的，参考模型(514)是待扫描的对象(图1，102)的代表性形式。
可以通过将从每个捕获装置(图1，104)提取的点云与针对参考模型(514)识别的点云进行比较来检测这样的遮挡(618)。也就是说，控制器(210)可以从每个表示(516)提取构成参考模型(514)的点云的对每个表示(516)可见的部分。因为在遮挡(618)内的表面部分不是由第一表示(516-1)或第二表示(516-2)可见的，因此控制器(210)将不提取点云信息。因此，参考模型(5148)的点云和来自表示(516)的所提取的点云信息的比较将这些位置识别为差异。参考模型(514)的点云信息与来自表示(516)的所提取的信息的任何差异指示遮挡(618)或参考模型(514)的未收集信息的区域。所收集的信息的缺乏指示参考模型(514)的该部分以及因此对应的对象(图1，102)不是由捕获系统可见的。因此，系统(图1，100)可以确定对如在图6B中描绘的捕获系统做出的某些调整。
具体地，如在图6B中所指示的做出的调整是如由两个附加表示(516-3、516-4)指示的两个附加捕获装置(图1，104)被添加到捕获系统。此外，与第二表示(516-2)相关联的捕获装置(图1，104)的位置被调整为更接近参考模型(514)，使得可以获取对象的更高质量再现(图1，102)，可能具有更高的分辨率。还要注意，如在图6B中所描绘的，在参考模型(514)的表面上的遮挡(图6A，618)不再存在。因此，对捕获系统做出的调整的确定可被考虑为检测到的遮挡(图6A，618)。也就是说，可以进行调整以使得参考模型(514)点云的点的阈值数量或百分比被捕获系统的捕获装置(图1，104)识别。
图7A和图7B描绘了根据在本文中描述的原理的另一示例的捕获系统的可视化。也就是说，在诸如在图7A和图7B中描绘的示例的一些示例中，捕获系统包括在可视化内被可视化为在对象(图1，102)周围移动的表示(516)的单个捕获装置(图1，104)。在参考模型(514)周围的单个捕获装置(图1，102)的路径在捕获系统模拟器(图2，208)中被复制为围绕参考模型(514)。在该示例中，被调整的捕获系统特性包括单个捕获装置(图1，104)在对象(图1，102)周围的轨迹(720)。如在图7A中所描绘的，捕获装置(图1，104)在对象(图1，102)周围的当前轨迹导致如由虚点线所指示的遮挡(618)。信息可以被馈送到扫描控制器(210)，扫描控制器(210)识别为参考模型(514)的该部分收集的信息的缺乏，并且将轨迹(720)调整为如在图7B中所描绘的，使得可以捕获对象(图1，102)的整体，如由图7B中的遮挡(图7A，618)的缺乏所指示的。
图8是根据在本文中描述的原理的另一示例的用于执行基于模拟的捕获系统调整的方法(800)的流程图。根据该方法(800)，获得(框801)捕获系统的校准数据。校准数据可以包括构成捕获系统的捕获装置(图1，104)的初始数量以及每个捕获装置(图1，104)的初始位置。该信息用作可以进行调整的起点。
接收(框802)待扫描的对象(图1，102)的参考模型(图5A，514)，模拟(框803)捕获设置，并且提取(框804)每个捕获装置(图1，102)的模拟捕获数据。这些操作可以如以上结合图3所描述的那样执行。
在一些示例中，方法(800)进一步包括融合(框805)在捕获系统中的每个捕获装置(图1，102)所提取的模拟捕获数据。也就是说，对每个捕获装置(图1，102)可见的点云被拼接在一起，使得可以获得能够被捕获系统的集体捕获装置(图1，102)看到的点云的整体的指示。注意，在一些示例中，由于与捕获装置(图1，104)或控制器(图2，210)相关联的处理器可以基于未融合数据进行操作，因此不执行这样的融合(框805)。
通常，可以为每个捕获装置(图1，102)生成点云。来自多个捕获装置(图1，102)的融合视图涉及收集关于每个捕获装置(图1，102)的位置的信息，使得由各种捕获装置(图1，102)提取的所有点云可以与公共参考系对齐。可以通过捕获装置(图1，102)的几何校准或通过另一方法来获得该位置信息。例如，多个点云可以使用迭代最近点计算来对齐，迭代最近点计算基于预定对齐度量来自动计算相对捕获装置(图1，102)位置。以任何形式获得的融合点云允许去除错误的测量并且可能去除诸如背景点的不相关的数据点。
在该示例中，控制器(图2，210)可以融合不同的所提取的数据，因此获得如由捕获系统的捕获装置看到的对象(图1，102)的表面的表示。得到的3D模型可以被表示为3D点云或3D网格。
然后，系统(图1，100)生成(框806)捕获环境的可视化。也就是说，可视化可以显示参考模型(图5，514)以及捕获系统的捕获装置(图1，102)的表示(图5A，516)。这样做为用户评估捕获系统提供了视觉指示和帮助。
然后，可以确定(框807)捕获系统捕获的质量度量。也就是说，确定捕获系统准确地表示对象的能力。这样做可能包括识别数据中的漏洞或遮挡。遮挡指示总表面区域覆盖。因此，参考模型上没有从捕获装置(图1，104)中提取的遮挡或点云的数量指示由捕获系统覆盖的表面区域，并且是捕获质量的一种度量。
例如，如果参考模型(图5A，514)的某些部分在系统中的所有捕获装置(图1，102)的视野之外，则这可能影响得到的3D扫描的质量。诸如在所提取的数据内找到的噪声和/或扫描的分辨率的其他因素可以指示质量。
作为特定示例，捕获系统捕获的质量可以指代识别的点的数量。例如，在特定应用中，可以确定大约15,000个点的点云足够限定待扫描的特定对象。因此，捕获系统的质量度量可以是在预定阈值数量与实际提取的点的数量之间的差。
在另一示例中，质量度量可以基于点之间的距离。例如，如果点之间的平均距离太大，则可以指示1)应该寻找更高的分辨率，即，应该改变捕获装置(图1，102)设置，或者对象(图1，102)的区域没有被模拟，并且因此在捕获装置(图1，102)的视野的外部。虽然对几个质量度量做出具体的参考，但是可以实现各种各样的质量度量。
在一些示例中，确定(框807)捕获系统的质量度量包括将所提取的模拟捕获数据与参考模型(图5，514)进行比较。例如，可以知道待扫描的对象(图1，102)的参考模型(图5，514)包括一定数量的点或在某个分辨率下的点。因此，所提取的数据，无论是融合的还是单独考虑的，都可以与参考模型(图5，514)点云进行比较。在该示例中，质量度量可以基于所提取的点云和参考模型(图5，514)点云彼此之间的不同程度。例如，质量度量可以是指示该差异的数值。例如，质量度量可以是98％，意味着参考模型(图5，514)点云的98％由来自模拟(图5A，516)捕获装置的所提取的信息表示。
该质量度量可以与质量阈值进行比较(框808)。也就是说，可以确定捕获系统捕获的质量度量是否大于质量阈值。基于所使用的质量度量，质量阈值可以是指示捕获系统的可接受性能的任何值范围。
如果所确定的质量度量大于质量阈值(框808，确定是)，则方法(800)终止并且可以执行另一操作。例如，可以自动触发对象(图1，102)的扫描，或者可以向用户提供预期令人满意的扫描水平的提示，并且然后可以寻求用户的批准以启动扫描。
如果捕获系统捕获的质量度量不大于质量阈值(框808，确定否)，则确定对捕获系统做出的调整(框809)。这可以如上文结合图3所描述的那样执行。在系统包括可视化界面(图4，412)的情况下，所确定的调整可以被可视化(框810)为例如对用户的做出这样的调整的提示。在该示例中，用户可以授权系统进行调整或者可以通过手动改变捕获装置设置和/或改变构成捕获系统的捕获装置的数量和/或位置来手动进行调整。
一旦调整被可视化(框810)，方法(800)可以返回到确定(框807)所调整的捕获系统的质量度量。如果然后确定(框808，确定是)所调整的捕获系统的质量度量大于质量阈值，则方法(800)结束并且执行随后的操作。如果确定(框808，确定否)所调整的捕获系统的质量度量不大于质量阈值，则可以确定(框809)并且可视化(框810)进一步的调整。因此，存在迭代方法(800)，其中确定质量，做出调整，并且重新评估质量，直到达到期望的质量水平。如上面所提到的，所有这些都可以在捕获系统参与在计算上昂贵的并且耗时的扫描操作之前被执行。因此，在任何这样的3D扫描操作之前确定捕获系统的最佳设置，因此提高该操作的效率。
图9是根据在本文中描述的原理的另一示例的用于基于模拟的捕获系统(924)调整的系统(100)的框图。类似于在图2中描绘的系统(100)，系统(100)包括复制器(206)、捕获系统模拟器(208)和控制器(210)。在该示例中，系统(100)进一步包括具有其相关联的捕获装置(104)的捕获系统(924)和物理移动捕获装置(104)的机械子系统(922)。也就是说，每个捕获装置(104)可以被放置在被供电的并且可以移动捕获装置(104)的台架或台车或其他机构上。这样的机械子系统(922)可以包括诸如电机、轨道、皮带、滑车等的任何数量的部件以移动相应的捕获装置(104)。在该示例中，除了确定待做出的调整以外，系统(100)实际上可以对捕获装置(104)做出调整。也就是说，基于所提取的信息，控制器(210)可以激活机械子系统(922)以相对于对象(图1，102)和/或相对于其他捕获装置(104)物理地移动捕获装置(104)。再换句话说，控制器(210)可以在模拟中或在物理世界中经由机械子系统(922)做出调整。
注意，在图4和图9中描绘的示例可以被组合。例如，系统(100)可以包括可视化界面(图4，412)和机械子系统(922)。在该示例中，调整可以经由可视化界面(图4，412)被可视化并且可以由机械子系统(922)经由手动用户动作或由系统(100)自动执行。
在一些示例中，可视化界面(图4，412)可以显示所提出的设置，并且然后遵循用户授权，控制器(210)而不是用户可以物理地调整捕获装置(104)的位置。在其他示例中，用户可以操纵如在可视化界面(图4，412)上显示的捕获装置(104)的表示(图5A，516)，并且作为这样的用户操纵的结果，控制器(210)可以激活机械子系统(922)以移动捕获装置(104)。
图10是根据在本文中描述的原理的另一示例的用于执行基于模拟的捕获系统(图9，924)调整的方法(1000)的流程图。在该示例中，获得(框1001)捕获系统(图9，924)的校准数据，接收(框1002)待扫描的对象(图1，102)的参考模型(图5A，514)，并且模拟(框1003)捕获设置。每个捕获装置(图1，104)的模拟捕获数据被提取(框1004)，并且在一些示例中针对每个捕获装置(图1，104)被融合(框1005)。
捕获系统(图9，924)捕获的质量度量被确定(框1006)并且与质量阈值进行比较(框1007)。注意，在该示例中，没有生成捕获环境的可视化。也就是说，在该示例中，系统(图1，100)可以自动调整捕获系统(图9，924)而没有用户输入。因此，提供了优化捕获系统(图9，924)的简化和自动的方式。
确定(框1008)调整，并且在该示例中实际上调整(框1009)捕获系统(图9，924)。也就是说，机械子系统(图9，922)被激活以移动捕获系统(图9，924)的捕获装置(图1，104)。在一些示例中，这可能没有附加的用户输入或在其他示例中可能遵循用户授权。
图11描绘根据在本文中描述的原理的示例的用于基于模拟的捕获系统(图9，924)调整的非暂时性机器可读存储介质(1126)。为了实现它的期望功能，计算系统包括各种硬件部件。具体地，计算系统包括处理器和机器可读存储介质(1126)。机器可读存储介质(1126)通信地耦接到处理器。机器可读存储介质(1126)包括用于执行指定功能的多个指令(1128、1130、1132、1134、1136、1138、1140、1142、1144、1146)。机器可读存储介质(1126)使处理器执行指令(1128、1130、1132、1134、1136、1138、1140、1142、1144、1146)的指定功能。
参照图11，参考模型指令(1128)当由处理器执行时使处理器接收待扫描的对象(图1，102)的参考模型(图5A，516)。模拟指令(1130)当由处理器执行时可以使处理器模拟包括被放置在对象(图1，102)周围的多个捕获装置(图1，104)的捕获系统(图9，924)的捕获设置。提取指令(1132)当由处理器执行时可以使处理器提取捕获系统(图9，924)的模拟捕获数据。融合指令(1134)当由处理器执行时可以使处理器融合在捕获系统(图9，924)中的每个捕获装置(图1，104)的所提取的模拟捕获数据。生成指令(1136)当由处理器执行时可以使处理器生成捕获系统(图9，924)和参考模型(图5A，514)的可视化。比较模型指令(1138)当由处理器执行时可以使处理器将融合数据与参考模型(图6A，514)进行比较。质量指令(1140)当由处理器执行时可以使处理器确定捕获系统捕获的质量度量。质量比较指令(1142)当由处理器执行时可以使处理器将质量度量与质量阈值进行比较。确定指令(1144)当由处理器执行时可以使处理器基于质量度量与质量阈值的比较的输出来确定对捕获系统(图9，924)特性的调整。调整指令(1146)当由处理器执行时可以使处理器调整捕获设置。
总之，使用这样的系统1)使捕获系统调整操作自动化，2)允许在全3D扫描之前的捕获系统调整，3)节约处理带宽，4)增强三维扫描过程流程，5)提高扫描质量，6)加速新产品设计配置，以及7)允许调整以补偿待扫描的对象的不同类型和尺寸。然而，本文中公开的装置可以处理在很多技术领域中的其他问题和不足。

Claims (15)

1.一种系统，包括：
复制器，用于接收待扫描的对象的参考模型；
捕获系统模拟器，用于模拟捕获系统的捕获设置，所述捕获系统包括被放置在所述对象周围的多个捕获装置；以及
控制器，用于：
提取所述捕获系统的模拟捕获数据；以及
基于提取的模拟捕获数据来确定对所述捕获系统的所述捕获设置的调整。
2.根据权利要求1所述的系统，进一步包括所述捕获系统。
3.根据权利要求1所述的系统，进一步包括可视化界面，用于：
生成所述捕获系统和所述参考模型的可视化；
可视化对所述捕获设置的调整；以及
便于对所述捕获设置的用户调整。
4.根据权利要求1所述的系统，其中，所述系统包括机械子系统以物理地调整所述多个捕获装置的位置。
5.根据权利要求1所述的系统，其中：
所述捕获系统包括单个捕获装置以在所述对象周围移动；并且
所述捕获设置包括所述单个捕获装置在所述对象周围的轨迹。
6.根据权利要求1所述的系统，其中：
所述捕获系统包括多个捕获装置；并且
所述捕获设置包括每个捕获装置的所述位置。
7.一种方法，包括：
接收待扫描的对象的参考模型；
模拟包括被放置在所述对象周围的多个捕获装置的捕获系统的捕获设置；以及
提取所述捕获系统的模拟捕获数据；以及
基于提取的模拟捕获数据来确定对所述捕获设置的调整。
8.根据权利要求7所述的方法，进一步包括：
基于所提取的模拟捕获数据来确定捕获系统捕获的质量度量；以及
将所述质量度量与质量阈值进行比较。
9.根据权利要求8所述的方法，其中，确定所述捕获系统捕获的质量度量包括将所提取的模拟捕获数据与所述参考模型进行比较。
10.根据权利要求8所述的方法，进一步包括基于所述质量度量与所述质量阈值的比较的结果来调整捕获设置。
11.根据权利要求10所述的方法，其中，在没有用户操纵的情况下执行调整捕获设置。
12.根据权利要求11述的方法，其中，调整捕获设置包括以下中的至少一项：
调整在所述捕获系统中的多个捕获装置；
调整在所述捕获系统中的所述多个捕获装置的位置；以及
调整捕获装置特性。
13.根据权利要求7所述的方法，进一步包括融合在所述捕获系统中的每个捕获装置的提取的模拟捕获数据。
14.一种利用由处理器可执行的指令编码的非暂时性机器可读存储介质，所述机器可读存储介质包括指令用于：
接收待扫描的对象的参考模型；
模拟包括被放置在所述对象周围的多个捕获装置的捕获系统的捕获设置；
提取所述捕获系统的模拟捕获数据；
融合在所述捕获系统中的每个捕获装置的提取的捕获数据；
生成所述捕获系统和所述参考模型的可视化；
将融合数据与所述参考模型进行比较；
确定所述捕获系统捕获的质量度量；
将所述质量度量与质量阈值进行比较；
基于所述质量度量与所述质量阈值的比较的输出来确定对所述捕获设置的调整；以及
调整捕获设置。
15.根据权利要求14所述的非暂时性机器可读存储介质，其中，基于在所述捕获系统捕获中的遮挡确定所述捕获系统的质量。
CN201980087939.7A 2019-01-08 2019-01-08 基于模拟的捕获系统调整 Pending CN113272874A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/012650 WO2020145945A1 (en) 2019-01-08 2019-01-08 Simulation-based capture system adjustments

Publications (1)

Publication Number Publication Date
CN113272874A true CN113272874A (zh) 2021-08-17

Family

ID=71521532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087939.7A Pending CN113272874A (zh) 2019-01-08 2019-01-08 基于模拟的捕获系统调整

Country Status (4)

Country Link
US (1) US11785333B2 (zh)
EP (1) EP3827418A4 (zh)
CN (1) CN113272874A (zh)
WO (1) WO2020145945A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057438A1 (en) * 2000-11-13 2002-05-16 Decker Derek Edward Method and apparatus for capturing 3D surface and color thereon in real time
CN1929561A (zh) * 2005-09-05 2007-03-14 索尼株式会社 图像捕获设备和图像捕获方法
US20070097206A1 (en) * 2005-11-02 2007-05-03 Houvener Robert C Multi-user stereoscopic 3-D panoramic vision system and method
US20080036755A1 (en) * 2006-05-09 2008-02-14 Inus Technology, Inc. System and method for analyzing modeling accuracy while performing reverse engineering with 3d scan data
US20100134516A1 (en) * 2008-11-28 2010-06-03 Sony Corporation Image processing system
CN109069132A (zh) * 2016-02-29 2018-12-21 艾奎菲股份有限公司 用于辅助型3d扫描的系统和方法
CN109155809A (zh) * 2016-03-04 2019-01-04 惠普发展公司，有限责任合伙企业 使用参考图像校正捕获的图像

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001084479A1 (en) 2000-04-28 2001-11-08 Orametirix, Inc. Method and system for scanning a surface and generating a three-dimensional object
PL1774465T3 (pl) 2004-07-23 2009-10-30 3Shape As Adaptacyjne skanowanie 3D
CN103649680B (zh) 2011-06-07 2016-11-09 形创有限公司 用于3d扫描的传感器定位
US11431959B2 (en) * 2014-07-31 2022-08-30 Hewlett-Packard Development Company, L.P. Object capture and illumination
US20160071318A1 (en) 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
US20170272728A1 (en) 2016-03-16 2017-09-21 Aquifi, Inc. System and method of three-dimensional scanning for customizing footwear
US10262428B2 (en) 2017-04-07 2019-04-16 Massachusetts Institute Of Technology System and method for adaptive range 3D scanning
US10950003B2 (en) * 2018-03-29 2021-03-16 Pelco, Inc. Method of aligning two separated cameras matching points in the view

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057438A1 (en) * 2000-11-13 2002-05-16 Decker Derek Edward Method and apparatus for capturing 3D surface and color thereon in real time
CN1929561A (zh) * 2005-09-05 2007-03-14 索尼株式会社 图像捕获设备和图像捕获方法
US20070097206A1 (en) * 2005-11-02 2007-05-03 Houvener Robert C Multi-user stereoscopic 3-D panoramic vision system and method
US20080036755A1 (en) * 2006-05-09 2008-02-14 Inus Technology, Inc. System and method for analyzing modeling accuracy while performing reverse engineering with 3d scan data
US20100134516A1 (en) * 2008-11-28 2010-06-03 Sony Corporation Image processing system
CN109069132A (zh) * 2016-02-29 2018-12-21 艾奎菲股份有限公司 用于辅助型3d扫描的系统和方法
CN109155809A (zh) * 2016-03-04 2019-01-04 惠普发展公司，有限责任合伙企业 使用参考图像校正捕获的图像

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵晓明等: "三维激光扫描仪应用技术研究", 价值工程, no. 9, pages 236 *
陈云亮等: "卫星间光通信中多场扫描捕获的仿真优化", 中国激光, vol. 31, no. 8, pages 975 - 978 *

Also Published As

Publication number Publication date
US20210360148A1 (en) 2021-11-18
EP3827418A1 (en) 2021-06-02
WO2020145945A1 (en) 2020-07-16
EP3827418A4 (en) 2022-03-16
US11785333B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
EP3108449B1 (en) View independent 3d scene texturing
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
KR101833364B1 (ko) 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템
CN107155341B (zh) 三维扫描系统和框架
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
US11200690B2 (en) Image processing apparatus, three-dimensional shape data generation method, and non-transitory computer readable storage medium
CN106548516A (zh) 三维漫游方法和装置
CN108961144A (zh) 图像处理系统
US7711507B2 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
JP6723798B2 (ja) 情報処理装置、方法、プログラム
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
US10133256B2 (en) Information processing apparatus and method for calculating inspection ranges
CN105989326A (zh) 人眼三维位置信息的确定方法和装置
KR101875047B1 (ko) 사진측량을 이용한 3d 모델링 시스템 및 방법
JP2020509370A5 (zh)
JP7013144B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP6938201B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2002044650A2 (en) Method and apparatus for simulating the measurement of a part without using a physical measurement system
CN113272874A (zh) 基于模拟的捕获系统调整
KR20210050365A (ko) 영상 정합 장치 및 방법
CN105578173A (zh) 一种快速三维空间投影摄像视觉识别系统
CN109658335B (zh) 图像处理方法、装置、存储介质和电子设备
CN115033998B (zh) 一种面向机械零部件的个性化2d数据集构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination