CN107155341B - 三维扫描系统和框架 - Google Patents

三维扫描系统和框架 Download PDF

Info

Publication number
CN107155341B
CN107155341B CN201480082436.8A CN201480082436A CN107155341B CN 107155341 B CN107155341 B CN 107155341B CN 201480082436 A CN201480082436 A CN 201480082436A CN 107155341 B CN107155341 B CN 107155341B
Authority
CN
China
Prior art keywords
dimensional
depth
high resolution
camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480082436.8A
Other languages
English (en)
Other versions
CN107155341A (zh
Inventor
J·姜
B·温
D·B·肖尔特
C·S·坦纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107155341A publication Critical patent/CN107155341A/zh
Application granted granted Critical
Publication of CN107155341B publication Critical patent/CN107155341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

公开了用于重构三维对象的表面几何形状的方法和对应系统。系统包括异构传感器的集群，包括二维高分辨率相机、三维深度相机，以及可操作成递增旋转的转盘。在操作中，转盘旋转到第一和第二位置并且使用二维高分辨率相机和三维深度相机获取二维和三维数据集。标识来自二维数据集的对应特征并且将该对应特征用于标识三维数据集中的相同对应特征。三维对应特征用于计算三维单应性，该三维单应性用于对准三维数据集。在对准之后，从经对准的数据集生成三维网格。

Description

三维扫描系统和框架
背景技术
真实世界对象的三维计算机模型在诸如加工原型化之类的许多应用中被使用或需要。三维(3D)重构是确定处于考虑之下的真实世界对象的形状或外观的过程。使用异构传感器(例如不同类型的相机)取得的对象的数据或图像可以用于执行重构过程。然而，可靠性、可重复性、分辨率、精确度和速度考虑一般对用于生成所检验的真实世界对象的模型的扫描仪或数字化器的构造和操作是关键的。本文中的公开内容描述了一种异构传感器的集群和转盘，该异构传感器的集群和转变可以被高效且鲁棒地使用在真实世界对象的3D重构的过程中。
附图说明
附图图示了本文所描述的原理的各种示例，并且是说明书的一部分。所图示的示例仅仅是示例，并且不限制权利要求的范围。
图1是操作在本发明的原理之下的扫描系统的透视图，其包括异构传感器集群和转盘。
图2是类似于关于图1所描述的系统的3D扫描系统的示意图。
图3图示了要扫描或数字化的对象，该对象被放置在转盘上并且在传感器集群的视野中被旋转第一增量，所述传感器集群具有类似于图1和图2中所描述和图示的深度相机和高分辨率相机的深度相机和高分辨率相机。
图4图示了表示深度相机和高分辨率相机图像平面的坐标空间之间的各种映射。
图5图示了使用3D单应性运算符H的3D点云的映射。
图6是使用本文所讨论的原理的一个示例中的扫描或数字化过程的操作步骤的流程图。
图7A和图7B是使用本文所讨论的原理的另外的示例中的扫描或数字化过程的操作步骤的流程图。
遍及各图，相同的参考标号指代类似但不必相同的元件。在图中示出并且在下文描述的示例说明但不限制本发明，本发明在以下具体实施方式之后的权利要求中加以限定。
具体实施方式
参照图1，图示了合并本发明的原理的3D扫描系统(100)。扫描系统包括转盘(102)和异构传感器集群(104)。3D扫描系统(100)还可以例如包括屏幕和输入设备或可操作连接到具有屏幕和键盘的计算设备。异构传感器集群(104)包括不同类型的视觉传感器，并且使得能够实现比可以从单个相机或传感器获取的更丰富且更鲁棒的信息的捕获。在一些示例中，如图1中所示，集群(104)的视觉传感器可以包括深度相机(106)和高分辨率相机(108)。还可以包括投影仪(110)以用于照明和校准目的。可以采用视觉传感器的其它组合。
在一些示例中，深度相机(106)可以捕获物理目标的视觉数据，其中所捕获到的视觉数据可以包括以下内容：三维(3D)深度信息(还称为“深度图”)、红外(IR)图像帧和RGB图像帧(其为RGB颜色空间中的图像帧)。在其它示例中，深度相机(106)可以产生另一颜色空间中的图像帧。“图像帧”是指构成图像的视觉数据点的集合。深度信息是指物理目标关于深度相机(106)的深度；该深度信息表示物理目标(或物理目标的部分)与深度相机(106)之间的距离。
在一些示例中，深度相机(106)可以包括IR视觉传感器、RGB视觉传感器和(一个或多个)附加传感器，以允许深度相机捕获深度信息以及RGB图像帧和IR图像帧。由深度相机捕获的RGB图像帧可以是相对低分辨率的图像帧。在其它示例中，深度相机(106)可以包括视觉传感器的其它组合，该其它组合允许深度相机(106)在可见颜色空间中捕获物理目标的深度信息和视觉数据。
集群(104)的高分辨率颜色空间相机(108)可以捕获较高分辨率RGB图像帧(或其它颜色空间中的图像帧)。在以下讨论中，对“低分辨率”和“高分辨率”的引用是在不同视觉传感器之间的相对分辨率的上下文中。换言之，“高分辨率”视觉传感器能够以比“低分辨率”视觉传感器更高的分辨率捕获视觉数据。在基于本文所描述的原理的系统的一些示例中，高分辨率相机具有近似4,000乘3,000像素的像素尺寸，而深度相机具有近似640乘480像素的像素尺寸。
参照图2，图示了类似于关于图1所描述的系统的3D扫描系统(200)的示意图。3D扫描系统(200)包括具有深度相机(206)、高分辨率相机(208)和投影仪(210)的集群(204)。本文所描述的3D扫描系统受益于在使用之前传感器集群中的相机的校准。相应地，图2还图示了校准系统(212)，该校准系统能够通过链路(214)与集群(204)的各种视觉传感器通信。校准系统(212)包括校准模块(216)，该校准模块能够根据用于校准集群(204)的视觉传感器的一些实现方式执行校准过程。在一些示例中，校准模块(216)可以实现为可在一个或多个处理器(218)上执行的机器可读指令。在其它示例中，校准系统(212)可以实现为硬件。
校准系统(212)还包括网络接口(220)以允许校准系统(212)通过诸如链路(214)之类的网络进行通信。而且，校准系统(212)包括用于存储数据和指令的存储介质(222)。存储介质(222)可以存储映射信息(224)，其中映射信息(224)——例如已知棋盘格图案——涉及集群(204)的不同对视觉传感器之间的映射。映射信息(224)用于执行集群(204)的视觉传感器之中的校准并且同时生成3D扫描信息。一旦校准了集群(204)的视觉传感器，则由相应视觉传感器捕获的视觉数据可以适当地组合以执行各种任务，诸如与3D扫描或数字化相关联的任务。
系统校准
在使用本文所描述的3D扫描系统执行扫描操作之前，校准相机或视觉传感器的异构集合。系统的校准导致从3D点云到2D图像的投影映射以及2D图像集合之间和3D点云集合之间的单应性。在一个示例中，投影映射使由深度相机(106)捕获的3D点云和点的2D图像相关。另一方面，单应性将2-空间和3-空间中的2D和3D数据分别映射到不同的2D和3D坐标系上。
3D坐标和2D平面或图像之间的投影映射可以通过以下的等式1定义：
x＝PX， (等式1)
其中x表示2D坐标并且X表示3D坐标。更具体地，等式1可以写为
Figure BPA0000238461300000041
其中x＝[u v 1]T表示2D坐标，X＝[xw yw zw 1]T表示3D坐标，zc是任意标度(具有预定义的值)，K表示固有参数，R表示外来旋转参数，并且t表示外来平移参数。固有参数K被定义如下：
Figure BPA0000238461300000042
其中fx，fy表示视觉传感器的透镜的焦距，u0，v0表示沿视觉传感器的光轴的光学中心，并且s是表示视觉传感器的偏斜失真的偏斜系数。
外来旋转参数(R)和外来平移参数(t)是视觉传感器的几何参数的部分。旋转参数可以定义视觉传感器在几何空间中的摇摄、倾斜和偏转。平移参数可以定义视觉传感器在几何空间中的平移位置。
导出投影矩阵(P)牵涉计算视觉传感器的固有参数(K)和几何参数(R，t)。一旦被获取，固有参数(K)和外来旋转参数(R)就可以用于产生单应性运算符，该单应性运算符用于在以下之间映射数据：由传感器获取的2D图像与不同的2D空间和由传感器获取的3D点云与不同3D空间。
更具体地，一对视觉传感器之间的直接2D到2D映射可以通过2D单应性表示，使得x’＝Hx，其中x’和x是两个平面中的2D位置矢量。单应性使两个图像(对应于两个视觉传感器)中的像素坐标相关。2D单应性(H)可以通过3-x-3矩阵表示，其一般具有以下形式：
Figure BPA0000238461300000043
3D对应部分是4x4矩阵，其中x’和x是3-空间中的3D位置矢量。针对计算单应性矩阵的分量(其依赖于以上提到的固有和外来参数)的进一步细节可以在共同所有的申请序列号13/713,036(题为“Calibrating Visual Sensors Using Homography Operators”)中找到，其公开内容通过引用并入本文。
系统操作
参照图3，将要扫描或数字化的对象(310)放置在3D扫描系统(300)上，所述3D扫描系统(300)具有转盘(302)和具有类似于以上描述的深度相机和高分辨率相机的深度相机和高分辨率相机的传感器集群(304)。转盘(302)旋转到第一位置并且使用深度相机获取第一3D点云，并且使用高分辨率相机获取第一2D高分辨率图像。3D点云包括具有与每一个2D点相关联的深度或距离(例如z坐标)的2D点(例如x和y坐标)的集合。转盘(302)然后旋转预定增量(306)(例如10度)而到第二位置，并且分别使用深度相机和高分辨率相机获取第二3D点云和2D高分辨率图像。包括第一和第二点云和图像的数据可以存储在存储器中。
3D扫描(或数字化)采用以下方式使用点云和图像的对来生成。开始，针对对应点或特征而分析第一和第二2D高分辨率图像以获取2D高分辨率对应点x的第一集合。在一个示例中，高分辨率对应点的数目在数目方面为至少18个。然后采用多步2D单应性以将2D高分辨率对应点x的第一集合从高分辨率相机的图像平面映射到深度相机的图像平面x″。更具体地，参照图4，示意性地图示了表示高分辨率相机的图像平面的2D坐标空间(402)和表示深度相机的图像平面的2D坐标空间(404)。还图示了感应平面2D坐标空间(406)。如图4中所描绘的，单应性运算符Hp提供表示高分辨率相机的图像平面的2D坐标空间(402)与感应平面的坐标空间(406)之间的映射。另一单应性运算符Hf可以用于提供感应平面的2D坐标空间(406)与表示深度相机的图像平面的2D坐标空间(404)之间的映射。
更一般地，提供两个视觉传感器——即深度和高分辨率相机——的坐标空间之间的2D到2D映射的单应性是多步单应性，该多步单应性可以包括多个单应性运算符。使用根据一些实现方式的多步单应性(包括Hp和Hf)的映射可以表示如下：
Figure BPA0000238461300000061
其中x′对应于基于Hp的中间经映射的坐标空间(并且更具体地，图4的虚拟坐标空间(406))，并且x″对应于基于Hf的最终经映射的坐标空间。通过使用等式5和等式6，将2D高分辨率对应点x的第一集合映射到感应平面(406)上以产生坐标点的感应集合x′。然后将坐标点的感应集合x′映射到表示深度相机的图像平面的2D坐标空间(404)上，从而产生坐标点的第二集合x″。
然后将坐标点的第二集合x″用于从3D点云提取深度信息。具体地，由于3D点云中的深度信息关联到与深度相机相关联的2D坐标系，因此存在深度数据与坐标点的第二集合x″之间的已知像素到像素映射。以此方式，可以获取来自第一和第二3D点云的对应点。然后将对应3D点用于计算3D单应性运算符，该3D单应性运算符允许将第二3D点云映射到第一3D点云。因而可以对准3D点的两个集合。参照图5，例如，3D单应性运算符H在3D矢量[U’，V’，Z’]T和[U，V，Z]T之间进行映射。在一个示例中，3D单应性运算符可以使用标准RANSAC算法来计算，尽管可以使用其它算法。
3D单应性步骤提供3D点云对的粗略对准。使用捆束调节步骤来获取更加精确的对准。捆束调节最小化所观察到的图像位置与所预测的点之间的重投影误差。在一个示例中，调节被用公式表示为非线性最小平方问题，其中误差是所观察到的特征位置与对应3D点在相机图像上的投影之间的差异的经平方的L2范数。在另外的示例中，可以使用标准或经修改的Levenberg-Marquardt算法以迭代地求解最小化问题。
在3D点云的对准之后，删改和清理结果得到的3D网格——例如以移除假的或不想要的点或者填充孔或间隙。网格然后可以按需改进，这取决于例如被扫描的对象的所期望的分辨率或复杂度。在网格删改和改进之后，深度数据和深度相机的图像平面的坐标之间的已知像素到像素映射可以用于生成坐标点的经修改的集合x″。通过使用单应性运算符Hp和Hf的逆，然后将坐标点的经修改的集合映射回到表示高分辨率相机的图像平面的坐标系。
在以上步骤完成之后，转盘然后旋转预定增量并且过程重复。更具体地，转盘(302)旋转预定增量(306)(例如10度)而到第三位置，并且分别使用深度相机和高分辨率相机获取第三3D点云和2D高分辨率图像。第三3D点云和2D高分辨率图像然后使用以上描述的相同步骤与经删改和改进的网格以及坐标点的经修改的集合x″组合。过程重复直到转盘已旋转完整的360度为止或者直到期望数字化的对象已经被完全扫描为止。
现在参照图6，提供了根据本文所描述的原理的用于重构三维对象的表面几何形状的方法。在各种示例中，方法包括以下步骤。提供具有异构传感器的集群的系统，包括二维高分辨率相机和三维深度相机以及可操作成递增旋转的转盘(602)。将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集(604)。然后将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集(606)。然后确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合(608)。然后将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点(610)。然后使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合并且然后使用经对准的数据生成对象的三维网格(612)。
现在参照图7A和图7B，提供了一种根据本文所描述的原理的用于重构三维对象的表面几何形状的方法。在各种示例中，方法包括以下步骤。提供具有异构传感器的集群的系统，包括二维高分辨率相机和三维深度相机以及可操作成递增旋转的转盘(702)。将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集(704)。然后将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集(706)。然后确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合(708)。然后将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点(710)。然后使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合并且然后使用经对准的数据生成对象的三维网格(712)。
仍旧参照图7A和图7B，本公开内容的原理可以包括以下附加步骤。使用深度相机的图像平面和对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射从三维网格确定二维坐标点的经修改的集合(714)。然后将二维坐标点的经修改的集合映射到表示高分辨率相机的图像平面的坐标系以获取高分辨率数据的经映射的集合(716)。然后将转盘旋转到第三位置并且使用二维高分辨率相机采集第三二维数据集并且使用三维深度相机采集第三三维数据集(718)。然后确定高分辨率数据的经映射的集合与第三二维数据集之间的对应特征以获取高分辨率对应点的第二集合(720)。然后将高分辨率对应点的第二集合映射到深度相机的图像平面并且确定三维网格与深度数据的第三集合之间的对应点(722)。然后使用从三维网格与深度数据的第三集合之间的对应点获取的三维单应性对准三维网格和深度数据的第三集合(724)。然后使用经对准的三维网格和深度数据的第三集合生成经更新的三维网格(726)。过程重复直到获得所期望的扫描或数字化为止。
以上描述的原理和示例提供用于重构真实世界对象的形状或外观的系统和方法。该系统和方法受益于将3D扫描问题精简成简化的2D到2D对应性问题，其中将对准建模为3D单应性，从而导致快速且鲁棒的闭环3D扫描过程。
已经呈现的前述描述仅用以说明和描述所描述的原理的示例。该描述不旨在是穷举的或者将这些原理限制到所公开的任何确切形式。鉴于以上教导，许多修改和变化是可能的。

Claims (15)

1.一种用于重构三维对象的系统，包括：
异构传感器的集群，包括二维高分辨率传感器、三维深度传感器；
转盘；以及
校准系统，包括处理器以及存储校准指令的存储介质，所述校准指令可在所述处理器上执行以：
当转盘处于第一位置时，接收使用所述二维高分辨率传感器采集的所述转盘上的对象的第一二维数据集以及使用所述三维深度传感器采集的所述转盘上的对象的第一三维数据集；
当转盘处于不同于所述第一位置的第二位置时，接收使用所述二维高分辨率传感器采集的所述转盘上的对象的第二二维数据集以及使用三维深度传感器采集的所述转盘上的对象的第二三维数据集；
确定所述第一和第二二维数据集之间的对应特征以标识高分辨率对应坐标点的集合；
将高分辨率对应坐标点的集合映射到所述三维深度传感器的图像平面上以标识坐标点的集合；使用所述坐标点的集合来对准所述第一三维数据集和第二三维数据集；并且
使用经对准的第一三维数据集和第二三维数据集生成三维对象的表示。
2.权利要求1的系统，其中二维高分辨率传感器包括高分辨率RGB相机。
3.权利要求2的系统，其中三维深度传感器包括三维深度相机，该三维深度相机具有比高分辨率RGB相机的像素分辨率更低的像素分辨率。
4.权利要求1的系统，其中转盘可操作成递增旋转。
5.权利要求1的系统，其中生成的三维对象的表示包括表示三维对象的几何形状的网格。
6.一种用于重构三维对象的系统，包括：
异构传感器的集群，包括二维高分辨率相机和三维深度相机；以及
可操作成递增旋转的转盘；
其中系统可操作成在转盘旋转的每一个增量处获取二维高分辨率数据和三维深度位置数据，并且使用高分辨率数据集的二维到二维对应性和三维单应性运算符而利用在之前转盘位置处获取到的数据来处理在当前转盘位置处获取到的数据以产生表示三维对象的几何形状的网格，其特征在于：
将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集；
将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集；
确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合；
将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点；以及
使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合。
7.权利要求6的系统，其中使用多步二维单应性来执行所述映射。
8.权利要求7的系统，其中多步二维单应性包括将高分辨率数据集的二维到二维对应性映射到感应平面上以产生感应坐标集合，随后将感应坐标集合映射到深度相机的图像平面上。
9.权利要求7的系统，其中系统还可操作成使用深度相机的图像平面与对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射来从深度相机提取深度信息。
10.权利要求9的系统，其中系统可操作成使用从转盘的当前和之前增量提取的深度信息来计算三维单应性运算符，并且使用三维单应性运算符来对准从转盘的当前和之前增量提取的深度信息。
11.一种用于重构三维对象的表面几何形状的方法，包括以下步骤：
提供异构传感器的集群，包括二维高分辨率相机和三维深度相机以及可操作成递增旋转的转盘；
将转盘旋转到第一位置并且使用二维高分辨率相机采集第一二维数据集并且使用三维深度相机采集第一三维数据集；
将转盘旋转到第二位置并且使用二维高分辨率相机采集第二二维数据集并且使用三维深度相机采集第二三维数据集；
确定第一和第二二维数据集之间的对应特征以获取高分辨率对应点的第一集合；
将高分辨率对应点的第一集合映射到深度相机的图像平面上并且确定深度数据的第一集合和第二集合之间的对应点；以及
使用从深度数据的第一集合和第二集合之间的对应点获取的三维单应性来对准深度数据的第一集合和第二集合。
12.权利要求11的方法，其中多步二维单应性用于将高分辨率对应点的第一集合映射到深度相机的图像平面上，多步单应性包括以下步骤：将高分辨率数据集的二维到二维对应性映射到感应平面上以产生感应坐标集合并且将感应坐标集合映射到深度相机的图像平面上。
13.权利要求12的方法，还包括以下步骤：使用深度相机的图像平面与对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射来从深度相机提取深度信息。
14.权利要求13的方法，还包括以下步骤：
使用从转盘的当前和之前增量提取的深度信息来确定三维单应性运算符；
使用三维单应性运算符来对准从转盘的当前和之前增量提取的深度信息；以及
从经对准的深度信息生成三维网格。
15.权利要求14的方法，还包括以下步骤：
使用深度相机的图像平面和对应于深度相机的图像平面的像素位置的深度数据之间的像素到像素映射从三维网格确定二维坐标点的经修改的集合；
将二维坐标点的经修改的集合映射到表示高分辨率相机的图像平面的坐标系以获取高分辨率数据的经映射的集合；
将转盘旋转到第三位置并且使用二维高分辨率相机采集第三二维数据集并且使用三维深度相机采集第三三维数据集；
确定高分辨率数据的经映射的集合与第三二维数据集之间的对应特征以获取高分辨率对应点的第二集合；
将高分辨率对应点的第二集合映射到深度相机的图像平面上并且确定三维网格与深度数据的第三集合之间的对应点；
使用从三维网格与深度数据的第三集合之间的对应点获取的三维单应性对准三维网格和深度数据的第三集合；以及
使用经对准的三维网格和深度数据的第三集合生成经更新的三维网格。
CN201480082436.8A 2014-07-31 2014-07-31 三维扫描系统和框架 Active CN107155341B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/049246 WO2016018392A1 (en) 2014-07-31 2014-07-31 Three dimensional scanning system and framework

Publications (2)

Publication Number Publication Date
CN107155341A CN107155341A (zh) 2017-09-12
CN107155341B true CN107155341B (zh) 2020-01-10

Family

ID=55218106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082436.8A Active CN107155341B (zh) 2014-07-31 2014-07-31 三维扫描系统和框架

Country Status (4)

Country Link
US (1) US11290704B2 (zh)
EP (1) EP3175200A4 (zh)
CN (1) CN107155341B (zh)
WO (1) WO2016018392A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168833B2 (en) * 2014-09-03 2019-01-01 Hewlett-Packard Development Company, L.P. Presentation of a digital image of an object
US20180007345A1 (en) * 2015-01-16 2018-01-04 Imra Europe S.A.S. Self-rectification of stereo camera
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
CN113286137B (zh) * 2015-11-11 2024-02-02 索尼公司 编码设备和编码方法以及解码设备和解码方法
US10003783B2 (en) * 2016-02-26 2018-06-19 Infineon Technologies Ag Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image
WO2018081967A1 (en) * 2016-11-03 2018-05-11 Intel Corporation Real-time three-dimensional camera calibration
CN106780615B (zh) * 2016-11-23 2019-09-27 安徽慧视金瞳科技有限公司 一种基于密集采样的投影标定方法
US10732989B2 (en) * 2017-02-09 2020-08-04 Yanir NULMAN Method for managing data, imaging, and information computing in smart devices
CN107421466B (zh) * 2017-06-22 2019-08-23 上海弼智仿生高科技有限公司 一种二维和三维图像的同步采集装置及采集方法
CN109474780B (zh) * 2017-09-07 2023-07-25 虹软科技股份有限公司 一种用于图像处理的方法和装置
WO2019087404A1 (ja) * 2017-11-06 2019-05-09 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
US11617024B2 (en) 2018-11-12 2023-03-28 Hewlett-Packard Development Company, L.P. Dual camera regions of interest display
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法
CN113141500A (zh) * 2021-03-29 2021-07-20 成都理工大学工程技术学院 一种三维图像采集系统
WO2022264010A1 (en) * 2021-06-14 2022-12-22 Omnieye Holdings Limited Method and system for livestock monitoring and management

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416236B1 (en) * 2012-07-19 2013-04-09 Google Inc. Calibration of devices used to generate images of a three-dimensional object data model

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098435B2 (en) 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
US6628819B1 (en) * 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US6816629B2 (en) * 2001-09-07 2004-11-09 Realty Mapping Llc Method and system for 3-D content creation
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7187809B2 (en) * 2004-06-10 2007-03-06 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
JP3779308B2 (ja) * 2004-07-21 2006-05-24 独立行政法人科学技術振興機構 カメラ校正システム及び三次元計測システム
US7363157B1 (en) * 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
US7403268B2 (en) * 2005-02-11 2008-07-22 Deltasphere, Inc. Method and apparatus for determining the geometric correspondence between multiple 3D rangefinder data sets
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20080112610A1 (en) * 2006-11-14 2008-05-15 S2, Inc. System and method for 3d model generation
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US8363926B2 (en) * 2008-02-06 2013-01-29 University Of Central Florida Research Foundation, Inc. Systems and methods for modeling three-dimensional objects from two-dimensional images
JP5643774B2 (ja) 2009-02-26 2014-12-17 スリーエム イノベイティブ プロパティズ カンパニー 低視認性の重ね合わせられた微小パターンを有する、タッチスクリーンセンサ及びパターン基材
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
EP2670148B1 (en) 2011-01-27 2017-03-01 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional imaging device and three-dimensional imaging method
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
US9053571B2 (en) 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US9560314B2 (en) * 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US9552668B2 (en) * 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
KR101778833B1 (ko) * 2014-04-03 2017-09-26 한국전자통신연구원 3d 의류 모델 복원 방법 및 장치
US20170213386A1 (en) 2014-07-31 2017-07-27 Hewlett-Packard Development Company, L.P. Model data of an object disposed on a movable surface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416236B1 (en) * 2012-07-19 2013-04-09 Google Inc. Calibration of devices used to generate images of a three-dimensional object data model

Also Published As

Publication number Publication date
US11290704B2 (en) 2022-03-29
CN107155341A (zh) 2017-09-12
WO2016018392A1 (en) 2016-02-04
US20170223338A1 (en) 2017-08-03
EP3175200A4 (en) 2018-04-04
EP3175200A1 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
CN107155341B (zh) 三维扫描系统和框架
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
AU2011312140B2 (en) Rapid 3D modeling
Singh et al. Bigbird: A large-scale 3d database of object instances
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
US9396542B2 (en) Method of estimating imaging device parameters
US20170374360A1 (en) Camera calibration system, target, and process
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
JP6067175B2 (ja) 位置測定装置及び位置測定方法
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP2014529727A (ja) 自動シーン較正
KR20210119417A (ko) 깊이 추정법
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN113689578B (zh) 一种人体数据集生成方法及装置
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
Furferi et al. A RGB-D based instant body-scanning solution for compact box installation
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
JP7474137B2 (ja) 情報処理装置およびその制御方法
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
JP2016218920A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant