CN108961381A - 用于对物体的三维几何模型着色的方法和装置 - Google Patents

Abstract

本公开涉及用于对物体的三维几何模型着色的方法和装置。根据本公开的用于对物体的三维几何模型着色的方法包括：基于拍摄物体得到的多个彩色图像构造所述物体的三维几何模型；执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。根据本公开的技术，可以在没有关于物体的二维彩色图像的深度信息的情况下准确和快速地建立物体的三维几何模型与二维彩色图像之间的空间对应关系，从而对三维几何模型着色。

Description

用于对物体的三维几何模型着色的方法和装置

技术领域

本公开涉及用于对物体的三维几何模型着色的方法和装置。

背景技术

目前，三维几何模型已被广泛地用在各种应用中，诸如增强现实、数字博物馆和三维打印。随着各种三维扫描仪的普及，可以更便利地获得三维几何模型。

通常说来，物体的三维几何模型的构建包括两个主要步骤，即几何重建和颜色映射。具体地，在几何重建的步骤中，通过相机姿态估计基于三维物体的深度图来重建三维物体的几何模型，随后在颜色映射的步骤中，根据从三维几何模型到彩色图像的映射来计算三维几何模型中的三维点的颜色。

在现有技术的方法中，深度图和彩色图像是由同一设备捕获的，而且所对应的深度图和彩色图像几乎是被同时捕获的。因而，通常认为与每对深度图和彩色图像相关的相机姿态是相同或相似的。由于在几何重建的步骤中已对所有深度图的相机姿态进行了估计，因此所估计的相机姿态可以在颜色映射的步骤中用作参考。具体地，在颜色映射的步骤中，对于成对的深度图和彩色图像，可以将基于深度图估计的相机姿态直接应用于彩色图像。

然而，在一些应用中，深度图和彩色图像是由不同的设备捕获的。例如，深度图是通过三维扫描仪捕获的，而彩色图像是由高分辨率或高清晰度的数码相机捕获的。在该情况下，物体的三维几何模型和彩色图像是可用的，但是在三维几何模型和彩色图像之间的对应关系是未知的。显然，在这些应用中，传统的三维几何模型的构建方法是不适用的。

因此，需要提供一种能够利用物体的二维的彩色图像对物体的三维几何模型进行着色的技术。

发明内容

在下文中将给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本公开的目的在于提供能够利用物体的二维的彩色图像对物体的三维几何模型进行着色的方法和装置。通过本公开的方法和装置，在仅给定物体的二维彩色图像和三维几何模型的情况下，能够准确和快速地建立物体的二维彩色图像与三维几何模型的空间对应关系，从而对三维几何模型着色，即确定三维几何模型中的三维点的颜色。

为了实现本公开的目的，根据本公开的一个方面，提供了一种用于对物体的三维几何模型着色的方法，其包括：基于拍摄物体得到的多个彩色图像构造物体的三维几何模型；执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。

根据本公开的另一方面，提供了一种用于对物体的三维几何模型着色的装置，其包括：构造单元，用于基于拍摄物体得到的多个彩色图像构造物体的三维几何模型；对准单元，用于执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及映射单元，用于基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。

根据本公开的再一方面，还提供了能够实现上述的用于对物体的三维几何模型着色的方法的计算机程序。此外，还提供了具有至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述的用于对物体的三维几何模型着色的方法的计算机程序代码。

通过根据本公开的用于对物体的三维几何模型着色的技术，较之现有技术，可以在没有关于物体的二维彩色图像的深度信息的情况下准确和快速地建立物体的三维几何模型与二维彩色图像之间的空间对应关系，从而对三维几何模型着色。

附图说明

参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点，在附图中：

图1是示出根据本公开的实施例的用于对物体的三维几何模型着色的方法的流程图；

图2是示出根据本公开的实施例的用于基于多个彩色图像构造三维几何模型的方法的流程图；

图3是示出世界坐标系、图像坐标系和相机坐标系之间的关系的示意图；

图4是示出了根据本公开的实施例的用于对物体的三维几何模型着色的装置的框图；以及

图5是示出可用来实现根据本公开的实施例的用于对物体的三维几何模型着色的方法和装置的通用机器的结构简图。

具体实施方式

在下文中将结合附图对本公开的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施方式的过程中可以做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的部件，而省略了与本公开关系不大的其他细节。

根据本公开的用于对物体的三维几何模型着色的技术基于如下思想。由于仅给出物体的三维几何模型和多个二维彩色图像，但是没有提供关于二维彩色图像的深度信息，因此根据本公开的技术首先利用物体的二维彩色图像估计拍摄二维彩色图像的相机的姿态以及据此构造物体的三维几何模型，随后将所构造的三维几何模型与给定的三维几何模型对准，并且将所估计的相机姿态变换到给定的三维几何模型所在的坐标空间中，最后通过将所估计的相机姿态作为参考，得到最终的颜色映射关系。

图1示出了根据本公开的实施例的用于对物体的三维几何模型着色的方法100的流程图。如图1中所示，方法100开始于步骤S101。随后，在步骤S102中，基于拍摄物体得到的多个彩色图像构造物体的三维几何模型。接着，在步骤S103中，执行所构造的三维几何模型与物体的给定的三维几何模型的对准。随后，在步骤S104中，基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。最后，方法100结束于步骤S105。

下面将对方法100的步骤S102至S104的操作进行更详细的描述。

根据本公开的实施例，方法100的步骤S102可以通过用于基于多个彩色图像构造三维几何模型的方法200来实现。图2是示出根据本公开的实施例的用于基于多个彩色图像构造三维几何模型的方法200的流程图。在方法200中，基于对拍摄多个彩色图像的相机的姿态的估计来构造三维几何模型。

如图2中所示，方法200开始于步骤S201。

随后，在步骤S202中，检测多个彩色图像中的关键点。接着，在步骤S203中，基于检测到的关键点之间的相似度确定多个彩色图像中的彼此匹配的关键点。

可以采用多种方法来检测彩色图像中的关键点并且进行不同彩色图像中的关键点的匹配。例如，可以提取彩色图像中的角点和边缘作为关键点，并且通过对这样的提取的多个彩色图像中的关键点的某些特征进行比较来确定匹配的关键点。

此外，根据本公开的一个实施例，可以通过尺度不变特征变换(SIFT)方法来实现步骤S202和S203中的处理。

SIFT方法可用于在不同尺度空间上寻找彼此匹配的关键点，其特点在于对图像缩放、旋转甚至仿射变换保持不变性。在通过SIFT方法实现步骤S202和S203中的处理的情况下，可以通过SIFT特征提取操作和SIFT特征匹配操作来分别实现步骤S202和S203中的处理。

具体地，在用于实现步骤S202中的处理的SIFT特征提取操作中，针对每个彩色图像构建尺度空间，检测极值点以获得关键点，并且对关键点附加与方向和邻域相关的局部特征以形成SIFT特征向量。随后，在用于实现步骤S203中的处理的SIFT特征匹配操作中，通过对彩色图像中的关键点的SIFT特征向量进行两两比较来寻找相互匹配的关键点。

尽管上文基于SIFT方法描述了用于实现步骤S202和S203中的处理的方法，但是本公开不限于此。例如，还可以使用加速稳健特征(SURF)方法实现步骤S202和S203中的处理。这些替选实施例同样涵盖于本公开的范围内。

随后，方法200前往步骤S204。在步骤S204中，基于所确定的彼此匹配的关键点估计相机姿态，从而计算与关键点对应的三维点。

步骤S204中的基于关键点估计相机姿态以及据此计算三维点的处理可以归结为求解三维点所在的世界坐标系、作为三维点在彩色图像上的投影点的关键点所在的图像坐标系以及拍摄彩色图像的相机所在的相机坐标系之间的空间对应关系。

图3是示出世界坐标系、图像坐标系和相机坐标系之间的关系的示意图。如图3中所示，世界坐标系和相机坐标系为空间中的三维坐标系，而图像坐标系为彩色图像所在平面的二维坐标系。

三维点M在世界坐标系中的坐标为(x_w,y_w,z_w)，通过空间三维坐标系的旋转变换和平移变换，可以通过下式(1)得到三维点M在以相机所在位置O_c为原点的相机坐标系中的坐标(x_c,y_c,z_c)：

其中R是3×3的旋转矩阵(正交旋转矩阵)，其表示世界坐标系与相机坐标系之间的旋转变换关系，而t是三维平移向量，其表示世界坐标系与相机坐标系之间的平移变换关系。

此外，如图3所示，图像坐标系是以图像的左上角为原点以像素为单位的二维像素坐标系，其中与三维点M对应的关键点m具有坐标(u,v)。为了能够计算与世界坐标系和相机坐标系的空间对应关系，需要建立以相机光轴与彩色图像的交点o为原点以物理长度(例如，毫米)为单位的二维物理坐标系。在该二维物理坐标系中，关键点m具有坐标(x,y)。利用彩色图像中的每个像素的物理尺寸以及交点o在彩色图像中的位置可以通过平移和单位变换获得坐标(u,v)与坐标(x,y)之间的变换关系。

基于上述得到的变换关系，根据相机的小孔成像原理，可以通过下式(2)获得世界坐标系、图像坐标系和相机坐标系之间的空间对应关系。

其中f_x和f_y是与相机的焦距和像素的物理尺寸相关的参数，u₀和v₀是彩色图像的物理坐标系的原点o在像素坐标系中的坐标。

矩阵M₁由f_x、f_y、u₀和v₀确定，这些参数仅与相机的内部结构有关，因此被称为内部参数。此外，内部参数还可以包括与相机的内部结构有关的其他参数，例如径向畸变参数、切向畸变参数、薄棱镜畸变参数等。

矩阵M₂由旋转矩阵R和三维平移向量t确定，这些参数仅涉及相机坐标系与世界坐标系的变换，因此被称为外部参数。

相机姿态可由矩阵M₁和M₂来表示。应注意，本文中提及的对相机姿态的调整主要归于对矩阵M₂的调整，即对旋转矩阵R和三维平移向量t的调整。

此外，返回步骤S204的处理，基于以上描述，估计相机姿态的处理可以归于对内部参数矩阵M₁和外部参数矩阵M₂进行求解的处理。

对于具有彼此匹配的关键点的两个彩色图像，可以利用上式(2)联立方程求出所对应的三维点在世界坐标系中的坐标以及由内部参数矩阵M₁和外部参数矩阵M₂表示的相机姿态。应当注意，每个彩色图像具有其相应的相机姿态。

根据本公开的实施例，步骤S204中的处理，即基于所确定的彼此匹配的关键点估计相机姿态，从而计算与关键点对应的三维点，可以通过使所计算的三维点在多个彩色图像中的投影点与相应的关键点尽量接近来实现。例如，可以使所计算的三维点在多个彩色图像中的投影点与相应的关键点之间的距离的平方和最小。此外，可以通过类似迭代的方式进行优化。

具体地，首先从多个彩色图像中任意取出两个彩色图像，即第一彩色图像和第二彩色图像，基于它们的彼此匹配的关键点分别计算这两个彩色图像所对应的相机姿态，并藉此确定彼此匹配的关键点所对应的三维点的空间坐标。随后，对于第三彩色图像，可以基于其与第一和第二彩色图像的彼此匹配的关键点以及相应的三维点的空间坐标计算第三彩色图像所对应的相机姿态。同时，例如，基于使所计算的三维点在多个彩色图像中的投影点与相应的关键点之间的距离的平方和最小的原则，可以对已计算的第一和第二彩色图像的相机姿态进行进一步的调整以进行优化。对于其他彩色图像重复上述处理。

应认识到，上文所述的以类似迭代的方式进行的优化处理是针对每个彩色图像逐一进行的，但是本公开不限于此。例如，为了实现计算代价与计算精度之间的良好的权衡，也可以分批进行彩色图像的相机姿态的优化，即按照每批为两个或更多个彩色图像进行上述优化处理。这些替选实施例同样涵盖于本公开的范围内。

对于步骤S204中所执行的优化，通过连续地对多个彩色图像的相机姿态进行调整，使得基于彩色图像中的彼此匹配的关键点计算的三维点在每个彩色图像中的投影点尽量接近该彩色图像中的相应的关键点的位置。显然，在理想情况下，三维点在每个彩色图像中的投影点与该彩色图像中的相应的关键点完全重合。

通过步骤S204的处理，获得了每个彩色图像的相机姿态以及彩色图像中的物体中的多个三维点的空间坐标，这些三维点是物体的三维几何模型模型上的三维点。这些三维点形成了稀疏点云。

物体的三维几何模型通常由密度点云表示。因此，根据本公开的实施例，可以通过对在步骤S204中计算的三维点形成的稀疏点云进行扩展来构造表示物体的三维几何模型的密度点云。

在步骤S205中，通过对稀疏点云进行扩展来构造物体的三维几何模型。对三维点构成的稀疏点云的扩展可以通过多种方式进行。

根据本公开的实施例，步骤S205中的处理可以通过如下方式进行：对于构成稀疏点云的三维点附近的三维点，如果该三维点在多个彩色图像中的投影点的颜色彼此接近，则将该三维点视为用于扩展稀疏点云的三维点。

例如，对于每个三维点获得与其接近的三维点，将所获得的三维点投影到多个彩色图像上并且获得在彩色图像上的投影点的颜色。如果所获得的这些颜色之间的方差满足预定条件，例如小于预先设定的阈值，则该三维点可以被扩展到稀疏点云上。

尽管本公开描述了利用在各个彩色图像上的投影点的颜色来对稀疏点云进行扩展的实施例，但是本公开不限于此。根据本公开的教导，本领域技术人员也可以使用其他的方式对稀疏点云进行扩展。这些替选实施例同样涵盖于本公开的范围内。

方法200结束于步骤S206。

接下来将更详细地描述图1所示的步骤S103的处理。在步骤S103中，执行所构造的三维几何模型与物体的给定的三维几何模型的对准。

根据本公开的实施例，步骤S103中的处理可以包括：指定所构造的三维几何模型和给定的三维几何模型中的彼此对应的特征点；基于特征点计算所构造的三维几何模型和给定的三维几何模型之间的比例因子和变换关系；以及基于所计算的比例因子和变换关系将相机姿态变换到给定的三维几何模型的空间坐标系中。

通过步骤S102的处理，获得了彩色图像相对于所构造的三维几何模型的相机姿态。为了确定彩色图像相对于给定的三维几何模型的相机姿态，需要将所构造的三维几何模型与给定的三维几何模型彼此对准，因此需要计算它们之间的变换关系。

将所构造的三维几何模型与给定的三维几何模型自动对准需要解决两个问题。

首先，给定的彩色图像通常不仅包括前景的物体，而且还包括复杂的背景。此外，除了所关注的物体上的点之外，所构造的三维几何模型上还可能包括不需要的许多其他的点。因此，在执行所构造的三维几何模型与给定的三维几何模型的对准的过程中，有必要滤除上述不需要的点。

其次，仅通过彩色图像进行的三维建模并不能确定物体的真实尺寸，因此所构造的三维几何模型与给定的三维几何模型之间的比例因子是未知的。因此，在执行所构造的三维几何模型与给定的三维几何模型的对准的过程中，有必要确定所构造的三维几何模型与给定的三维几何模型之间的比例因子。

根据本公开的实施例，可以使用标注的方法来解决上述问题。具体地，可以地对所构造的三维几何模型和给定的三维几何模型中的一些对应的点进行标注，这些对应的点被称为特征点。例如，可以将三维几何模型中的角点选择为特征点，通过标注来指明所构造的三维几何模型和给定的三维几何模型中的特征点的对应关系。

随后，基于所标注的彼此对应的特征点，可以计算所构造的三维几何模型和给定的三维几何模型之间的比例因子和变换关系。

尽管上文通过标注的方式描述了本公开的实施例，但是本公开不限于此。本领域技术人员根据本公开的教导，可以采用其他方式来确定所构造的三维几何模型和给定的三维几何模型之间的比例因子和变换关系。这些替选实施例同样涵盖于本公开的范围内。

此外，根据本公开的实施例，可以通过迭代的方式对所计算的比例因子和变换关系进行优化。具体地，通过标注所构造的三维几何模型与给定的三维几何模型中的第一组彼此对应的特征点，可以计算出这两个三维几何模型之间的第一比例因子和第一变换关系。将所计算的第一比例因子和第一变换关系作为当前比例因子和变换关系。接着，通过标注所构造的三维几何模型与给定的三维几何模型中的第二组彼此对应的特征点，可以计算出这两个三维几何模型之间的第二比例因子和第二变换关系。利用第二比例因子和第二变换关系对第一比例因子和第一变换关系进行调整，将经调整的比例因子和变换关系作为当前比例因子和变换关系。接着，标注所构造的三维几何模型与给定的三维几何模型中的第三组彼此对应的特征点，重复执行上述处理，直至获得最优化的比例因子和变换关系。

应认识到，上文描述了以类似迭代的方式进行的比例因子和变换关系的优化处理，但是本公开不限于此。例如，还可以将利用第一组彼此对应的特征点计算出的第一比例因子和第一变换关系用作初值，利用这些特征点附近的点对初值进行重复优化，从而获得最优化的比例因子和变换关系。这些替选实施例同样涵盖于本公开的范围内。

此外，根据本公开的实施例，在不能实现所构造的三维几何模型和给定的三维几何模型之间良好对准的情况下，可以对彩色图像的相机姿态进行调整以对所构造的三维几何模型进行调整，从而实现所构造的三维几何模型和给定的三维几何模型之间的良好对准。

通过步骤S103中的处理，彩色图像的相机姿态被变换到给定的三维几何模型的空间坐标系中。接下来，在方法100的步骤S104中，基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。

根据本公开的实施例，步骤S104中的处理可以通过如下方式进行：将给定的三维几何模型分别投影到多个彩色图像上；以及对给定的三维几何模型中的每个三维点在多个彩色图像上的投影点的颜色取平均来确定给定的三维几何模型中的每个三维点的颜色。

根据本公开的实施例，所进行的取平均的处理可以是基于相机姿态的加权平均处理。

具体地，对于每个彩色图像，可以基于彩色图像的相机姿态对三维点在该彩色图像上的投影点的颜色进行加权。例如，对于物体某一侧面上的三维点，如果彩色图像的相机姿态为正向面对所拍摄的物体的该侧面，则认为该彩色图像中的物体的该侧面的颜色的真实性较高，可以对该侧面上的三维点在该彩色图像上的投影点的颜色赋予较高的权值。反之，如果彩色图像的相机姿态为斜向面对所拍摄的物体的该侧面，则认为该彩色图像中的物体的该侧面的颜色的真实性较低，可以对该侧面上的三维点在该彩色图像上的投影点的颜色赋予较低的权值。通过使用这样确定的权值对相应的投影点的颜色进行加权平均，可以获得更准确的三维点的颜色。

此外，根据本公开的实施例，在步骤S104中，还可以进一步对相机姿态进行调整来优化给定的三维几何模型中的每个三维点的颜色。具体地，尽管通过S104中的处理，可以确定三维几何模型中的每个三维点的颜色，但是有可能存在三维点在一个或更多个彩色图像中的投影点的颜色相对于通过取平均确定的颜色差异过大的情况，因而需要对彩色图像的相机姿态进行调整以获得最优的三维点颜色，使得三维点在每个彩色图像中的投影点的颜色与最优的三维点颜色尽量接近。例如，使得三维点在每个彩色图像中的投影点的颜色与最优的三维点颜色之间的差的平方和最小。该优化处理同样可以基于上文针对步骤S204描述的迭代的方式进行，因而不再进行重复的描述。

根据本公开的方法，在仅给定物体的二维彩色图像和三维几何模型的情况下，能够准确和快速地建立物体的二维彩色图像与三维几何模型的空间对应关系，从而对三维几何模型着色，即确定三维几何模型中的三维点的颜色。

图4是示出根据本公开的实施例的用于对物体的三维几何模型着色的装置400的框图。

如图4中所示，装置400包括：构造单元401，用于基于拍摄物体得到的多个彩色图像构造物体的三维几何模型；对准单元402，用于执行所构造的三维几何模型与物体的给定的三维几何模型的对准；以及映射单元403，用于基于对准结果将多个彩色图像的颜色映射到给定的三维几何模型上。

构造单元401被配置成执行上文参照图1描述的方法100的步骤S102的处理并且能够取得与该处理相关的益处，在此省略其描述。对准单元402被配置成执行上文参照图1描述的方法100的步骤S103的处理并且能够取得与该处理相关的益处，在此省略其描述。此外，映射单元403被配置成执行上文参照图1描述的方法100的步骤S104的处理并且能够取得与该处理相关的益处，在此省略其描述。

图5是示出可用来实现根据本公开的实施例的用于对物体的三维几何模型着色的方法100和装置400的通用机器500的结构简图。通用机器500可以是例如计算机系统。应注意，通用机器500只是一个示例，并非暗示对本公开的方法和装置的使用范围或者功能的局限。也不应将通用机器500解释为对上述用于对物体的三维几何模型着色的方法中示出的任一组件或其组合具有依赖或需求。

在图5中，中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM 503中，还根据需要存储当CPU 501执行各种处理等等时所需的数据。CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口505也连接到总线504。

下述部件也连接到输入/输出接口505：输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡例如LAN卡、调制解调器等)。通信部分509经由网络例如因特网执行通信处理。根据需要，驱动器510也可连接到输入/输出接口505。可拆卸介质511例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器510上，使得从中读出的计算机程序可根据需要被安装到存储部分508中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质511安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 502、存储部分508中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开的用于对物体的三维几何模型着色的方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本公开的范围内。

上面已通过框图、流程图和/或实施例进行了详细描述，阐明了根据本公开的实施例的装置和/或方法的具体实施方式。当这些框图、流程图和/或实施例包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

方案1.一种用于对物体的三维几何模型着色的方法，包括：

基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型；

执行所构造的三维几何模型与所述物体的给定的三维几何模型的对准；以及

基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上。

方案2.根据方案1所述的方法，其中，

基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型的步骤包括：

检测所述多个彩色图像中的关键点；

基于检测到的关键点之间的相似度确定所述多个彩色图像中的彼此匹配的关键点；

基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点，所述三维点形成稀疏点云；以及

对所述稀疏点云进行扩展来构造所述物体的三维几何模型。

方案3.根据方案2所述的方法，其中，

基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点的步骤包括：

通过使所述三维点在所述多个彩色图像中的投影点与相应的关键点尽量接近来计算相机姿态以及所述三维点。

方案4.根据方案2所述的方法，其中，

对所述稀疏点云进行扩展来构造所述物体的三维几何模型的步骤包括：

对于构成所述稀疏点云的三维点附近的三维点，如果该三维点在所述多个彩色图像中的投影点的颜色彼此接近，则将该三维点视为用于扩展所述稀疏点云的三维点。

方案5.根据方案2所述的方法，其中，

执行所构造的三维几何模型与所述给定的三维几何模型的对准的步骤包括：

指定所构造的三维几何模型和所述给定的三维几何模型中的彼此对应的特征点；

基于所述特征点计算所构造的三维几何模型和所述给定的三维几何模型之间的比例因子和变换关系；以及

基于所计算的比例因子和变换关系将所述相机姿态变换到所述给定的三维几何模型的空间坐标系中。

方案6.根据方案5所述的方法，其中，

基于所述特征点计算所构造的三维几何模型和所述给定的三维几何模型之间的比例因子和变换关系的步骤包括：

通过迭代的方式对所计算的比例因子和变换关系进行优化。

方案7.根据方案2所述的方法，其中，

基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上的步骤包括：

将所述给定的三维几何模型分别投影到所述多个彩色图像上；以及

对所述给定的三维几何模型中的每个三维点在所述多个彩色图像上的投影点的颜色取平均来确定所述给定的三维几何模型中的每个三维点的颜色。

方案8.根据方案7所述的方法，其中所述平均是基于相机姿态的加权平均。

方案9.根据方案7所述的方法，其中，

基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上的步骤还包括：

通过调整所述相机姿态来优化所述给定的三维几何模型中的三维点的颜色，使得三维点在每个彩色图像中的投影点的颜色与该三维点的颜色尽量接近。

方案10.一种用于对物体的三维几何模型着色的装置，包括：

构造单元，用于基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型；

对准单元，用于执行所构造的三维几何模型与所述物体的给定的三维几何模型的对准；以及

映射单元，用于基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上。

方案11.根据方案10所述的装置，其中，

所述构造单元被进一步配置成：

检测所述多个彩色图像中的关键点；

基于检测到的关键点之间的相似度确定所述多个彩色图像中的彼此匹配的关键点；

基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点，所述三维点形成稀疏点云；以及

对所述稀疏点云进行扩展来构造所述物体的三维几何模型。

方案12.根据方案11所述的装置，其中，

通过使所述三维点在所述多个彩色图像中的投影点与相应的关键点尽量接近来计算相机姿态以及所述三维点。

方案13.根据方案11所述的装置，其中，

对于构成所述稀疏点云的三维点附近的三维点，如果该三维点在所述多个彩色图像中的投影点的颜色彼此接近，则将该三维点视为用于扩展所述稀疏点云的三维点。

方案14.根据方案11所述的装置，其中，

所述对准单元被进一步配置成：

指定所构造的三维几何模型和所述给定的三维几何模型中的彼此对应的特征点；

基于所述特征点计算所构造的三维几何模型和所述给定的三维几何模型之间的比例因子和变换关系；以及

基于所计算的比例因子和变换关系将所述相机姿态变换到所述给定的三维几何模型的空间坐标系中。

方案15.根据方案14所述的装置，其中，

通过迭代的方式对所计算的比例因子和变换关系进行优化。

方案16.根据方案11所述的装置，其中，

所述映射单元被进一步配置成：

将所述给定的三维几何模型分别投影到所述多个彩色图像上；以及

对所述给定的三维几何模型中的每个三维点在所述多个彩色图像上的投影点的颜色取平均来确定所述给定的三维几何模型中的每个三维点的颜色。

方案17.根据方案16所述的装置，其中所述平均是基于相机姿态的加权平均。

方案18.根据方案16所述的装置，其中，

通过调整所述相机姿态来优化所述给定的三维几何模型中的三维点的颜色，使得三维点在每个彩色图像中的投影点的颜色与该三维点的颜色尽量接近。

方案19.一种计算机可读存储介质，其上存储有能够由计算机执行的计算机程序，所述计算机程序在被所述计算机执行时能够实现根据方案1至9中任一项所述的方法。

尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (10)

1.一种用于对物体的三维几何模型着色的方法，包括：

基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型；

执行所构造的三维几何模型与所述物体的给定的三维几何模型的对准；以及

基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上。

2.根据权利要求1所述的方法，其中，

基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型的步骤包括：

检测所述多个彩色图像中的关键点；

基于检测到的关键点之间的相似度确定所述多个彩色图像中的彼此匹配的关键点；

基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点，所述三维点形成稀疏点云；以及

对所述稀疏点云进行扩展来构造所述物体的三维几何模型。

3.根据权利要求2所述的方法，其中，

基于所确定的彼此匹配的关键点估计相机姿态，从而计算与所述关键点对应的三维点的步骤包括：

通过使所述三维点在所述多个彩色图像中的投影点与相应的关键点尽量接近来计算相机姿态以及所述三维点。

4.根据权利要求2所述的方法，其中，

对所述稀疏点云进行扩展来构造所述物体的三维几何模型的步骤包括：

对于构成所述稀疏点云的三维点附近的三维点，如果该三维点在所述多个彩色图像中的投影点的颜色彼此接近，则将该三维点视为用于扩展所述稀疏点云的三维点。

5.根据权利要求2所述的方法，其中，

执行所构造的三维几何模型与所述给定的三维几何模型的对准的步骤包括：

指定所构造的三维几何模型和所述给定的三维几何模型中的彼此对应的特征点；

基于所述特征点计算所构造的三维几何模型和所述给定的三维几何模型之间的比例因子和变换关系；以及

基于所计算的比例因子和变换关系将所述相机姿态变换到所述给定的三维几何模型的空间坐标系中。

6.根据权利要求5所述的方法，其中，

基于所述特征点计算所构造的三维几何模型和所述给定的三维几何模型之间的比例因子和变换关系的步骤包括：

通过迭代的方式对所计算的比例因子和变换关系进行优化。

7.根据权利要求2所述的方法，其中，

基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上的步骤包括：

将所述给定的三维几何模型分别投影到所述多个彩色图像上；以及

对所述给定的三维几何模型中的每个三维点在所述多个彩色图像上的投影点的颜色取平均来确定所述给定的三维几何模型中的每个三维点的颜色。

8.根据权利要求7所述的方法，其中所述平均是基于相机姿态的加权平均。

9.根据权利要求7所述的方法，其中，

基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上的步骤还包括：

通过调整所述相机姿态来优化所述给定的三维几何模型中的三维点的颜色，使得三维点在每个彩色图像中的投影点的颜色与该三维点的颜色尽量接近。

10.一种用于对物体的三维几何模型着色的装置，包括：

构造单元，用于基于拍摄所述物体得到的多个彩色图像构造所述物体的三维几何模型；

对准单元，用于执行所构造的三维几何模型与所述物体的给定的三维几何模型的对准；以及

映射单元，用于基于对准结果将所述多个彩色图像的颜色映射到所述给定的三维几何模型上。