CN101383046B - 一种基于图像的三维重建方法 - Google Patents

Abstract

本发明涉及一种基于特征点约束的多幅图像三维重建方法。所述方法包括：对每幅图像特征点的三维重建，计算每幅图像的特征点，对每个特征点进行三维重建，确定所述待重建点空间位置的搜索范围；对所述搜索范围内的点进行采样，将所有采样点投影到图像，然后根据颜色一致性获取待重建点在空间的位置。该方法具有简单、实用、重建效果好的优点。

Description

一种基于图像的三维重建方法

技术领域

本发明涉及计算机视觉领域，具体涉及物体的三维数据获取领域。

背景技术

三维数据获取方法是计算机视觉、测量学等领域研究的热点问题之一。随着近二三十年的研究，许多三维数据获取方法已经成功应用在逆向工程、工业检测、人体测量、文物保护、虚拟现实等诸多领域。这些成熟的方法中使用的技术大部分为三维扫描技术，该类方法通过在物体上投射激光、面结构光等主动手段，采用三角法或者基于光飞行时间的方法等实现对物体三维表面信息的获取。这类方法能获取物体表面较为精细的三维数据，但存在速度慢、使用成本高、受物体表面属性影响较大等问题，这些问题在一定程度上成了限制三维信息获取技术发展的瓶颈。

基于图像的三维重建技术是三维数据获取的最有前景的方法之一，其主要优势如下：1、相对于三维扫描的流程和成本来说，图像的获取非常容易，高分辨率照相机和摄像机的成本已经非常低廉；2、三维扫描技术的一个难点是数据的自动配准问题，基于图像的重建利用自标定技术可以将基于不同图像作为参考图像得到的三维数据进行自动配准；3、纹理映射也是三维建模的难题之一，基于图像的三维建模本身得到的就是带有纹理的数据，纹理映射成了非常简单的问题；4、对于三维漫游等本来就对数据精度要求不高的处理，基于图像的重建数据就可以满足很多应用的要求。

基于图像的三维重建方法根据使用图像的数量可分为基于单幅图像、基于两幅图像和基于多幅图像的三维重建。基于单幅图像的重建技术利用统计学习的结果得到对场景中一些结构性信息如天空、地面、建筑物立面的分类或者得到对场景的特征描述与深度的关系，利用这些分类结果或者是特征与深度的对应关系可以对场景进行简单的三维重建。基于两幅图像的重建也就是通常讲的立体视觉，通过求得两幅图像上对应点的视差来进行三维重建。基于多幅图像的重建是从两幅图像的立体视觉技术发展起来的，由于使用多幅图像，该类方法的重建效果和鲁棒性要明显好于仅基于两幅图像的三维重建方法，因而成为这几年研究的热点问题之一。

基于多幅图像的立体视觉方法从重建原理来说主要有如下几种：

第一种：利用两幅图像立体视觉方法获取一系列深度图，利用深度图的一致性作为约束，把这一系列深度图融合为一个完整的三维场景；

第二种：从图像上抽取并匹配特征点，并根据这些特征点来拟合曲面；

第三种：通过优化一个目标函数，采用迭代的方法形成一个曲面，这类方法包括空间切割方法、Level-set方法等；

第四种：对三维空间中的空间点或者体素，将其投影到各幅图像上判断是否满足颜色一致性，然后从三维空间中抽取一个表面。

发明内容

本发明的目的是提供一种基于特征点约束的多幅图像三维重建方法，结合上述第四种和第二种方法的优点，通过将特征点约束和颜色一致性相结合，利用图像点周围的特征点信息作为距离搜索约束，提高了效率，解决了现有技术中存在的重建速度慢、使用成本高、受物体表面属性影响大的问题。

为了达到上述发明目的，本发明提供了一种基于图像的三维重建方法，所述方法先获取一组图像并指定其中一幅图像上的一点为待重建点，并包括以下步骤：

S1：计算每幅图像的特征点，对每个特征点进行三维重建；

S2：利用特征点的重建结果确定所述待重建点空间位置的搜索范围；

S3：对所述搜索范围内的点进行采样，将所有采样点投影到除待重建点所属图像之外的其他图像上；

S4：根据颜色一致性获取待重建点在空间的位置。

其中，所述步骤S1包括：

S1-1：计算每个特征点的多维描述子；

S1-2：根据所述特征点的描述子反求所述特征点的三维坐标。

其中，所述的特征点为SIFT特征点。

其中，所述描述子之间的最小距离与第二小距离的比值小于0.5。

其中，所述步骤S2包括：

S2-1：对所述特征点进行三角剖分；

S2-2：确定所述待重建点所属的三角形，用该三角形顶点的最近和最远距离作为该待重建点的最近和最远距离，得到所述待重建点的深度范围。

其中，所述步骤S3中“对所述搜索范围内的点进行采样”采取均匀采样的方法，得到n个可能深度。

其中，所述步骤S4中“根据颜色一致性获取待重建点在空间的位置”具体包括：

S4-1：利用下式计算采样点的颜色一致性参数；

$\mathrm{NCC}=\frac{\mathrm{\Σ}({\mathrm{\α}}_i-\mathrm{\α})\·({\mathrm{\β}}_i-\mathrm{\β})}{\sqrt{\mathrm{\Σ}{({\mathrm{\α}}_i-\mathrm{\α})}^2\·{({\mathrm{\β}}_i-\mathrm{\β})}^2}},i=\mathrm{0,1},...,m-1$

其中m为窗口大小，两个视窗内每个点的RGB颜色值α_i，β_i均为三维向量，分别为两个视窗的m个向量取平均值得到两个向量α，β；

S4-2：选出采样点中最满足颜色一致性的点即为所述待重建点的空间位置。

其中，所述步骤S4-1包括：

S4-1-1：定义NCC大于阈值t的图像数目至少为2的深度为有效深度；

S4-1-2：将所述待重建点与相邻4幅图像求取NCC，取其平均值为该深度的可信度；

S4-1-3：选择n个有效深度中可信度最大的深度为该待重建点的深度值。

本发明所提供的方法通过结合特征点约束和颜色一致性，利用图像点周围的特征点信息作为距离搜索约束，达到基于多幅图像的三维重建，该方法具有简单、实用、重建效果好的优点。

附图说明

图1是本发明的待重建点经相机拍摄投影到图像的示意图；

图2是本发明基于图像的三维重建方法的流程框图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

图1所示为空间点P经相机拍摄，投影到图像的示意图，其中在第i个图像上的投影点为p。现在的问题是已知p，需要得到其在空间的位置。从直观上可以理解，点P在空间的位置可能在图像点p与光心的连线上，但是无法确定这条线上的哪一个点才是要找的点。基于多幅图像的三维重建方法的思路是：限制一个范围(图中的线段P_nP_f)，并将这个范围内的所有点投影到其他图像上，根据颜色一致性来得到最可能的点。

基于多幅图像的立体视觉方法的重建原理为，从图像上抽取并匹配特征点，并根据这些特征点来拟合曲面；对三维空间中的空间点或者体素，将其投影到各幅图像上判断是否满足颜色一致性，然后从三维空间中抽取一个表面。

如图2所示，本发明所述基于图像的三维重建方法，先获取一组图像并指定其中一幅图像上的一点为待重建点，相机的内外参数已知，即第i个相机的内参数为K_i，旋转矩阵为R_i，平移矩阵为T_i。然后计算每幅图像的SIFT(Scale Invariant Feature Transform)特征点，对每个特征点进行三维重建。对特征点进行三维重建的过程具体是：首先计算每个特征点的128维描述子；然后根据所述特征点的描述子反求所述特征点的三维坐标。之后，

利用特征点的重建结果确定所述待重建点空间位置的搜索范围。其中，确定搜索范围的步骤为：先对所述SIFT特征点进行Delauney三角剖分；然后确定所述待重建点所属的三角形，用该三角形顶点的最近和最远距离作为该待重建点的最近和最远距离，得到所述待重建点的深度范围。之后，对所述搜索范围内的点进行采样，将所有采样点投影到除待重建点所属图像之外的其他图像上，采取均匀采样的方法，得到n个可能深度。最后，根据颜色一致性获取待重建点在空间的位置，利用下式计算采样点的颜色一致性参数：

$\mathrm{NCC}=\frac{\mathrm{\Σ}({\mathrm{\α}}_i-\mathrm{\α})\·({\mathrm{\β}}_i-\mathrm{\β})}{\sqrt{\mathrm{\Σ}{({\mathrm{\α}}_i-\mathrm{\α})}^2\·{({\mathrm{\β}}_i-\mathrm{\β})}^2}},i=\mathrm{0,1},...,m-1$

其中m为窗口大小，在该实施例中，窗口大小取5×5，NCC阈值t取0.6，两个视窗内每个点的RGB颜色值α_i，β_i均为三维向量，分别为两个视窗的m个向量取平均值得到两个向量α，β；

定义NCC(Normalized cross correlation)大于阈值t的图像数目至少为2的深度为有效深度；将所述待重建点与相邻4幅图像求取NCC，取其平均值为该深度的可信度；选择n个有效深度中可信度最大的深度为该待重建点的深度值，即选出采样点中最满足颜色一致性的点即为所述待重建点的空间位置。如果没有有效深度，该点即没有计算出深度值。

其中，根据特征点的SIFT描述子及极线几何约束对特征点的三维坐标进行反求，其必须满足的准则是：点到极线的距离小于2个象素；特征描述子之间的最小距离与第二小距离的比值小于0.5；该点至少在其他两幅以上图像上有满足前两个条件的对应点。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由其权利要求限定。

Claims (7)

1.一种基于图像的三维重建方法，先获取一组图像并指定其中一幅图像上的一点为待重建点，其特征在于，所述方法包括以下步骤：

S1：计算每幅图像的特征点，对每个特征点进行三维重建；

S2：利用特征点的重建结果、根据三角剖分方法确定所述待重建点空间位置的搜索范围；

S3：对所述搜索范围内的点进行采样，将所有采样点投影到除待重建点所属图像之外的其他图像上；

S4：根据颜色一致性获取待重建点在空间的位置；

其中所述步骤S4包括：

S4-1：利用下式计算采样点的颜色一致性参数；

其中m为窗口大小，两个视窗内每个点的RGB颜色值α_i，β_i均为三维向量，分别为两个视窗的m个向量取平均值得到两个向量α，β；

S4-2：选出采样点中最满足颜色一致性的点即为所述待重建点的空间位置。

2.如权利要求1所述的基于图像的三维重建方法，其特征在于，所述步骤S1包括：

S1-1：计算每个特征点的多维描述子；

S1-2：根据所述特征点的描述子反求所述特征点的三维坐标。

3.如权利要求2所述的基于图像的三维重建方法，其特征在于，所述的特征点为SIFT特征点。

4.如权利要求3所述的基于图像的三维重建方法，其特征在于，所述描述子之间的最小距离与第二小距离的比值小于0.5。

5.如权利要求1所述的基于图像的三维重建方法，其特征在于，所述步骤S2包括： 

S2-1：对所述特征点进行三角剖分；

S2-2：确定所述待重建点所属的三角形，用该三角形顶点的最近和最远距离作为该待重建点的最近和最远距离，得到所述待重建点的深度范围。

6.如权利要求1所述的基于图像的三维重建方法，其特征在于，所述步骤S3中，采取对所述搜索范围内的点进行均匀采样的方法，得到n个可能深度。

7.如权利要求1所述的基于图像的三维重建方法，其特征在于，所述步骤S4-1包括：

S4-1-1：定义NCC大于阈值t的图像数目至少为2的深度为有效深度；

S4-1-2：将所述待重建点与相邻4幅图像求取NCC，取其平均值为该深度的可信度；

S4-1-3：选择n个有效深度中可信度最大的深度为该待重建点的深度值。 

Images