CN103971378B - 一种混合视觉系统中全景图像的三维重建方法 - Google Patents

Abstract

本发明涉及一种混合视觉系统中全景图像的三维重建方法，该混合视觉系统包括RGB-D摄像机和全景摄像机。所述方法：首先对混合视觉系统进行标定，得到混合视觉系统的内外参数；其次根据混合视觉系统的空间关系和内外参数确定混合视觉系统的共同视场；然后基于SIFT+RANSAC（随机采样一致性）获得混合视觉系统共同视场的特征匹配点；最后基于RGB-D摄像机的深度信息，对全景摄像机中匹配特征点进行三维重建。本发明能够获混合视觉系统中全景图像内共同视场内特征点的三维信息，实现低复杂度高质量的全景图像三维重建。

Description

一种混合视觉系统中全景图像的三维重建方法

技术领域

本发明属于机器视觉技术领域，特别涉及到一种新型混合视觉系统中全景图像的高效、准确三维重建的技术，即一种混合视觉系统中全景图像的三维重建方法。

背景技术

随着RGB-D摄像机的发明，RGB-D摄像机为实时获取深度信息提供了便利。RGB-D摄像机由RGB摄像机和IR深度摄像机组成。RGB-D不仅价格低廉而且还能同时采集视场的深度图和纹理图。国内外专家学者对RGB-D摄像机的研究越来越关注，其中由RGB-D摄像机和全景视觉构成的新型混合视觉系统吸引了很多学者的关注。它集合了RGB-D摄像机实时获取深度信息，成像清晰，分辨率大的优点和全景摄像机视场大，获取场景信息量大的长处，同时克服了RGB-D摄像机市场小和全景摄像机分辨率低的缺点，具有广泛的应用前景。在移动机器人中，通常将全景摄像机安装在机器人顶部，RGB-D摄像机安装在前端，实现如物体识别、物体跟踪、3D建模和姿态识别等功能。混合视觉还在医学上用于病人康复训练，手语识别和盲人引导系统等。

一般情况下，图像特征点的三维重建算法是利用特定目标自身的特征进行立体匹配。这些匹配算法包含一些特殊的匹配策略或人工步骤，影响了三维重建鲁棒性和自动化程度；如果对象改变，可能会对算法的效能产生负面影响；重建精度方面，由于双目系统的主要采用立体匹配算法，所以导致系统非常依赖像素的可靠视差，最终这些匹配中的问题导致图像特征点的三维重建质量不高。

发明内容

本发明的目的在于提供一种可以快速准确的重建全景图像特征点的三维信息，实现低复杂度高质量的全景图像三维重建的混合视觉系统中全景图像的三维重建方法。

为实现上述目的，本发明的技术方案是：一种混合视觉系统中全景图像的三维重建方法，该混合视觉系统包括RGB-D摄像机和全景摄像机，包括如下步骤，

步骤S01：对混合视觉系统进行标定，得到混合视觉系统的内外参数；

步骤S02：根据混合视觉系统的空间关系和内外参数确定混合视觉系统的共同视场；

步骤S03：利用SIFT特征匹配算法，获得全景摄像机和RGB-D摄像机的RGB摄像机拍摄获得的全景图像和RGB图像的粗特征点匹配；

步骤S04：采用RANSAC算法剔除粗匹配中的误匹配点，得到精确匹配点；

步骤S05：利用RGB-D摄像机获得的深度信息，结合混合视觉系统的内外参数，得到全景摄像机中匹配特征点的三维信息，从而完成三维重建目的。

在本发明实施例中，所述步骤S01中对混合视觉系统进行标定的方法，包括如下步骤，

步骤S21：分别对RGB-D摄像机的RGB摄像机和全景摄像机进行标定，得到RGB摄像机和全景摄像机的内参数K_p，K_m；

步骤S22：调整棋盘格标定板的位置使其在两个摄像机中都成像，分别拍摄两幅棋盘格图像，根据棋盘格图像对混合视觉系统外参数进行标定，获得外参数矩阵[R_p2m,T_p2m]。

在本发明实施例中，所述步骤S02，具体包括如下步骤，

步骤S31：场景图像获得：保持混合视觉系统中两摄像机位置不变，拍摄场景图像，获得全景图像和RGB图像；

步骤S32：混合视觉系统共同视场区域获得：所述RGB图像边界点像素坐标的归一化坐标 ，其中，Kp为RGB摄像机的内参数矩阵；计算RGB摄像机图像边界点对应的二次曲线，4条边界曲线包围出两个月牙形的区域，RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围，则根据对极几何知识和全景摄像机成像原理，它们在全景摄像机图像上的投影必然位于月牙形区域内；因RGB摄像机只能观察到前方的图像，故将月牙形区域中对应的部分保留下来，成为混合视觉系统共同视场区域。

在本发明实施例中，所述步骤S03，具体包括以下步骤，

步骤S41：特征点检测：在图像二维平面空间和DoG尺度空间中同时检测局部极值以作为特征点，DoG算子定义为两个不同尺度的高斯核的差分，其中，DoG算子：；

步骤S42：在检测DoG尺度空间极值时，一个像素需要跟同一尺度周围领域的8个像素以及相邻尺度对应位置领域的9×2个像素，即总共26个像素进行比较，以确保在DoG尺度空间和图像二维平面空间都能检测到局部极值；

步骤S43：特征点描述，即建立特征向量：每个关键点由2×2共4个种子点构成，每个种子点包含8个方向向量信息；为了增强匹配稳定性，对每个关键点采用4×4共16个种子点来描述，对于每个关键点能够产生128个数据，即最后每个关键点建立128维的SIFT特征向量；

步骤S44：进行特征匹配以获取候选匹配点：当所述全景图像和RGB图像的SIFT特征向量生成后，采用关键点特征向量间的欧式距离来作为所述全景图像和RGB图像中关键点的相似性判定度量；取所述全景图像和RGB图像中欧式距离最近的前两对关键点，若最近的距离除以次近的距离少于预设比例阈值，则接受这一对匹配点。

在本发明实施例中，所述步骤S04采用RANSAC剔除粗匹配中的误匹配点，得到精确匹配点，具体实现过程如下：

采用RANSAC算法去除外点，即通过多次随机抽取匹配点的样本对参数进行估计，得出初始参数模型，然后根据估计参数将所有匹配点数据进行分类，若分类后的匹配点数据在设定误差范围内，则称为内点，反之称为外点，并经过多次迭代计算出最优参数模型。

在本发明实施例中，所述步骤S05，具体实现过程如下，

所述RGB-D摄像机获得RGB图像的同时获得RGB图像对应点的深度信息；通过提取RGB图像特征点，并根据该RGB图像特征点在深度点云空间中相应的深度信息，结合得到全景图像匹配点的深度信息，

设为RGB-D摄像机坐标系下RGB图像特征点的坐标，并设该RGB图像特征点在全景摄像机坐标系下的点的坐标为；根据混合视觉系统坐标变换原理以及混合视觉系统外参数矩阵[R_p2m,T_p2m]，可得：

式中，为全景图像中对应匹配点的Z轴坐标，即RGB图像特征点的深度信息；

设是全景摄像机坐标系下全景图像特征点的坐标，由上述分析可得；根据全景图像成像原理，有：

其中，为全景摄像机的内参数矩阵，其中和为摄像机水平方向和垂直方向的有效焦距，为倾斜因子，和为摄像机中心轴线在图像平面的投影点坐标；为点的在图像平面的投影点坐标。

相较于现有技术，本发明具有以下有益效果：

1、改进图像特征点匹配方法，引入RANSAC算法提出粗匹配中的误匹配点，提高图像特征点的匹配精度；

2、确定混合视觉中共同视场；

3、采用基于RGB-D摄像机获得的深度信息，完成全景图像的三维重建；

4、本发明采用基于RGB-D摄像机获得的深度信息完成全景图像的三维重建，与传统的双目重建方法相比，该方法更加简便有效，重建精度满足实际要求。

附图说明

图1是本发明总体流程图。

图2是本发明实施例RGB摄像机图像边界点示意图。

图3是本发明实施例混合视觉系统共同视场确定示意图。

图4是本发明实施例RGB摄像机图像边界点对应二次曲线。

图5是本发明实施例混合视觉系统共同视场。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明一种混合视觉系统中全景图像的三维重建方法，该混合视觉系统包括RGB-D摄像机和全景摄像机，包括如下步骤，

步骤S01：对混合视觉系统进行标定，得到混合视觉系统的内外参数；

步骤S02：根据混合视觉系统的空间关系和内外参数确定混合视觉系统的共同视场；

步骤S03：利用SIFT特征匹配算法，获得全景摄像机和RGB-D摄像机的RGB摄像机拍摄获得的全景图像和RGB图像的粗特征点匹配；

步骤S04：采用RANSAC算法剔除粗匹配中的误匹配点，得到精确匹配点；

步骤S05：利用RGB-D摄像机获得的深度信息，结合混合视觉系统的内外参数，得到全景摄像机中匹配特征点的三维信息，从而完成三维重建目的。

所述步骤S01中对混合视觉系统进行标定的方法，包括如下步骤，

步骤S21：分别对Kinect摄像机的RGB摄像机和全景摄像机进行标定，得到RGB摄像机和全景摄像机的内参数K_p，K_m；

步骤S22：调整棋盘格标定板的位置使其在两个摄像机中都成像，分别拍摄两幅棋盘格图像，根据棋盘格图像对混合视觉系统外参数进行标定，获得外参数矩阵[R_p2m,T_p2m]。

所述步骤S02，具体包括如下步骤，

步骤S31：场景图像获得：保持混合视觉系统中两摄像机位置不变，拍摄场景图像，获得全景图像和RGB图像；

步骤S32：混合视觉系统共同视场区域获得：所述RGB图像边界点像素坐标的归一化坐标 ，其中，Kp为RGB摄像机的内参数矩阵；计算RGB摄像机图像边界点对应的二次曲线，4条边界曲线包围出两个月牙形的区域，RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围，则根据对极几何知识和全景摄像机成像原理，它们在全景摄像机图像上的投影(二次曲线)必然位于月牙形区域内；因RGB摄像机只能观察到前方的图像，故将月牙形区域中对应的部分保留下来，成为新型混合视觉系统共同视场区域。

所述步骤S03，具体包括以下步骤，

步骤S41：特征点检测：在图像二维平面空间和DoG尺度空间中同时检测局部极值以作为特征点，DoG算子定义为两个不同尺度的高斯核的差分，其中，DoG算子：；

步骤S42：在检测DoG尺度空间极值时，一个像素需要跟同一尺度周围领域的8个像素以及相邻尺度对应位置领域的9×2个像素，即总共26个像素进行比较，以确保在DoG尺度空间和图像二维平面空间都能检测到局部极值；

步骤S43：特征点描述，即建立特征向量：每个关键点由2×2共4个种子点构成，每个种子点包含8个方向向量信息；为了增强匹配稳定性，对每个关键点采用4×4共16个种子点来描述，对于每个关键点能够产生128个数据，即最后每个关键点建立128维的SIFT特征向量；

步骤S44：进行特征匹配以获取候选匹配点：当所述全景图像和RGB图像的SIFT特征向量生成后，采用关键点特征向量间的欧式距离来作为所述全景图像和RGB图像中关键点的相似性判定度量；取所述全景图像和RGB图像中欧式距离最近的前两对关键点，若最近的距离除以次近的距离少于预设比例阈值，则接受这一对匹配点。

所述步骤S04采用RANSAC剔除粗匹配中的误匹配点，得到精确匹配点，具体实现过程如下：

采用RANSAC算法去除外点，即通过多次随机抽取匹配点的样本对参数进行估计，得出初始参数模型，然后根据估计参数将所有匹配点数据进行分类，若分类后的匹配点数据在设定误差范围内，则称为内点，反之称为外点，并经过多次迭代计算出最优参数模型。

所述步骤S05，具体实现过程如下，

所述RGB-D摄像机获得RGB图像的同时获得RGB图像对应点的深度信息；通过提取RGB图像特征点，并根据该RGB图像特征点在深度点云空间中相应的深度信息，结合得到全景图像匹配点的深度信息，

设为RGB-D摄像机坐标系下RGB图像特征点的坐标，并设该RGB图像特征点在全景摄像机坐标系下的点的坐标为；根据混合视觉系统坐标变换原理以及混合视觉系统外参数矩阵[R_p2m,T_p2m]，可得：

式中，为全景图像中对应匹配点的Z轴坐标，即RGB图像特征点的深度信息；

设是全景摄像机坐标系下全景图像特征点的坐标，由上述分析可得；根据全景图像成像原理，有：

其中，为全景摄像机的内参数矩阵，其中和为摄像机水平方向和垂直方向的有效焦距，为倾斜因子，和为摄像机中心轴线在图像平面的投影点坐标。为点的在图像平面的投影点坐标。

以下为本发明的具体实施例。

制作一块格数为，单位尺寸为的黑白棋盘格图，在本实例中所使用的标定板的尺寸为：棋盘格的格数为，每小格单位尺寸为。分别利用RGB-D摄像机的RGB摄像机和全景摄像机拍摄不同摆放位置的棋盘格，对摄像机的内参进行标定，得到RGB摄像机和全景摄像机的内参数,。

调整棋盘格标定板的位置使其在两个摄像机中尽可能大的成像，分别拍摄棋盘格图像，根据上面标定的摄像机内参数，对得到图像进行校正，得到矫正棋盘格图像。然后利用矫正后的棋盘格图像对混合视觉系统外参数进行标定，得到混合视觉系统的外参数矩阵[R_p2m,T_p2m]。

保持混合视觉系统中两摄像机位置不变，拍摄场景图像。得到全景图像和RGB图像，同时RGB-D摄像机可获得RGB图像所对应的深度信息。

如图3所示是本发明实施例混合视觉系统共同视场确定示意图，该混合视觉系统共同视场过程具体为：所述RGB图像边界点像素坐标的归一化坐标 ，如图2所示；其中，为RGB摄像机的内参数矩阵。计算RGB摄像机图像边界点对应的二次曲线，4条边界曲线包围出两个月牙形的区域，RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围，则根据对极几何知识和全景摄像机成像原理，它们在全景摄像机图像上的投影(二次曲线)必然位于月牙形区域内。因RGB摄像机只能观察到前方的图像，故将月牙形区域中对应的部分保留下来，成为混合视觉系统共同视场区域，如图4。

根据标定结果，向量在全景图像中的投影以为定点，以为方向向量的射线，如图5而由向量和的延长线和S包围的区域即为全景图像的重叠部分。

利用SIFT特征匹配算法，获得两图像中的粗特征点匹配，并使用RANSAC算法（随机采样一致性）剔除粗匹配中的误匹配点，得到精确匹配点；具体步骤如下。

1）特征点检测：在图像二维平面空间和DoG（Difference-of-Gaussian）尺度空间中同时检测局部极值以作为特征点，DoG算子定义为两个不同尺度的高斯核的差分，DoG算子如下式所示：

在检测尺度空间极值时，某个像素需要跟同一尺度的周围领域的8个像素以及相邻尺度对应位置的领域9×2个像素总共26个像素进行比较，以确保在尺度空间和2维图像空间都能检测到局部极值。

2）特征点描述，即建立特征向量：每个关键点由2×2共4个种子点构成，每个种子点包含8个方向向量信息。为了增强匹配稳定性，Lowe^[1]对每个关键点采用4×4共16个种子点来描述，这样对于每个关键点就可以产生128个数据，即最后每个关键点建立128维的SIFT特征向量。

3）进行特征匹配以获取候选匹配点：当两幅图像的SIFT特征向量生成后，下一步采用关键点特征向量间的欧式距离来作为两幅图像中关键点的相似性判定度量。取两幅图像欧式距离最近的前两对关键点，在这两对关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。

4）消除误匹配：本文采用RANSAC算法^[2]去除外点，RANSAC算法是通过多次随机抽取一定的样本对参数进行估计，先得出初始参数模型，然后根据估计参数将所有数据进行分类，一部分数据在设定误差范围内，则称为内点，反之称为外点，经过多次迭代计算出最优模型参数。

5）特征点三维重建：利用RGB-D摄像机获得的深度信息，结合混合视觉系统的内外参数，可得到全景摄像机中匹配特征点的深度信息，从而完成特征点的三维重建。具体步骤如下：

RGB-D摄像机获得RGB图像的时候同时获得对应点的深度信息。通过提取RGB图像特征点，根据特征点在深度点云空间中相应的深度信息，并结合，可得全景图像匹配点的深度信息。

设为RGB-D摄像机坐标系下特征点的坐标，与该特征点在全景摄像机坐标系下的点的坐标为。根据混合视觉系统坐标变换原理，混合视觉系统外参数矩阵[R_p2m,T_p2m]，可得：

式中即为全景图像中对应匹配点的Z轴坐标，即特征点的深度信息。

设是全景摄像机坐标系下全景图像特征点的坐标，由上面分析可的到。根据全景图像成像原理，有：

其中，为全景摄像机的内参数矩阵，其中和为摄像机水平方向和垂直方向的有效焦距，为倾斜因子，和为摄像机中心轴线在图像平面的投影点坐标。为点的在图像平面的投影点坐标。

本文引用参考文献：

[1]LoweDG.Objectrecognitionfromlocalscale-invariantfeatures.IEEEInternationalConferenceonComputerVision,Piscataway,NJ,USA,pp.130-132,1999.

[2]WangWei,HongJun,TangYiping.ImagematchingforgeomorphicmeasurementbasedonsiftandRANSACmethods[C].InternationalConferenceonComputerScienceandSoftwareEngineering.Wuhan,Hubei,IEEE,2008,317-320.。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (1)

1.一种混合视觉系统中全景图像的三维重建方法，该混合视觉系统包括RGB-D摄像机和全景摄像机，其特征在于：包括如下步骤，

步骤S01：对混合视觉系统进行标定，得到混合视觉系统的内外参数，包括如下步骤，

步骤S011：分别对RGB-D摄像机的RGB摄像机和全景摄像机进行标定，得到RGB摄像机和全景摄像机的内参数K_p，K_m；

步骤S012：调整棋盘格标定板的位置使其在两个摄像机中都成像，分别拍摄两幅棋盘格图像，根据棋盘格图像对混合视觉系统外参数进行标定，获得外参数矩阵[R_p2m,T_p2m]；

步骤S02：根据混合视觉系统的空间关系和内外参数确定混合视觉系统的共同视场，具体包括如下步骤，

步骤S021：场景图像获得：保持混合视觉系统中两摄像机位置不变，拍摄场景图像，获得全景图像和RGB图像；

步骤S022：混合视觉系统共同视场区域获得：所述RGB图像边界点像素坐标P_i＝(u_p ⁱ,v_p ⁱ)的归一化坐标W_p ⁱ＝K_p ^-1·[u_p ⁱv_p ⁱ1]^T(i＝1,2,3,4)，其中，Kp为RGB摄像机的内参数矩阵；计算RGB摄像机图像边界点对应的二次曲线，4条边界曲线包围出两个月牙形的区域，RGB摄像机图像上的其他点的归一化坐标向量被W_p ⁱ确定的四角锥所包围，则根据对极几何知识和全景摄像机成像原理，它们在全景摄像机图像上的投影必然位于月牙形区域内；因RGB摄像机只能观察到前方的图像，故将月牙形区域中对应的部分保留下来，成为混合视觉系统的共同视场区域；

步骤S03：利用SIFT特征匹配算法，获得全景摄像机和RGB-D摄像机的RGB摄像机拍摄获得的全景图像和RGB图像的粗特征点匹配，具体包括以下步骤，

步骤S031：特征点检测：在图像二维平面空间和DoG尺度空间中同时检测局部极值以作为特征点，DoG算子定义为两个不同尺度的高斯核的差分，其中，DoG算子：D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)；

步骤S032：在检测DoG尺度空间极值时，一个像素需要跟同一尺度周围领域的8个像素以及相邻尺度对应位置领域的9×2个像素，即总共26个像素进行比较，以确保在DoG尺度空间和图像二维平面空间都能检测到局部极值；

步骤S033：特征点描述，即建立特征向量：每个关键点由2×2共4个种子点构成，每个种子点包含8个方向向量信息；为了增强匹配稳定性，对每个关键点采用4×4共16个种子点来描述，对于每个关键点能够产生128个数据，即最后每个关键点建立128维的SIFT特征向量；

步骤S034：进行特征匹配以获取候选匹配点：当所述全景图像和RGB图像的SIFT特征向量生成后，采用关键点特征向量间的欧式距离来作为所述全景图像和RGB图像中关键点的相似性判定度量；取所述全景图像和RGB图像中欧式距离最近的前两对关键点，若最近的距离除以次近的距离少于预设比例阈值，则接受这一对匹配点；

步骤S04：采用RANSAC算法剔除粗匹配中的误匹配点，得到精确匹配点，具体实现过程如下，

采用RANSAC算法去除外点，即通过多次随机抽取匹配点的样本对参数进行估计，得出初始参数模型，然后根据估计参数将所有匹配点数据进行分类，若分类后的匹配点数据在设定误差范围内，则称为内点，反之称为外点，并经过多次迭代计算出最优参数模型；

步骤S05：利用RGB-D摄像机获得的深度信息，并结合混合视觉系统的内外参数，得到全景摄像机中匹配特征点的三维信息，从而完成三维重建目的，具体实现过程如下，

所述RGB-D摄像机获得RGB图像的同时获得RGB图像对应点的深度信息；通过提取RGB图像特征点，并根据该RGB图像特征点在深度点云空间中相应的深度信息，结合得到全景图像匹配点的深度信息，

设为RGB-D摄像机坐标系下RGB图像特征点的坐标，并设该RGB图像特征点在全景摄像机坐标系下的点的坐标为根据混合视觉系统坐标变换原理以及混合视觉系统外参数矩阵[R_p2m,T_p2m]，可得：

$\left[\begin{array}{c}{x}_{p2m}^i\\ y_{p2m}^i\\ z_{p2m}^i\end{array}\right]=R_{p2m}*\left[\begin{array}{c}{x}_p^i\\ y_p^i\\ z_p^i\end{array}\right]+T_{p2m}$

式中，为全景图像中对应匹配点的Z轴坐标，即RGB图像特征点的深度信息；

设是全景摄像机坐标系下全景图像特征点的坐标，由上述分析可得根据全景图像成像原理，有：

$\left[\begin{array}{c}{x}_m^i\\ y_m^i\\ z_m^i\end{array}\right]={\left[\begin{array}{ccc}{k}_{xo}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{yo}& v_{0o}\\ 0& 0& 1\end{array}\right]}^{-1}\·\left[\begin{array}{c}{u}_o\\ v_o\\ 1\end{array}\right]\·z_m^i$

其中，为全景摄像机的内参数矩阵，其中k_xo和k_yo为摄像机水平方向和垂直方向的有效焦距，β_o为倾斜因子，u_0o和v_0o为摄像机中心轴线在图像平面的投影点坐标；[u_o,v_o]^T为点的在图像平面的投影点坐标。