CN104517289A - 一种基于混合摄像机的室内场景定位方法 - Google Patents

Abstract

本发明公开了一种基于混合摄像机的室内场景定位方法，包括：(1)混合相机拍摄室内场景的深度图和彩色图；(2)追踪相机位置；(3)利用标准贪婪森林算法对拍摄的室内场景的深度图和彩色图进行训练，构建回归森林；(4)进行室内场景定位时，只需利用混合摄像机拍摄的当前帧的深度图和彩色图以及训练好的回归森林便可计算出当前摄像机对应的世界坐标，完成定位。本发明采用混合摄像机拍摄，采用回归森林算法来训练一个已知场景中的每个像素点，不需要使用稀疏特征点或者稠密特征点来进行场景定位；节省了特征点检测、描述、匹配的时间，使摄像机定位与状态无关；进而不必承受摄像机追踪的累积误差，有效提高场景定位的精度和效率。

Description

一种基于混合摄像机的室内场景定位方法

技术领域

本发明属于室内场景定位技术领域，具体涉及一种基于混合摄像机的室内场景定位方法。

背景技术

随着数字图像数据的快速增长，让计算机自动理解图像成为越来越迫切的需求，作为图像理解的重要研究内容，场景定位得到了广泛关注，是当前计算机视觉领域的研究热点。目前主流的场景定位方法大多是基于彩色图像的。

基于彩色图像的场景定位方法大体可以分为两类：第一类是基于稀疏特征点匹配的场景定位方法。该类算法采用的策略是在相机正常追踪时，从场景图像中提取一定数量的关键点，对这些关键点进行特征描述，然后将这些关键点的特征算子连同它们对应的三维坐标存储到特征点数据库中。当需要进行场景定位时，就从相机捕获的当前图像中提取特征点，和已有特征点数据库中的数据进行比较匹配，通过匹配上的那些特征点的三维信息计算出当前的相机姿态，完成场景定位。该类算法的优点在于只要能够匹配上足够数目的特征点，就可利用三点法计算出相机的姿态。由于该类方法对场景进行的是稀疏表达，加上有些场景的纹理信息过于单一以及相机移动过程中存在运动模糊等问题，进行场景定位却无法匹配上足够数量特征点的情况时有发生，严重影响了场景定位的精度。而且特征点的检测、描述、匹配等算法都要消耗大量的运算资源，为了不影响场景定位的速度，此类算法大部分都限制了特征点数据库的规模，进而影响了场景定位的范围。

另一类是基于全局图像匹配的场景定位方法。和基于稀疏特征点匹配的场景定位算法不同，此类算法无需显式地进行特征点检测，而是使用整幅图像信息进行匹配比较。具体的做法是在在相机正常追踪时将一部分图像确定为关键帧，对这些关键帧进行编码并将每个关键帧对应的相机姿态一同存储到关键帧数据库中。当需要进行场景定位时，就对相机捕获的当前帧进行编码并和关键帧数据库中的数据进行比较，对匹配上的最相近的几个关键帧对应的相机姿态进行加权处理，就可还原出当前的相机姿态。该类算法的优点在于省去了特征点检测、描述、匹配的步骤，节约了大量的运算资源。不足之处在于每个关键帧在编码时通常都会采用下采样和亮度信息归一化等操作，随着关键帧数量的增加，关键帧之间的相似计算会变得越来越困难。而且对基于全局图像匹配的这类场景识别算法而言，识别结果只能依赖于数据库中存储的有限个相机姿态，严重制约了该类方法的可扩展性。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于混合摄像机的室内场景定位方法，节省了特征点检测、描述、匹配的时间，使摄像机定位与状态无关，有效提高场景定位的精度和效率。

一种基于混合摄像机的室内场景定位方法，包括如下步骤：

(1)利用RGB-D(红绿蓝三原色加距离深度)混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；

(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并实时计算出混合摄像机参数；

(3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，计算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图像中每个像素点的世界坐标；

(4)根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回归森林模型；

(5)针对当前利用RGB-D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的场景图像，并计算出该场景图像中每个像素点的特征值输入至所述的随机回归森林模型中得到对应的世界坐标；

(6)对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐标计算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中选出最优的一个作为当前视点的位置信息。

所述的步骤(2)中根据以下算式实时计算混合摄像机参数：

$M_{\mathrm{opt}}=\arg \underset{M}{\min }\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{(({M\·s}_i-d_i)\·n_i)}^2$

其中：M_opt为当前的混合摄像机参数，M为混合摄像机姿态的变换矩阵且M＝[R|t]，其由混合摄像机的旋转矩阵R和平移向量t组成；s_i和d_i分别为前一帧三维点云图和当前帧三维点云图中第i个点的坐标，n_i为坐标d_i处的切平面法向量，ω_i为当前帧三维点云图中第i个点所对应的权重系数，T为深度图像的像素总数。

所述的步骤(3)中根据以下算式计算每个像素点的特征值：

其中：f(p)为任一帧RGB图像中第p个像素点的特征值，为向上取整函数，D(p)为任一帧RGB图像中第p个像素点对应的深度值，δ₁和δ₂均为二维偏移量，c₁和c₂均表示RGB任一分量，表示任一帧RGB图像中第个像素点在c₁分量上的颜色值，表示任一帧RGB图像中第个像素点在c₂分量上的颜色值。

所述的步骤(4)中，以特征值作为自变量世界坐标作为因变量，利用标准贪婪森林训练算法构建随机回归森林模型。

所述的步骤(6)中像素点的摄像机坐标即利用混合摄像机的内参数结合像素点的深度值计算求得。

所述的步骤(6)中，利用每组像素点的世界坐标以及摄像机坐标通过奇异值分解算法计算出一个当前摄像机的世界坐标。

所述的步骤(6)中，遍历得到多个当前摄像机的世界坐标后，利用RANSAC(随机抽样一致性)算法从中选出最优的一个作为当前视点的位置信息。

本发明采用随机回归森林来训练一个已知场景，在进行场景定位时只需要利用训练好的回归模型和当前的一帧图像即可完成定位，不需要使用稀疏特征点或者稠密特征点来进行场景定位；节省了特征点检测、描述、匹配的时间；同时本发明采用的方案不必承受摄像机追踪的累积误差，可有效提高场景定位的精度和效率。

附图说明

图1为本发明室内场景定位方法的流程示意图。

图2为摄像机姿态估计运动补偿的示意图。

图3为带有权重的ICP点云配准的示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于混合摄像机的室内场景定位方法，包括如下步骤：

(1)利用RGB-D混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；

(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并实时计算出混合摄像机参数；

本实施方式是在传统ICP(Iterative Closest Point)算法估计摄像机姿态的基础上，对ICP算法进行具有针对性的优化，主要包括摄像机姿态运动补偿和带有权重的ICP点云配准。ICP算法最常用来估计两个三维点云之间配准的变换矩阵，根据前一帧的摄像机姿态估计当前帧的姿态。摄像机姿态的变换矩阵可表示为M＝[R|t]，平移向量t为线性变换，旋转矩阵R是非线性变换。算法中非线性优化问题通常转化为若干次线性变换迭代，迭代的初始值一般为前一帧的摄像机姿态，最终求得的是最优解的一个近似解。然而这样的线性近似要求旋转角度和移动距离不能过大，否则通过有限次的迭代得到的解会出现较大误差甚至导致跟踪失败。摄像机姿态采用运动补偿的方法，补偿两帧之间较大运动的差距，从而获得更接近当前姿态真实值的ICP迭代初始值，从而避免追踪失败。如果已知前一帧的摄像机姿态ξ_t-1，那么传统方法是将ξ_t-1作为ICP迭代的初始值，也就是在ξ_t-1周围进行线性搜索最优解(图2中的黑色虚线区域)。如果当前帧的实际姿态为ξ_t(图2中黑色实心三角)，并不在前一帧的搜索区域内，则有限次的迭代可能无法得到该最优解。因此，可以利用第i-1，i-2帧计算当前时刻的摄像机速度、加速度以及角速度等运动参数，并且建立相应的摄像机运动模型，根据运动模型和运动参数预测当前时刻概率最大的摄像机姿态以此作为ICP算法迭代的初始值(图2中黑色虚线三角)，进行更精确的估计，提高摄像机快速运动情况下的追踪鲁棒性和精度。ICP算法最终可转化为两个点云间所有点对的点面距之和最小化问题，表达为：

其中：s_i为源点云中的点，d_i为目标点云中与s_i匹配的目标点，n_i为d_i点处的切平面法向量，M为三维刚体运动变换矩阵。

该目标函数中的求和项中的每一项权重相等，也就是点云中的每个点的配准权重都是均等的。而实际上由于摄像机的移动，不同区域集成累积时间不同，那么累积时间越长的区域噪声就越小，置信度越高。如图3所示，假设有两个累计时间不同的点云区域P₁、P₂，其中P₁的累计时间较长。如果假设它们都服从正态分布，方差分别为σ₁和σ₂，则σ₁<σ₂，因此在配准点云时应当优先配准噪声较小的P₁区域的点，该区域的点应当具有更高的权重，那么目标函数可以变为：

其中：ω_i为权重系数，与该点的累积时间相关。带有权重的ICP点云配准单元的加入，能够有效减小点云的噪声对配准精度的影响，从而减小摄像机追踪的误差。

(3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，计算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图像中每个像素点的世界坐标；

本实施方式将彩色图像序列和深度图像序列中每帧图像中每个像素点的RGB信息和其对应的深度信息相结合进行特征选择，并以计算出的特征作为自变量；结合每帧图像对应的摄像机姿态计算出该帧图像每个像素点在世界坐标系中的坐标，并以此作为因变量；其中特征响应函数(自变量)本实施方式拟采用如下表达：

$f_{\mathrm{\&phi;}}\left(p\right)=I(p+\frac{{\mathrm{\&delta;}}_1}{D\left(p\right)},c_1)-I(p+\frac{{\mathrm{\&delta;}}_2}{D\left(p\right)},c_2)$

其中：p代表每帧RGB图像中一个像素点的二维坐标，δ代表一个二维偏移量，D(p)代表像素点p对应的深度值，I(p,c)代表像素点p对应的RGB分量中c分量的值。代表随机回归森林中每棵决策树对应的特征参数。

在进行特征选择时，用像素点附近的一个二维偏移除以其对应的深度值能够确保计算出的特征具有深度不变性。为了增加构建出来的随机回归森林的鲁棒性，本实施方式采用随机取样的方法选取每棵决策树对应的特征参数φ。

(4)根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回归森林模型；

随机森林是一个用随机方式建立的、包含多个决策树的分类器，其输出的类别是由各个树输出的类别的众数而定。其随机性主要体现在两个方面：1)训练每棵树时，从全部训练样本中选取一个子集进行训练；2)在每个节点，随机选取所有特征的一个子集，用来计算最佳分割方式。随机森林对异常值和噪声具有很好的容忍度，且不容易出现过拟合。

一个随机森林是由T棵随机树构成的，每棵随机树则是由判断节点(非叶子节点)和叶子节点构成。每个判断节点包含一组参数θ＝(φ,τ)，其中φ是一组特征参数，τ是对应的阈值。每一个决策树的建立过程都是一个递归的过程，每一个非叶子节点进行分割的决策函数为：

$h(p;{\mathrm{\&theta;}}_n)=[f_{{\mathrm{\&phi;}}_n}\left(p\right)\&GreaterEqual;{\mathrm{\&tau;}}_n]$

该函数控制了数据进入哪个子节点，其中p代表每帧图像中一个像素点的二维坐标，n代表决策树中的节点序号，[·]是一个0-1指示器，f_φ是一种特征响应函数。最优决策函数的选择来自于一组随机生成的决策函数集，所有到达这个节点的样本都要经过这一组中的决策函数进行计算估计，使得这个节点分裂后熵的变化最大的决策函数作为当前节点的分裂决策函数。最优决策函数将当前节点的数据分割后传入左右子节点，整个训练过程迭代地进行下去，迭代的停止条件是达到了决策树规定的最大树深度，或者剩余的训练样本数量已经低于规定的最小值，最终创建的节点为叶子节点。

(5)针对当前利用RGB-D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的场景图像，并计算出该场景图像中每个像素点的特征值输入至随机回归森林模型中得到对应的世界坐标；对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐标计算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中选出最优的一个作为当前视点的位置信息。

本实施方式针对当前摄像机位置捕获到的图像中的一点p，利用训练好的随机回归森林中的每棵决策树对其世界坐标进行判断，融合所得各决策树的判断结果，计算出该点在世界坐标系中的位置对该帧中的其他随机点进行相同的处理，通过这几点得到的世界坐标结果即可通过SVD算法计算出该帧对应的一个假设相机姿态。为了得到更加精确的相机姿态，可以重复以上摄像机姿态估计的过程，这样就可以得到该帧对应的若干假设相机姿态。计算每个假设相机姿态对应的误差能量函数，误差能量函数最小值所对应的假设相机姿态即为该帧的相机姿态。本实施方式采用的相机姿态误差能量函数表示如下：

$E\left(H\right)=\underset{i\&Element;I}{\mathrm{\&Sigma;}}\mathrm{\&rho;}\left(\underset{m\&Element;C_i}{\min }{\left|\right|m-{\mathrm{Hx}}_i\left|\right|}^2\right)=\underset{i\&Element;I}{\mathrm{\&Sigma;}}{e}_i\left(H\right)$

其中：H代表计算出的某个假设相机姿态；i∈I代表从该帧中挑选出的像素集中的像素；ρ代表一种误差计算函数，当计算出的ρ值大于某个阈值时，则说明像素点p_i相对于此时的假设相机姿态为异常点，p_i设为1，否则ρ设为0；C_i＝C(p_i)代表该帧中的像素p_i通过随机回归森林计算出的世界坐标；x_i代表像素点p_i所对应的相机坐标。

本实施方式采用相机姿态误差能量函数实际上求取的是每个假设相机姿态在像素级中的异常点个数。由于在构建回归森林时本实施方式使用了每帧图像上的每个像素点的信息，因而在进行场景识别的时候本实施方式就可以随机挑选任意位置的像素点进行计算。这样既节省了特征点检测、描述、匹配的时间，又可以避免稠密计算的必要，有效提高摄像机姿态估计的效率。

Claims (7)

1.一种基于混合摄像机的室内场景定位方法，包括如下步骤：

(1)利用RGB-D混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序列；

(2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三维点云图并实时计算出混合摄像机参数；

(3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，计算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图像中每个像素点的世界坐标；

(4)根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回归森林模型；

(5)针对当前利用RGB-D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的场景图像，计算出该场景图像中每个像素点的特征值输入至所述的随机回归森林模型中得到对应的世界坐标；

(6)对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐标计算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中选出最优的一个作为当前视点的位置信息。

2.根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤(2)中根据以下算式实时计算混合摄像机参数：

$M_{\mathrm{opt}}=\arg \underset{M}{\min }\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i{((M\&CenterDot;s_i-d_i)\&CenterDot;n_i)}^2$

其中：M_opt为当前的混合摄像机参数，M为混合摄像机姿态的变换矩阵且M＝[R|t]，其由混合摄像机的旋转矩阵R和平移向量t组成；s_i和d_i分别为前一帧三维点云图和当前帧三维点云图中第i个点的坐标，n_i为坐标d_i处的切平面法向量，ω_i为当前帧三维点云图中第i个点所对应的权重系数，T为深度图像的像素总数。

3.根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤(3)中根据以下算式计算每个像素点的特征值：

其中：f(p)为任一帧RGB图像中第p个像素点的特征值，为向上取整函数，D(p)为任一帧RGB图像中第p个像素点对应的深度值，δ₁和δ₂均为二维偏移量，c₁和c₂均表示RGB任一分量，表示任一帧RGB图像中第个像素点在c₁分量上的颜色值，表示任一帧RGB图像中第个像素点在c₂分量上的颜色值。

4.根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤(4)中，以特征值作为自变量，世界坐标作为因变量，利用标准贪婪森林训练算法构建随机回归森林模型。

5.根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤(6)中像素点的摄像机坐标即利用混合摄像机的内参数结合像素点的深度值计算求得。

6.根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤(6)中，利用每组像素点的世界坐标以及摄像机坐标通过奇异值分解算法计算出一个当前摄像机的世界坐标。

7.根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤(6)中，遍历得到多个当前摄像机的世界坐标后，利用RANSAC算法从中选出最优的一个作为当前视点的位置信息。