CN110298884A - 一种适于动态环境中单目视觉相机的位姿估计方法 - Google Patents

Abstract

本发明提供一种适于动态环境中单目视觉相机的位姿估计方法，方法包括：获取图像，对每一帧图像进行ORB特征点检测；对连续两帧图像进行特征点局部匹配；判断特征点是否满足约束条件，若不满足约束条件，则将该特征点标记为动态点；对每一帧图像进行实例级分割得到物体轮廓，当得到的物体轮廓内动态点的个数超过阈值，则将物体轮廓内的所有特征点标记为动态点；利用RANSAC算法对未标记的动态点的特征点进行特征匹配，计算相机位姿变换的基础矩阵，得到相机旋转矩阵和平移向量，实现相机位姿估计。本发明提供能够提高相机位姿的准确度，从而提高整个SLAM系统的精度。

Description

一种适于动态环境中单目视觉相机的位姿估计方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种适于动态环境中单目视觉相机的位姿估计方法。

背景技术

随着智能信息技术和传感器技术的迅速发展，机器人等智能设备获得快速的发展并广泛应用在社会生活的各个领域。智能机器人相比传统的机器人拥有许多独特的特征，这对智能机器人也提出了更高的要求，比如智能感知、自主决策、运动控制等。机器人实现智能化要求机器人能够在复杂场景中，自主进行定位，构建周围场景的地图，感知周边场景信息，自主完成任务。同时定位与建图(Simultaneous Location and Mapping，SLAM)是计算机视觉和智能设备领域的一个基本问题，是移动机器人实现自主化的一项基本任务，而视觉里程计是SLAM任务中关键一环。

在实际的应用场景下环境中必然存在除机器人外的运动物体，因此机器人得到的视频图像序列中背景与环境中存在的运动物体的运动不一致，直接使用未经运动分割的视频图像序列会导致视觉里程计求得的相机位姿不准确，从而影响整个SLAM系统的精度。现有技术中进行相机位姿估计，Faster R-CNN测试网络结构难以达到分割目标像素，进而影响到相机位姿估计的准确性。

因此，为了解决现有技术中出现的上述问题，需要一种适于动态环境中单目视觉相机的位姿估计方法，以提高相机位姿的准确度，进而提高整个SLAM系统的精度。

发明内容

本发明的目的在于一种适于动态环境中单目视觉相机的位姿估计方法，所述方法包括：

获取图像，对每一帧图像进行ORB特征点检测；

对连续两帧图像进行特征点局部匹配；

判断特征点是否满足约束条件，若不满足约束条件，则将该特征点标记为动态点；

获取图像，对每一帧图像进行实例级分割得到物体轮廓，其中，对每个目标对象，在Faster R-CNN测试网络结构，增加一个指示对象在窗口中像素位置的二进制掩模图像的输出，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测；

当得到的物体轮廓内动态点的个数超过阈值，则将物体轮廓内的所有特征点标记为动态点；

利用RANSAC算法对未标记的动态点的特征点进行特征匹配，计算相机位姿变换的基础矩阵，得到相机旋转矩阵和平移向量，实现相机位姿估计。

优选地，将每一帧图像分成M×N个等大的块进行ORB特征点检测。

优选地，连续两帧图像进行特征点局部匹配过程中，设定匹配阈值，当某特征点的描述子与最佳匹配特征点的描述子的汉明距离大于所述匹配阈值，则认为该特征未能找到匹配点。

优选地，所述约束条件包括极线约束和FVB约束。

优选地，所述FVB约束的概率为：其中，d_max和d_min为相机成像点的最大深度与最小深度z_max和最小深度z_min对应的特征点沿极线位移距离，FV为特征点的运动矢量，β为概率下降系数。

优选地，在Faster R-CNN测试网络结构上添加完全卷积网络，作为一个分支网络。

优选地，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测后，通过上采样和去卷积层进行图像还原。

优选地，按照如下方法计算相机位姿变换的基础矩阵：

设两帧图片之间一对匹配的特征点为p₁＝[u₁，v₁，1]^T，p₂＝[u₂，v₂，1]^T，设基础矩阵为F，

则有

把基础矩阵F的各个元素作为一个向量处理，有：

f＝[f₁，f₂，f₃，f₄f₅，f₆，f₇，f₈，f₉]，

化为：

[u₁u₂，u₁v₂，u₁，v₁u₂，v₁v₂，v₁，v₂，v₂，1]·f＝0

通过RANSAC算法循环计算得到误差最小的基础矩阵。

优选地，由F＝K^-Tt×RK^-1将得到误差最小的基础矩阵进行分解，求得对应的相机旋转矩阵R和平移向量t，其中，K为相机内参。

优选地，任选一未标记的动态点的特征点对得到的相机旋转矩阵R和平移向量t进行验证，

当选取的未标记的动态点的特征点，经过相机旋转矩阵R和平移向量t变换得到的像点坐标深度为负，则舍弃该相机旋转矩阵R和平移向量t。

本发明提供的一种适于动态环境中单目视觉相机的位姿估计方法，能够提高相机位姿的准确度，从而提高整个SLAM系统的精度。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出了本发明一种适于动态环境中单目视觉相机的位姿估计方法的整体流程框图。

图2示出了本发明一个实施例中极线约束的示意图。

图3示出了本发明一个实施例中对每一帧图像进行实例级分割的示意图。

图4示出了本发明一个实施例中验证相机旋转矩阵R和平移向量t的示意图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

下面通过具体的实施例对本发明的内容给出详细的说明，如图1所示本发明一种适于动态环境中单目视觉相机的位姿估计方法的整体流程框图。根据本发明的实施例，一种适于动态环境中单目视觉相机的位姿估计方法包括如下方法步骤：

步骤S101、相机获取图像，对每一帧图像进行ORB特征点检测。

实施例中，为了检测到的特征点在全局上分布更为均匀，将每一帧图像分成M×N个等大的块进行ORB特征点检测。

步骤S102、对连续两帧图像进行特征点局部匹配。

根据本发明，对连续两帧图像进行帧间特征点局部匹配，具体地实施例中，设第i帧图像得到的ORB特征点集合为对于第i帧图像的特征点以及其对应的ORB描述子在第i-1帧图像的对应局部区域内寻找最佳匹配的ORB特征点设第i帧图像的特征点所在局部区域为：

其中，r为局部区域半径。

匹配过程的表达式为：

其中，为第i帧图像的特征点的最佳匹配的ORB特征点，d_{Hammi ng}{}为汉明距离，为第i帧图像局部区域内的ORB特征点集。

根据本发明的实施例，连续两帧图像进行特征点局部匹配过程中，设定匹配阈值，当某特征点的描述子与最佳匹配特征点的描述子的汉明距离大于所述匹配阈值，则认为该特征未能找到匹配点。

具体的实施例中，设定匹配阈值d_threshold，当第i帧图像的特征点的描述子与最佳匹配的ORB特征点的描述子的汉明距离大于所述匹配阈值d_threshold时，则认为该特征点未能找到匹配点，在后续计算中抛弃。

步骤S103、判断特征点是否满足约束条件，若不满足约束条件，则将该特征点标记为动态点。

经过步骤S102局部特征点匹配后，判断特征点是否满足约束条件。根据本发明的实施例，约束条件包括极线约束和FVB约束。

极线约束条件：

如图2所示本发明一个实施例中极线约束的示意图，从像点x向相机的中心C反投影一条射线xC，则该射线必定经过对应像点的三维空间点X，但显然仅仅通过一个像点无法确定X的具体位置，因为在射线xC上的任意空间点都可以通过“小孔”映射为像点x。如果用一对匹配点，则可以确定X的位置。

设x′是三维点X的另一个像点，其对应相机的中心为C′，那么从像点也反投影一条射线x′c′，并且该射线也必定经过X，也就是说从一对相匹配的像点反投影两条射线，必定相交于空间三维点X。

由此，一对匹配的像点之间存在这某种约束关系，这种约束被称为两视图的极线约束。

本实施例中，设置满足极线约束的距离阈值为d，当特征点对应的极线约束的距离d_n满足d_n≤d，则认为该特征点满足极线约束条件，否则不满足。

FVB约束：

根据本发明的实施例，特征点还应当满足FVB约束。

若存在运动物体的运动与极线的方向一致，则无法通过极线约束求得特征点的动态性质，利用FVB约束判断满足极线约束的特征点是否处于运动状态。

当相机只有平移运动，水平向量为t，p_n，p_n+1分别为真是点X连续两帧内的像点，相机内参数矩阵为K，则：

当运动物体的位移向量与相机水平移动的水平向量t向对应，则满足极线约束，但是无法标记为动态点。

根据本发明的实施例，所述FVB约束的概率为：

其中，d_max和d_min为相机成像点的最大深度与最小深度z_max和最小深度z_min对应的特征点沿极线位移距离，FV为特征点的运动矢量，β为概率下降系数。

当特征点的FVB约束的概率较高时，则特征点位于FVB约束边界内的概率较大。位于FVB约束边界内的特征点满足FVB约束条件，否则不满足。

根据本发明的实施例，既不满足极线约束，也不满足FVB约束的特征点标记为动态点。

步骤S104、获取图像，对每一帧进行实例级分割得到物体轮廓。

根据本发明的实施例，对每一帧图像图像进行实施例级分割，如图3所示本发明一个实施例中对每一帧图像进行实例级分割的示意图。

本发明在Faster R-CNN测试网络结构上添加完全卷积网络(Fully ConvolutionNetwor，FCN)，作为一个分支网络。

根据本发明的实施例，在第一个阶段，通过Faster R-CNN测试网络结构，扫描图像并生成提议(proposals，即有可能包含一个目标的区域)，

在第二阶段，通过完全卷积网络(FCN)分类提议并生成边界框和掩码。

第一阶段中，对于每个图像，Faster R-CNN测试网络结构都有两个输出，第一个分类标签，第二个候选窗口。根据本发明的实施例，对每个目标对象，在Faster R-CNN测试网络结构，增加一个指示对象在窗口中像素位置的二进制掩模图像的输出，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测。在这个细粒度级别进行分类预测，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测后，通过上采样和去卷积层(deconvolution)进行图像还原。

本发明通过增加一个Faster R-CNN测试网络结构的输出，实现分割目标像素，提取更精细的空间布局。本发明通过步骤S104每帧图片像素级分割，从而得到物体轮廓分割。

步骤S105、当得到的物体轮廓内动态点的个数超过阈值，则将物体轮廓内的所有特征点标记为动态点。

步骤S106、利用RANSAC算法对未标记的动态点的特征点进行特征匹配，计算相机位姿变换的基础矩阵，得到相机旋转矩阵和平移向量，实现相机位姿估计。

根据本发明的实施例，按照如下方法计算相机位姿变换的基础矩阵：

设两帧图片之间一对匹配的特征点为p₁＝[u₁，v₁，1]^T，p₂＝[u₂，v₂，1]^T，设基础矩阵为F，

则有

把基础矩阵F的各个元素作为一个向量处理，有：

f＝[f₁，f₂，f₃，f₄，f₅，f₆，f₇，f₈，f₉]，

化为：

[u₁ u₂，u₁ v₂，u₁，v₁ u₂，v₁ v₂，v₁，u₂，v₂，1]·f＝0

通过RANSAC算法循环计算得到误差最小的基础矩阵。

由F＝K^-Tt×RK^-1将得到误差最小的基础矩阵进行分解，求得对应的相机旋转矩阵R和平移向量t，其中，K为相机内参。

任选一未标记的动态点的特征点对得到的相机旋转矩阵R和平移向量t进行验证，

当选取的未标记的动态点的特征点，经过相机旋转矩阵R和平移向量t变换得到的像点坐标深度为负，则舍弃该相机旋转矩阵R和平移向量t。

如图4所示本发明一个实施例中验证相机旋转矩阵R和平移向量t的示意图，在一个实施例中，对误差最小的基础矩阵分解后得到四组对应的相机旋转矩阵R和平移向量t。第(1)组相机旋转矩阵R和平移向量t对应的像点P坐标深度不为负，将第(1)组相机旋转矩阵R和平移向量t作为相机位姿变化的旋转矩阵R与平移向量t。

本发明提供的一种适于动态环境中单目视觉相机的位姿估计方法，能够提高相机位姿的准确度，从而提高整个SLAM系统的精度。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (10)

1.一种适于动态环境中单目视觉相机的位姿估计方法，其特征在于，所述方法包括：

获取图像，对每一帧图像进行ORB特征点检测；

对连续两帧图像进行特征点局部匹配；

判断特征点是否满足约束条件，若不满足约束条件，则将该特征点标记为动态点；

获取图像，对每一帧图像进行实例级分割得到物体轮廓，其中，对每个目标对象，在Faster R-CNN测试网络结构，增加一个指示对象在窗口中像素位置的二进制掩模图像的输出，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测；

当得到的物体轮廓内动态点的个数超过阈值，则将物体轮廓内的所有特征点标记为动态点；

利用RANSAC算法对未标记的动态点的特征点进行特征匹配，计算相机位姿变换的基础矩阵，得到相机旋转矩阵和平移向量，实现相机位姿估计。

2.根据权利要求1所述的方法，其特征在于，将每一帧图像分成M×N个等大的块进行ORB特征点检测。

3.根据权利要求1所述的方法，其特征在于，连续两帧图像进行特征点局部匹配过程中，设定匹配阈值，当某特征点的描述子与最佳匹配特征点的描述子的汉明距离大于所述匹配阈值，则认为该特征未能找到匹配点。

4.根据权利要去1所述的方法，其特征在于，所述约束条件包括极线约束和FVB约束。

5.根据权利要求4所述的方法，其特征在于，所述FVB约束的概率为：

其中，d_max和d_min为相机成像点的最大深度与最小深度z_max和最小深度z_min对应的特征点沿极线位移距离，FV为特征点的运动矢量，β为概率下降系数。

6.根据权利要求1所述的方法，其特征在于，在Faster R-CNN测试网络结构上添加完全卷积网络，作为一个分支网络。

7.根据权利要求1所述的方法，其特征在于，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测后，通过上采样和去卷积层进行图像还原。

8.根据权利要求1所述的方法，其特征在于，按照如下方法计算相机位姿变换的基础矩阵：

设两帧图片之间一对匹配的特征点为p₁＝[u₁，v₁，1]^T，p₂＝[u₂，v₂，1]^T，设基础矩阵为F，

则有

把基础矩阵F的各个元素作为一个向量处理，有：

f＝[f₁，f₂，f₃，f₄，f₅，f₆，f₇，f₈，f₉]，

化为：

[u₁u₂，u₁υ₂，u₁，υ₁u₂，υ₁υ₂，υ₁，u₂，υ₂，1]·f＝0

通过RANSAC算法循环计算得到误差最小的基础矩阵。

9.根据权利要求8所述的方法，其特征在于，由F＝K^-Tt×RK^-1将得到误差最小的基础矩阵进行分解，求得对应的相机旋转矩阵R和平移向量t，其中，K为相机内参。

10.根据权利要求9所述的方法，其特征在于，任选一未标记的动态点的特征点对得到的相机旋转矩阵R和平移向量t进行验证，

当选取的未标记的动态点的特征点，经过相机旋转矩阵R和平移向量t变换得到的像点坐标深度为负，则舍弃该相机旋转矩阵R和平移向量t。