CN114037759A - 一种室内环境下的动态特征点滤除与重定位方法 - Google Patents

Abstract

本发明涉及一种室内环境下的动态特征点滤除与重定位方法，包括提取输入图像上的特征点并进行匹配，设置匹配质量得分函数；预估前一帧图像所提取到的特征点p_i在当前帧图像I₂出现的投影点q′_i；计算特征点P_i在当前帧图像I₂投影所在的位置q′_i和对应特征点q_i的像素坐标之间的欧氏距离；利用特征点所对应的深度信息进行加权评分，定义几何约束得分；定义特征点的异常得分，并设置阈值来检测和滤除当前帧动态特征点；利用迭代求解的方式提高位姿解算精度。本发明依据相机针孔成像模型，定义特征点异常得分函数，设置阈值来检测和滤除动态特征点，消除了动态场景中运动目标所带来的影响；通过迭代求解的方式，对模型所存在的系统误差进行修正，提高了相机位姿解算精度。

Description

一种室内环境下的动态特征点滤除与重定位方法

技术领域

本发明涉及计算机视觉技术领域，尤其是一种室内环境下的动态特征点滤除与重定位方法。

背景技术

随着人工智能时代的到来，移动机器人因为其灵活性、自主性等特点得到了广泛地应用，不仅在军事、消防、救援、物流和勘探等行业发挥着重要作用，同时在日常生活中，为人们提供着便利，例如无人机、扫地机器人、服务机器人和无人驾驶汽车等。随着智能技术和传感器技术的飞速发展，移动机器人的应用已经从简单的已知环境扩展到完全未知的环境。在未知环境中，移动机器人需要利用自身传感器来感知周围环境以及估计自身姿态，保证在复杂的未知环境中完成自主运动。

同时，定位与建图(Simultaneous Localization And Mapping，SLAM)作为智能移动机器人的核心技术，指的是机器人在没有任何先验环境信息的情况下，同时完成移动机器人自身的定位以及周围环境的地图构建，它是实现智能移动机器人自主导航和避障的基础，对移动机器人之后的路径规划也起到决定性作用。近年来，随着视觉传感器价格的大幅降低，加之其能存储更多的外部环境信息，基于视觉的SLAM受到了越来越多学者的重视。现代视觉SLAM框架已经趋于成熟，其中，包括视觉里程计前端、状态估计后端、闭环检测等等。

然而，到目前为止，SLAM中的一些问题依然没有很好的解决。例如，现有的算法大多将外部环境作为静态假设，忽略了现实环境中动态目标对SLAM算法精度的影响，当移动机器人在复杂的动态场景中运动时，动态目标会使得相邻帧图像产生较大的差异，导致图像特征匹配出现紊乱，从而降低了SLAM系统的定位精度，严重的话会导致机器人位姿跟踪失败；此外场景中动态物体会对SLAM系统构建的地图造成严重影响，会使得构建出来的地图包含重影，影响地图的可读性和重用性。

SLAM中相机会随着移动机器人一起移动，导致图像的前景和背景相互独立运动，传统的运动目标检测方法，如帧间差分法和背景相减法对此效果不佳，无法有效检测滤除动态目标。Runzhi Wang等人提出了一种室内动态目标检测方法，通过极线几何滤除相邻帧中匹配的外点，融合RGB-D相机提供的深度图的聚类信息识别场景中独立运动目标。但是该算法的精度依赖于求解的相邻帧间的位姿变换矩阵，在高动态运动场景中，误差较大。Lin等人出了一种使用深度信息和视觉测距法检测场景中的运动物体。通过将检测到的外点信息和视觉传感器的深度信息相融合可容易获得场景中的运动目标位置。近年来，深度学习方法发展迅速，Chao Yu等人基于ORB-SLAM2框架提出DS-SLAM，该框架在独立线程使用SegNet网络检测场景中的语义信息，通过RANSAC算法估算帧间变换矩阵，然后使用极线几何判断特征点状态。当某一目标上的动态特征点的数量大于阈值，则该目标被认为动态，滤除其所有特征点。上述工作虽然取得了较好的定位精度，但也存在一些问题，例如在高动态运动场景中误差较大，实时性较差，鲁棒性不好等。

发明内容

本发明的首要目的在于提供一种利用相机针孔成像模型，定义特征点异常得分函数，设置阈值来检测和滤除动态特征点，消除了动态场景中运动目标所带来的影响，并通过迭代的方式提高了相机位姿解算精度的室内环境下的动态特征点滤除与重定位方法。

为实现上述目的，本发明采用了以下技术方案：一种室内环境下的动态特征点滤除与重定位方法，该方法包括下列顺序的步骤：

(1)提取输入图像上的特征点并进行匹配，定义特征点匹配精度约束，设置匹配质量得分函数；

(2)利用上一个时间间隔内相机的位姿变换矩阵T₀₁和上一个时刻的相机位姿T₁，来预估前一帧图像所提取到的特征点p_i在当前帧图像I₂出现的投影点q′_i；

(3)计算特征点P_i在当前帧图像I₂投影所在的位置q′_i和对应特征点q_i的像素坐标之间的欧氏距离；

(4)根据简化的相机针孔成像模型，利用特征点所对应的深度信息进行加权评分，定义几何约束得分；

(5)定义特征点的异常得分，并设置阈值来检测和滤除当前帧动态特征点；

(6)根据滤除后的特征点求解当前帧时刻的相机位姿，利用迭代求解的方式提高位姿解算精度。

在所述步骤(1)中，在特征点匹配时，计算每对特征点与其它特征点之间的最近汉明距离d_i1和次近汉明距离d_i2，记它们之间的比值为K_i，即K_i＝d_i1/d_i2，当K_i＜α则认为是可靠的匹配，其中，α为精度约束因子，K_i越小代表这对匹配点对的最近汉明距离远远小于次最小汉明距离，特征点的匹配质量越高，正确匹配的概率越大。

在所述步骤(2)中，将相机短时间间隔内的运动看作为匀速运动，在相邻时间间隔内的相机位姿变换矩阵近似不变：

T₁₂＝T₀₁ (1)

T₀₁表示上一个时间间隔内相机的位姿变换矩阵，T₁₂表示当前时间间隔内的相机位姿变换矩阵；

通过上一时刻的相机位姿以及当前时间间隔内的相机位姿变换矩阵来预估特征点P_i在当前帧图像I₂中的投影点q′_i：

q′_i＝T₁₂·T₁·P_iw (2)

式中P_iw表示特征点P_i的世界坐标，T₁表示上一个时刻的相机位姿。

在所述步骤(3)中，计算两点像素坐标之间欧氏距离的公式如下：

式中，d_qi表示两点之间的欧氏距离，(u_i,v_i)为特征点P_i在当前帧图像I₂对应匹配特征点q_i的像素坐标，(u′_i,v′_i)为特征点P_i在当前帧图像I₂预估投影点q′_i的像素坐标；

若该特征点不存在于动态目标上，则预估得到的特征点与匹配得到的相应特征点重合，即两点之间的欧氏距离d_qi为0。

所述步骤(4)具体是指：若场景中出现动态目标，假设特征点P_i在动态目标上，在当前时间间隔内移动到P′_i,运动的距离为D_i，在当前帧图像I₂中所对应的运动的欧氏距离为d_qi，通过简化的相机针孔成像模型：

D_i/z_i＝d_qi/f (4)

式中，z_i表示特征点P_i离相机光心在相机光轴上的距离，f为相机焦距；

得到，动态特征点在图像上所对应的运动与其到相机的深度成线性关系；

根据特征点的深度信息引入评分机制，定义几何约束得分如下：

式中，m表示当前帧匹配的特征点的数目，A_q表示当前帧图像上特征点的欧氏距离的加权平均值；G_i表示当前特征点的几何约束得分；

若图像中对应特征点的几何约束得分越低，其对应的特征点对匹配质量越高，相反，若该特征点几何约束得分越高，表示对应特征点为运动的异常点的概率越大，其匹配质量越低。

所述步骤(5)具体是指：定义特征点的异常分值M_i来表述特征点的优劣程度：

设置阈值ε，若M_i＞ε，则认为所判断特征点对为异常点，将异常点进行滤除，得到最终滤除后的特征点。

所述步骤(6)具体是指：根据滤除后的特征点来求解当前帧的相机位姿

通过迭代的方式对位姿初值所引入的的误差进行补偿，使用特征点库，利用所求解得到的当前帧的相机位姿

将特征点P_i投影到当前帧图像I₂上，计算投影的特征点坐标：

重复步骤(3)至步骤(6)，解算得到新的当前帧的相机位姿

并计算

与

之间的变换矩阵

分解变换矩阵

式中，R为旋转矩阵，t为平移向量，根据罗德里格斯公式和轴角旋转模型，将旋转矩阵R转化为旋转向量γ＝θn进行表示，其中n为旋转轴对应向量，θ为旋转角度，对于角度θ有：

两次求解得到的相机光心平移向量：

t＝-R^Tt (12)

设置迭代终止条件：

(a)当旋转角度θ＜β且光心平移向量的模||-R^Tt||＜δ，其中β和δ为设置的阈值，则认为前后所解算的相机位姿差别较小，此时相机位姿已经收敛，退出迭代，输出最终结果

其中k表示迭代次数；

(b)迭代次数k＝50时，退出迭代，输出最终结果

由上述技术方案可知，本发明的有益效果为：第一，本发明提出了一种动态特征点滤除与重定位方法，依据相机针孔成像模型，定义特征点异常得分函数，设置阈值来检测和滤除动态特征点，消除了动态场景中运动目标所带来的影响；第二，本发明通过迭代求解的方式，对方法所存在的系统误差进行修正，提高了相机位姿解算精度。

附图说明

图1为本发明关于相机运动及前后帧匹配特征点投影示意图；

图2为本发明的方法流程图。

具体实施方式

如图2所示，一种室内环境下的动态特征点滤除与重定位方法，该方法包括下列顺序的步骤：

(1)提取输入图像上的特征点并进行匹配，定义特征点匹配精度约束，设置匹配质量得分函数；

(2)利用上一个时间间隔内相机的位姿变换矩阵T₀₁和上一个时刻的相机位姿T₁，来预估前一帧图像所提取到的特征点p_i在当前帧图像I₂出现的投影点q′_i；

(3)计算特征点P_i在当前帧图像I₂投影所在的位置q′_i和对应特征点q_i的像素坐标之间的欧氏距离；

(4)根据简化的相机针孔成像模型，利用特征点所对应的深度信息进行加权评分，定义几何约束得分；

(5)定义特征点的异常得分，并设置阈值来检测和滤除当前帧动态特征点；

(6)根据滤除后的特征点求解当前帧时刻的相机位姿，利用迭代求解的方式提高位姿解算精度。

在所述步骤(1)中，在特征点匹配时，计算每对特征点与其它特征点之间的最近汉明距离d_i1和次近汉明距离d_i2，记它们之间的比值为K_i，即K_i＝d_i1/d_i2，当K_i＜α则认为是可靠的匹配，其中，α为精度约束因子，K_i越小代表这对匹配点对的最近汉明距离远远小于次最小汉明距离，特征点的匹配质量越高，正确匹配的概率越大。

在所述步骤(2)中，将相机短时间间隔内的运动看作为匀速运动，在相邻时间间隔内的相机位姿变换矩阵近似不变：

T₁₂＝T₀₁ (1)

T₀₁表示上一个时间间隔内相机的位姿变换矩阵，T₁₂表示当前时间间隔内的相机位姿变换矩阵；

通过上一时刻的相机位姿以及当前时间间隔内的相机位姿变换矩阵来预估特征点P_i在当前帧图像I₂中的投影点q′_i：

q′_i＝T₁₂·T₁·P_iw (2)

式中P_iw表示特征点P_i的世界坐标，T₁表示上一个时刻的相机位姿。

在所述步骤(3)中，计算两点像素坐标之间欧氏距离的公式如下：

式中，d_qi表示两点之间的欧氏距离，(u_i,v_i)为特征点P_i在当前帧图像I₂对应匹配特征点q_i的像素坐标，(u′_i,v′_i)为特征点P_i在当前帧图像I₂预估投影点q′_i的像素坐标；

若该特征点不存在于动态目标上，则预估得到的特征点与匹配得到的相应特征点重合，即两点之间的欧氏距离d_qi为0。

所述步骤(4)具体是指：若场景中出现动态目标，假设特征点P_i在动态目标上，在当前时间间隔内移动到P′_i,运动的距离为D_i，在当前帧图像I₂中所对应的运动的欧氏距离为d_qi，通过简化的相机针孔成像模型：

D_i/z_i＝d_qi/f (4)

式中，z_i表示特征点P_i离相机光心在相机光轴上的距离，f为相机焦距；

得到，动态特征点在图像上所对应的运动与其到相机的深度成线性关系；

根据特征点的深度信息引入评分机制，定义几何约束得分如下：

式中，m表示当前帧匹配的特征点的数目，A_q表示当前帧图像上特征点的欧氏距离的加权平均值；G_i表示当前特征点的几何约束得分；

若图像中对应特征点的几何约束得分越低，其对应的特征点对匹配质量越高，相反，若该特征点几何约束得分越高，表示对应特征点为运动的异常点的概率越大，其匹配质量越低。

所述步骤(5)具体是指：定义特征点的异常分值M_i来表述特征点的优劣程度：

设置阈值ε，若M_i＞ε，则认为所判断特征点对为异常点，将异常点进行滤除，得到最终滤除后的特征点。

所述步骤(6)具体是指：根据滤除后的特征点来求解当前帧的相机位姿

通过迭代的方式对位姿初值所引入的的误差进行补偿，使用特征点库，利用所求解得到的当前帧的相机位姿

将特征点P_i投影到当前帧图像I₂上，计算投影的特征点坐标：

重复步骤(3)至步骤(6)，解算得到新的当前帧的相机位姿

并计算

与

之间的变换矩阵

分解变换矩阵

式中，R为旋转矩阵，t为平移向量，根据罗德里格斯公式和轴角旋转模型，将旋转矩阵R转化为旋转向量γ＝θn进行表示，其中n为旋转轴对应向量，θ为旋转角度，对于角度θ有：

两次求解得到的相机光心平移向量：

t＝-R^Tt (12)

设置迭代终止条件：

(a)当旋转角度θ＜β且光心平移向量的模||-R^Tt||＜δ，其中β和δ为设置的阈值，则认为前后所解算的相机位姿差别较小，此时相机位姿已经收敛，退出迭代，输出最终结果

其中k表示迭代次数；

(b)迭代次数k＝50时，退出迭代，输出最终结果

如图1所示，该示意图描述了一个相机在运动过程中连续拍摄的三幅图像，图像中红色三角形表示场景中运动目标，实心点表示静态特征点，空心点表示动态特征点，虚线三角形及其内部的虚线原点表示运动物体在当前图像中的投影。T₀₁表示上一个时间间隔的相机位姿变换矩阵，T₁₂表示当前时间间隔内的相机位姿变换矩阵。

综上所述，本发明提出了一种动态特征点滤除与重定位方法，依据相机针孔成像模型，定义特征点异常得分函数，设置阈值来检测和滤除动态特征点，消除了动态场景中运动目标所带来的影响；本发明通过迭代求解的方式，对方法所存在的系统误差进行修正，提高了相机位姿解算精度。

Claims (7)

1.一种室内环境下的动态特征点滤除与重定位方法，其特征在于：该方法包括下列顺序的步骤：

(1)提取输入图像上的特征点并进行匹配，定义特征点匹配精度约束，设置匹配质量得分函数；

(2)利用上一个时间间隔内相机的位姿变换矩阵T₀₁和上一个时刻的相机位姿T₁，来预估前一帧图像所提取到的特征点p_i在当前帧图像I₂出现的投影点q′_i；

(3)计算特征点P_i在当前帧图像I₂投影所在的位置q′_i和对应特征点q_i的像素坐标之间的欧氏距离；

(4)根据简化的相机针孔成像模型，利用特征点所对应的深度信息进行加权评分，定义几何约束得分；

(5)定义特征点的异常得分，并设置阈值来检测和滤除当前帧动态特征点；

(6)根据滤除后的特征点求解当前帧时刻的相机位姿，利用迭代求解的方式提高位姿解算精度。

2.根据权利要求1所述的室内环境下的动态特征点滤除与重定位方法，其特征在于：在所述步骤(1)中，在特征点匹配时，计算每对特征点与其它特征点之间的最近汉明距离d_i1和次近汉明距离d_i2，记它们之间的比值为K_i，即K_i＝d_i1/d_i2，当K_i＜α则认为是可靠的匹配，其中，α为精度约束因子，K_i越小代表这对匹配点对的最近汉明距离远远小于次最小汉明距离，特征点的匹配质量越高，正确匹配的概率越大。

3.根据权利要求1所述的室内环境下的动态特征点滤除与重定位方法，其特征在于：在所述步骤(2)中，将相机短时间间隔内的运动看作为匀速运动，在相邻时间间隔内的相机位姿变换矩阵近似不变：

T₁₂＝T₀₁ (1)

T₀₁表示上一个时间间隔内相机的位姿变换矩阵，T₁₂表示当前时间间隔内的相机位姿变换矩阵；

通过上一时刻的相机位姿以及当前时间间隔内的相机位姿变换矩阵来预估特征点P_i在当前帧图像I₂中的投影点q′_i：

q′_i＝T₁₂·T₁·P_iw (2)

式中P_iw表示特征点P_i的世界坐标，T₁表示上一个时刻的相机位姿。

4.根据权利要求1所述的室内环境下的动态特征点滤除与重定位方法，其特征在于：在所述步骤(3)中，计算两点像素坐标之间欧氏距离的公式如下：

式中，d_qi表示两点之间的欧氏距离，(u_i,v_i)为特征点P_i在当前帧图像I₂对应匹配特征点q_i的像素坐标，(u′_i,v′_i)为特征点P_i在当前帧图像I₂预估投影点q′_i的像素坐标；

若该特征点不存在于动态目标上，则预估得到的特征点与匹配得到的相应特征点重合，即两点之间的欧氏距离d_qi为0。

5.根据权利要求1所述的室内环境下的动态特征点滤除与重定位方法，其特征在于：所述步骤(4)具体是指：若场景中出现动态目标，假设特征点P_i在动态目标上，在当前时间间隔内移动到P_i',运动的距离为D_i，在当前帧图像I₂中所对应的运动的欧氏距离为d_qi，通过简化的相机针孔成像模型：

D_i/z_i＝d_qi/f (4)

式中，z_i表示特征点P_i离相机光心在相机光轴上的距离，f为相机焦距；

得到，动态特征点在图像上所对应的运动与其到相机的深度成线性关系；

根据特征点的深度信息引入评分机制，定义几何约束得分如下：

式中，m表示当前帧匹配的特征点的数目，A_q表示当前帧图像上特征点的欧氏距离的加权平均值；G_i表示当前特征点的几何约束得分；

若图像中对应特征点的几何约束得分越低，其对应的特征点对匹配质量越高，相反，若该特征点几何约束得分越高，表示对应特征点为运动的异常点的概率越大，其匹配质量越低。

6.根据权利要求1所述的室内环境下的动态特征点滤除与重定位方法，其特征在于：所述步骤(5)具体是指：定义特征点的异常分值M_i来表述特征点的优劣程度：

设置阈值ε，若M_i＞ε，则认为所判断特征点对为异常点，将异常点进行滤除，得到最终滤除后的特征点。

7.根据权利要求1所述的室内环境下的动态特征点滤除与重定位方法，其特征在于：所述步骤(6)具体是指：根据滤除后的特征点来求解当前帧的相机位姿

通过迭代的方式对位姿初值所引入的的误差进行补偿，使用特征点库，利用所求解得到的当前帧的相机位姿

将特征点P_i投影到当前帧图像I₂上，计算投影的特征点坐标：

重复步骤(3)至步骤(6)，解算得到新的当前帧的相机位姿

并计算

与

之间的变换矩阵

分解变换矩阵

式中，R为旋转矩阵，t为平移向量，根据罗德里格斯公式和轴角旋转模型，将旋转矩阵R转化为旋转向量γ＝θn进行表示，其中n为旋转轴对应向量，θ为旋转角度，对于角度θ有：

两次求解得到的相机光心平移向量：

t＝-R^Tt (12)

设置迭代终止条件：

(a)当旋转角度θ＜β且光心平移向量的模||-R^Tt||＜δ，其中β和δ为设置的阈值，则认为前后所解算的相机位姿差别较小，此时相机位姿已经收敛，退出迭代，输出最终结果

其中k表示迭代次数；

(b)迭代次数k＝50时，退出迭代，输出最终结果

Images