CN111310772B - 用于双目视觉slam的点线特征选取方法及系统 - Google Patents

用于双目视觉slam的点线特征选取方法及系统 Download PDF

Info

Publication number
CN111310772B
CN111310772B CN202010183747.0A CN202010183747A CN111310772B CN 111310772 B CN111310772 B CN 111310772B CN 202010183747 A CN202010183747 A CN 202010183747A CN 111310772 B CN111310772 B CN 111310772B
Authority
CN
China
Prior art keywords
point
feature
line
features
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010183747.0A
Other languages
English (en)
Other versions
CN111310772A (zh
Inventor
王贺升
乔志健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010183747.0A priority Critical patent/CN111310772B/zh
Publication of CN111310772A publication Critical patent/CN111310772A/zh
Application granted granted Critical
Publication of CN111310772B publication Critical patent/CN111310772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于双目视觉SLAM的点线特征选取方法及系统，包括基于RANSAC的异常点线特征去除，点线特征的误差传递模型构建，基于误差传递模型的点线特征选取和基于特征空间均匀分布的点线特征选取四个主要步骤，首先基于RANSAC对异常点线特征进行去除；其次，通过假定图像的测量误差分布，求得该特征引入位姿求解误差的协方差矩阵；接着，基于协方差矩阵，采用贪心算法筛去那些有较大不确定性的点线特征；最后，在人工特征空间对点线特征进行聚类，并使得点线特征均匀分布在特征空间的各个类中。本方法不仅筛去了异常点，并且使用更少的有效点使得视觉SLAM系统精度提升。

Description

用于双目视觉SLAM的点线特征选取方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体地，涉及一种用于双目视觉SLAM的点线特征选取方法及系统。
背景技术
视觉SLAM系统通常首先提取图像特征，并建立前后帧之间的特征匹配关系，然后根据几何关系确定优化目标方程，最后采取高斯牛顿迭代法对非线性优化问题进行求解。然而，该系统的精度十分依赖于系统输入数据的好坏，如匹配关系是否正确，特征测量误差大小等等。
目前已有许多用于改善系统输入的研究，主要分为两大类。
一是基于RANSAC的外点剔除：RANSAC方法通过反复选择图像特征的一组随机子集用于位姿的优化，并用求得的位姿优化结果确定图像特征总集合的内点数，然后确定一组最优随机子集，使得该子集对应确定的内点数最多，最后用该子集对应的内点集合重新对位姿进行优化，以达到去除外点影响的目的。然而，该方法仅仅去除了外点，并不能对内点进行进一步地筛选。
二是基于图像特征外观形状的特征挑选：该方法挑选在邻域或者整体图像中的较显著的图像特征，或是避免挑选重复纹理区域的图像特征，以使得图像特征具有更高的区分度，从而达到更高的特征匹配正确率。然而，该方法只考虑了外观信息，并没有对空间结构信息以及分布信息进行考虑。
专利文献CN109934862A(申请号：201910130884.5)公开了一种点线特征结合的双目视觉SLAM方法，包括以下步骤：S1，双目相机内参标定；S2，利用标定后的相机采集环境图像，利用梯度密度滤波器过滤特征密集区域，得到有效的图像检测区域；S3，提取特征点和特征线；S4，对提取出的线特征进行断线合并；S5，利用特征点线进行跟踪匹配，并选取关键帧；S6，利用特征点线的重投影误差构建代价函数；S7，进行局部地图优化；S8，利用点线联合的词袋模型判断闭环，并对全局轨迹进行优化。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种用于双目视觉SLAM的点线特征选取方法及系统。
根据本发明提供的用于双目视觉SLAM的点线特征选取方法，包括：
步骤1：基于RANSAC的异常点线特征去除步骤：先随机抽取预设比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用最大内点集合对最终位姿进行求解；
步骤2：点线特征的误差传递模型构建步骤：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得特征引入位姿求解的误差协方差矩阵；
步骤3：基于误差传递模型的点线特征选取步骤：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，留下指定数目的特征；
步骤4：基于特征空间均匀分布的点线特征选取步骤：分别构造特征点线的人工特征包括本身的特征及领域的特征，然后在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类中。
优选地，所述步骤1包括：
步骤1.1：随机抽取一个或多个点特征和线特征；
步骤1.2：使用随机抽取的点线特征对帧间位姿进行估计，得到优化后的位姿ξ*；
步骤1.3：根据优化后的位姿ξ*求得所有点线特征的重投影误差，设定重投影误差阈值，并统计内点个数；
步骤1.4：重复执行步骤1.1～步骤1.3固定次数，找出内点数最大的模型及内点子集S；
步骤1.5：使用内点子集S对位姿重新进行求解。
优选地，所述步骤1.2包括：
步骤1.2.1：分别计算每个点特征的重投影误差ep：
ep＝z-h(ξ,p)
其中，ξ代表前一帧相机坐标系和后一帧相机坐标系的相对位姿的李代数，p是前一帧相机坐标系下的3D特征点，z是后一帧图像坐标下点特征的坐标，h表示将p进行位姿变换后，再进行3D-2D投影的函数；
步骤1.2.2：分别计算每个线特征的重投影误差el：
Figure BDA0002413446560000031
其中，xs和xe分别为前一帧相机坐标系下线特征的首末端点经过位姿ξ变换后在后一帧图像上的投影点，其形式为齐次坐标，形如[u，v，1]T，l′表示形式为[l1,l2,l3]T，其中l1，l2，l3分别代表后一帧图像对应线特征的2D直线的三个参数；
步骤1.2.3：基于高斯牛顿迭代法，最小化特征点和特征线的重投影误差求得帧间相对位姿，表达为：
Figure BDA0002413446560000032
其中，ξ*为优化后的位姿，epi为按照步骤1.2.1所求的第i个点特征的重投影误差，elj为按照步骤1.2.2所求的第j个线特征的重投影误差。
优选地，所述步骤2包括：
步骤2.1：构建点特征误差传递模型；
所述步骤2.1包括：
步骤2.1.1：假定前一帧图像测量误差为∈z，由像素坐标u，v，和双目视差d三个分量组成，协方差矩阵Σm表示为：
Figure BDA0002413446560000033
其中，σu＝1pixel，σv＝1pixel，σd＝0.45dpixel，d表示视差，代表视差越大，不确定性就越高；
步骤2.1.2：定义Σw代表点特征在上一帧相机坐标系的协方差矩阵：
Figure BDA0002413446560000034
其中，
Figure BDA0002413446560000035
为反投影函数的雅克比矩阵；
步骤2.1.3：定义Σw代表点特征在后一帧相机坐标系的协方差矩阵：
Σc＝RcwΣw(Rcw)T
其中，Rcw为帧间位姿的旋转分量；
步骤2.1.4：定义Σp代表点特征在后一帧图像坐标系的协方差矩阵：
Figure BDA0002413446560000041
其中，
Figure BDA0002413446560000042
为投影函数的雅克比矩阵；
步骤2.2：将线特征用两个端点进行表示，计算两个端点在后一帧图像坐标系下的协方差矩阵Σls与Σle。
优选地，所述步骤3包括：
步骤3.1：基于点特征误差传递模型的特征选取；
步骤3.2：基于线特征误差传递模型的特征选取；
步骤3.3：挑选n个点特征，扩大位姿的费雪信息矩阵；
步骤3.4：挑选m个线特征，扩大位姿的费雪信息矩阵；
所述步骤3.1包括：
步骤3.1.1：基于点特征误差传递模型，求得点特征重投影误差的协方差矩阵Σep：
Figure BDA0002413446560000043
其中，
Figure BDA0002413446560000044
为重投影误差对后一帧图像坐标系像素坐标的雅克比矩阵；
步骤3.1.2：计算位姿费雪信息矩阵有关点特征的部分Ωxp：
Figure BDA0002413446560000045
其中，Jex为点特征重投影误差关于位姿的雅克比矩阵；
所述步骤3.2包括：
步骤3.2.1：基于线特征误差传递模型，求得线特征重投影误差的协方差矩阵Σel：
Figure BDA0002413446560000046
其中，
Figure BDA0002413446560000047
为重投影误差对后一帧图像坐标系两个线段端点像素坐标的雅克比矩阵；
步骤3.2.2：计算位姿的费雪信息矩阵有关线特征的部分Ωxl：
Figure BDA0002413446560000048
其中，
Figure BDA0002413446560000049
为线特征重投影误差关于位姿的雅克比矩阵。
优选地，所述步骤3.3包括：
步骤3.3.1：计算初始费雪信息矩阵
Figure BDA0002413446560000051
其中N为点特征个数；
步骤3.3.2：找到第t个点特征费雪矩阵，使得logdet(Ωx-Ωxp(t))最大；
步骤3.3.3：按式Ωx←Ωx-Ωxp(t)更新Ωx；
步骤3.3.4：重复步骤3.3.2～步骤3.3.3，直至只剩下n个点特征；
所述步骤3.4包括：
步骤3.4.1：计算初始信息矩阵
Figure BDA0002413446560000052
其中M为点特征个数；
步骤3.4.2：找到第t个线特征费雪矩阵，使得logdet(Ωx-Ωxl(t))最大；
步骤3.4.3：按式Ωx←Ωx-Ωxl(t)更新Ωx；
步骤3.4.4：重复步骤3.4.2～步骤3.4.3，直至只剩下m个线特征。
优选地，所述步骤4包括：
步骤4.1：构建点特征的人工特征；
步骤4.2：构建线特征的人工特征；
步骤4.3：分别对点线特征在人工特征空间内进行K-Means聚类，并设定类最小数目阈值，得到Np个点特征类以及Nl个线特征类；
步骤4.4：对各个类在特征空间进行最远距离采样，采样数目为设定类最小数目阈值，得到在各个聚类都均匀分布的点线特征集合。
优选地，所述步骤4.1包括：
步骤4.1.1：获取点特征前一帧的图像坐标pt-1，空间坐标Pt-1，灰度值Gt-1，及后一帧对应的pt，Pt，Gt；
步骤4.1.2：计算位姿费雪信息矩阵有关点特征的部分，Ωxp的一个或多个矩阵性质，包括矩阵的行列式值Detp，迹Trp，谱半径ρp；
步骤4.1.3：计算该特征点在其像素领域内的响应度Fp；
步骤4.1.4：计算该特征点前后两帧图像坐标系领域的统计量，包括像素坐标的方差Varpu,t-1，Varpv,t-1，Varpu,t，Varpv,t，平均值Meanpu,t-1，Meanpv,t-1，Meanpu,t，Meanpv,t。
优选地，所述步骤4.2包括：
步骤4.2.1：获取线特征中点前一帧的图像坐标lt-1，空间坐标Lt-1，及其后一帧对应的lt，Lt；
步骤4.2.2：计算位姿费雪信息矩阵有关线特征的部分，Ωxl的一个或多个矩阵性质，包括矩阵的行列式值Detl，迹Trl和谱半径ρl；
步骤4.2.3：计算该特征线的斜率kl，长度dl；
步骤4.2.4：计算该特征线中点前后两帧图像坐标系领域的各线特征中点的统计量，包括像素坐标的方差Varlu,t-1，Varlv,t-1，Varlu,t，Varlv,t，平均值Meanlu,t-1，Meanlv,t-1，Meanlu,t，Meanlv,t。
根据本发明提供的用于双目视觉SLAM的点线特征选取系统，包括：
基于RANSAC的异常点线特征去除模块：先随机抽取预设比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用最大内点集合对最终位姿进行求解；
点线特征的误差传递模型构建模块：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得特征引入位姿求解的误差协方差矩阵；
基于误差传递模型的点线特征选取模块：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，留下指定数目的特征；
基于特征空间均匀分布的点线特征选取模块：分别构造特征点线的人工特征包括本身的特征及领域的特征，然后在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类中。
与现有技术相比，本发明具有如下的有益效果：
1、本发明不仅实现了已有方法去除异常点的功能，使得系统能相当大程度上规避特征误匹配等因素对系统精度造成的影响，并且对图像测量误差在非线性优化求解的传播通道进行建模，分析图像特征对位姿估计的影响，剔除了对位姿估计不确定性影响较大的图像特征，增强了SLAM系统对传感器测量误差的鲁棒性。
2、本发明在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类，使得留下的点线特征能更好地代表环境信息，从而提高SLAM系统的精度。
3、视觉SLAM系统常常应用于嵌入式等轻量级设备上，运算能力和储存能力有限。本发明能够减少系统需要用于位姿求解的特征数量，并使得系统需要长期维护的地图特征数量也随之减少，同时能保证系统精度提升，减轻系统的运算和储存负荷，提高系统的效率与可用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为一种用于双目视觉SLAM的点线特征选取方法的流程示意图；
图2为点线特征误差传递的过程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，在本实施例中，根据本发明提供的一种用于双目视觉SLAM的点线特征选取方法，包括如下任一个或任多个步骤：
基于RANSAC的异常点线特征去除步骤，记为步骤S1，具体地：先随机抽取一定比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得该位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用此集合对最终位姿进行求解；
点线特征的误差传递模型构建步骤，记为步骤S2，具体地：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得该特征引入位姿求解的误差协方差矩阵；
基于误差传递模型的点线特征选取步骤，记为步骤S3，具体地：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，使得位姿的费雪信息矩阵的行列式值尽可能大，最终留下指定数目的特征。
基于特征空间均匀分布的点线特征选取步骤，记为步骤S4，具体地：分别构造特征点线的人工特征包括其本身的特征及领域的特征，在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类中。
所述步骤S1包括如下步骤：
步骤S1.1、随机抽取20个点特征和20个线特征；
步骤S1.2、使用随机抽取的点线特征对帧间位姿进行估计，包括如下步骤：
步骤S1.2.1、分别计算每个点特征的重投影误差ep：
ep＝z-h(ξ,p)
其中，ξ代表前一帧相机坐标系和后一帧相机坐标系的相对位姿的李代数，p是前一帧相机坐标系下的3D特征点，z是后一帧图像坐标下点特征的坐标，h表示将p进行位姿变换后，再进行3D-2D投影的函数；
步骤S1.2.2、分别计算每个线特征的重投影误差el：
Figure BDA0002413446560000083
其中，xs和xe分别为前一帧相机坐标系下线特征的首末端点经过位姿ξ变换后在后一帧图像上的投影点，其形式为齐次坐标，形如[u,v,1]T，l′表示形式为[l1,l2,l3]T，其中l1，l2，l3分别代表后一帧图像对应线特征的2D直线的三个参数；
步骤S1.2.3、基于高斯牛顿迭代法，最小化特征点和特征线的投影误差求得帧间相对位姿，该优化问题可表达为：
Figure BDA0002413446560000081
其中，ξ*为优化后的位姿，epi为按照步骤1.2.1所求的第i个点特征的重投影误差，elj为按照步骤1.2.2所求的第j个线特征的重投影误差。
步骤S1.3、根据优化后的位姿ξ*求得所有点线特征的重投影误差，分别求出重投影误差集合的均值m和标准方差a，设定重投影误差阈值为m±a，并统计内点个数；
步骤S1.4、重复上述过程3次，找出内点数最大的模型及其内点子集S，此时点特征剩余100个，线特征剩余100个；
步骤S1.5、使用内点子集S对位姿重新进行求解。
所述步骤S2包括如下步骤：
步骤S2.1、构建点特征误差传递模型，如图2所示，包括步骤：
步骤S2.1.1、假定前一帧图像测量误差为∈z，由像素坐标u，v，和双目视差d三个分量组成，其协方差矩阵Σm：
Figure BDA0002413446560000082
其中按照计算机视觉领域的习惯，σu＝1pixel，σv＝1pixel，σd＝0.45dpixel。其中d表示视差，代表视差越大，不确定性就越高；
步骤S2.1.2、定义Σw代表点特征在上一帧相机坐标系的协方差矩阵：
Figure BDA0002413446560000091
其中，
Figure BDA0002413446560000092
为反投影函数的雅克比矩阵,其解析形式为：
Figure BDA0002413446560000093
其中，fx,fy,cx,cy分别为针孔相机投影矩阵的参数。
步骤S2.1.3、定义Σw代表点特征在后一帧相机坐标系的协方差矩阵：
Σc＝RcwΣw(Rcw)T
其中，Rcw为步骤S1求得的帧间位姿的旋转分量；
步骤S2.1.4、定义Σp代表点特征在后一帧图像坐标系的协方差矩阵：
Figure BDA0002413446560000094
其中，
Figure BDA0002413446560000095
为投影函数的雅克比矩阵，其解析形式为：
Figure BDA0002413446560000096
其中，XYZ为特征点在后一帧相机坐标系下的三维坐标，由S1步骤求得的初始位姿得到。
步骤S2.2、将线特征用两个端点进行表示，按照步骤S2.1计算两个端点在后一帧图像坐标系下的协方差矩阵Σls与Σle。
所述步骤S3包括如下步骤：
步骤S3.1、基于点特征误差传递模型的特征选取，包括步骤：
步骤S3.1.1、基于点特征误差传递模型，求得点特征重投影误差的协方差矩阵Σep：
Figure BDA0002413446560000097
其中，
Figure BDA0002413446560000101
为重投影误差对后一帧图像坐标系像素坐标的雅克比矩阵，其解析形式为：
Figure BDA0002413446560000102
步骤S3.1.2、计算位姿费雪信息矩阵有关点特征的部分Ωxp：
Figure BDA0002413446560000103
其中，Jex为点特征重投影误差关于位姿的雅克比矩阵，其解析形式为：
Figure BDA0002413446560000104
步骤S3.2、基于线特征误差传递模型的特征选取，包括步骤：
步骤S3.2.1、基于线特征误差传递模型，求得线特征重投影误差的协方差矩阵Σel：
Figure BDA0002413446560000105
其中，
Figure BDA0002413446560000106
为重投影误差对后一帧图像坐标系两个线段端点像素坐标的雅克比矩阵，其解析形式为：
Figure BDA0002413446560000107
步骤S3.2.2、计算位姿的费雪信息矩阵有关线特征的部分Ωxl：
Figure BDA0002413446560000108
其中，
Figure BDA0002413446560000109
为线特征重投影误差关于位姿的雅克比矩阵，其解析形式为：
Figure BDA00024134465600001010
其中，Xls和Xle分别为前一帧相机坐标系下线特征的首末端点经过位姿变换后在后一帧相机坐标系下的空间点坐标；
步骤S3.3、挑选70个点特征，使得位姿的费雪信息矩阵尽可能地大，包括步骤：
步骤S3.3.1、计算初始费雪信息矩阵
Figure BDA0002413446560000111
其中N为点特征个数，为100；
步骤S3.3.2、找到第t个点特征费雪矩阵，使得logdet(Ωx-Ωxp(t))最大；
步骤S3.3.3、按式Ωx←Ωx-Ωxp(t)更新Ωx；
步骤S3.3.4、重复步骤S3.3.2-S3.3.3，直至只剩下70个点特征；
步骤S3.4、挑选70个线特征，使得位姿的费雪信息矩阵尽可能地大，包括步骤：
步骤S3.4.1、计算初始信息矩阵
Figure BDA0002413446560000112
其中M为点特征个数，为100，n为S3.3步骤筛选得到的点特征数目，为70；
步骤S3.4.2、找到第t个线特征费雪矩阵，使得logdet(Ωx-Ωxl(t))最大；
步骤S3.4.3、按式Ωx←Ωx-Ωxl(t)更新Ωx；
步骤S3.4.4、重复步骤S3.4.2-S3.4.3，直至只剩下70个线特征。
所述步骤S4包括如下步骤：
步骤S4.1、构建点特征的人工特征，包括步骤：
步骤S4.1.1、获取点特征前一帧的图像坐标pt-1，空间坐标Pt-1，灰度值Gt-1，及其后一帧对应的pt，Pt，Gt；
步骤S4.1.2、计算位姿费雪信息矩阵有关点特征的部分，Ωxp的一个或多个矩阵性质，包括矩阵的行列式值Detp，迹Trp，谱半径ρp；
步骤S4.1.3、计算该特征点在其像素领域内的响应度Fp，其求法为：
Fp＝abs(Num(G(i)>Gnear)-Num(G(i)<Gnear))
其中abs表示取绝对值函数，Num()为计数函数，G(i)表示当前点特征的灰度值，Gnear表示当前点特征8*8图像领域的灰度值集合；
步骤S4.1.4、计算该特征点前后两帧图像坐标系领域的统计量，包括像素坐标的方差Varpu,t-1，Varpv,t-1，Varpu,t，Varpv,t，平均值Meanpu,t-1，Meanpv,t-1，Meanpu,t，Meanpv,t；
步骤S4.2、构建线特征的人工特征，包括步骤：
步骤S4.2.1、获取线特征中点前一帧的图像坐标lt-1，空间坐标Lt-1，及其后一帧对应的lt，Lt；
步骤S4.2.2、计算位姿费雪信息矩阵有关线特征的部分，Ωxl的一个或多个矩阵性质，包括矩阵的行列式值Detl，迹Trl，谱半径ρl；
步骤S4.2.3、计算该特征线的斜率kl，长度dl；
步骤S4.2.4、计算该特征线中点前后两帧图像坐标系领域的各线特征中点的统计量，包括像素坐标的方差Varlu,t-1，Varlv,t-1，Varlu,t，Varlv,t，平均值Meanlu,t-1，Meanlv,t-1，Meanlu,t，Meanlv,t；
步骤S4.3、分别对点线特征在人工特征空间内进行K-Means聚类，并设定类最小数目阈值，其中K取6,阈值为15，最终得到满足阈值条件的3个点特征类以及3个线特征类；
步骤S4.4、对于得到的3个点特征类以及3个线特征类，分别对其在特征空间进行最远距离采样，采样数目为步骤S4.3设置的最小数目阈值15，得到在各个聚类都均匀分布的点线特征集合。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种用于双目视觉SLAM的点线特征选取方法，其特征在于，包括：
步骤1：基于RANSAC的异常点线特征去除步骤：先随机抽取预设比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用最大内点集合对最终位姿进行求解；
步骤2：点线特征的误差传递模型构建步骤：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得特征引入位姿求解的误差协方差矩阵；
步骤3：基于误差传递模型的点线特征选取步骤：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，留下指定数目的特征；
步骤4：基于特征空间均匀分布的点线特征选取步骤：分别构造特征点线的人工特征包括本身的特征及领域的特征，然后在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类中；
所述步骤4包括：
步骤4.1：构建特征点的点特征的人工特征；
步骤4.2：构建特征线的线特征的人工特征；
步骤4.3：分别对点线特征在人工特征空间内进行K-Means聚类，并设定类最小数目阈值，得到Np个点特征类以及Nl个线特征类；
步骤4.4：对各个类在特征空间进行最远距离采样，采样数目为设定类最小数目阈值，得到在各个聚类都均匀分布的点线特征集合；
所述步骤4.1包括：
步骤4.1.1：获取点特征前一帧的图像坐标pt-1，空间坐标Pt-1，灰度值Gt-1，及后一帧对应的pt，Pt，Gt；
步骤4.1.2：计算位姿费雪信息矩阵有关点特征的部分，Ωxp的一个或多个矩阵性质，包括矩阵的行列式值Detp，迹Trp，谱半径ρp；
步骤4.1.3：计算该特征点在其像素领域内的响应度Fp；
步骤4.1.4：计算该特征点前后两帧图像坐标系领域的统计量，包括像素坐标的方差Varpu,t-1，Varpv,t-1，Varpu,t，Varpv,t，平均值Meanpu,t-1，Meanpv,t-1，Meanpu,t，Meanpv,t；
所述步骤4.2包括：
步骤4.2.1：获取线特征中点前一帧的图像坐标lt-1，空间坐标Lt-1，及其后一帧对应的lt，Lt；
步骤4.2.2：计算位姿费雪信息矩阵有关线特征的部分，Ωxl的一个或多个矩阵性质，包括矩阵的行列式值Detl，迹Trl和谱半径ρl；
步骤4.2.3：计算该特征线的斜率kl，长度dl；
步骤4.2.4：计算该特征线中点前后两帧图像坐标系领域的各线特征中点的统计量，包括像素坐标的方差Varlu,t-1，Varlv,t-1，Varlu,t，Varlv,t，平均值Meanlu,t-1，Meanlv,t-1，Meanlu,t，Meanlv,t。
2.根据权利要求1所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤1包括：
步骤1.1：随机抽取一个或多个点特征和线特征；
步骤1.2：使用随机抽取的点线特征对帧间位姿进行估计，得到优化后的位姿ξ*；
步骤1.3：根据优化后的位姿ξ*求得所有点线特征的重投影误差，设定重投影误差阈值，并统计内点个数；
步骤1.4：重复执行步骤1.1～步骤1.3固定次数，找出内点数最大的模型及内点子集S；
步骤1.5：使用内点子集S对位姿重新进行求解。
3.根据权利要求2所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤1.2包括：
步骤1.2.1：分别计算每个点特征的重投影误差ep：
ep＝z-h(ξ,p)
其中，ξ代表前一帧相机坐标系和后一帧相机坐标系的相对位姿的李代数，p是前一帧相机坐标系下的3D特征点，z是后一帧图像坐标下点特征的坐标，h表示将p进行位姿变换后，再进行3D-2D投影的函数；
步骤1.2.2：分别计算每个线特征的重投影误差el：
Figure FDA0004117396790000021
其中，xs和xe分别为前一帧相机坐标系下线特征的首末端点经过位姿ξ变换后在后一帧图像上的投影点，其形式为齐次坐标，形如[u,v,1]T，l′表示形式为[l1,l2,l3]T，其中l1，l2，l3分别代表后一帧图像对应线特征的2D直线的三个参数；
步骤1.2.3：基于高斯牛顿迭代法，最小化特征点和特征线的重投影误差求得帧间相对位姿，表达为：
Figure FDA0004117396790000031
其中，ξ*为优化后的位姿，epi为按照步骤1.2.1所求的第i个点特征的重投影误差，elj为按照步骤1.2.2所求的第j个线特征的重投影误差。
4.根据权利要求1所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤2包括：
步骤2.1：构建点特征误差传递模型；
所述步骤2.1包括：
步骤2.1.1：假定前一帧图像测量误差为∈z，由像素坐标u，v，和双目视差d三个分量组成，协方差矩阵Σm表示为：
Figure FDA0004117396790000032
其中，σu＝1pixel，σv＝1pixel，σd＝0.45dpixel，d表示视差，代表视差越大，不确定性就越高；
步骤2.1.2：定义Σw代表点特征在上一帧相机坐标系的协方差矩阵：
Figure FDA0004117396790000033
其中，
Figure FDA0004117396790000034
为反投影函数的雅克比矩阵；
步骤2.1.3：定义Σw代表点特征在后一帧相机坐标系的协方差矩阵：
Σc＝RcwΣw(Rcw)T
其中，Rcw为帧间位姿的旋转分量；
步骤2.1.4：定义Σp代表点特征在后一帧图像坐标系的协方差矩阵：
Figure FDA0004117396790000041
其中，
Figure FDA0004117396790000042
为投影函数的雅克比矩阵；
步骤2.2：将线特征用两个端点进行表示，计算两个端点在后一帧图像坐标系下的协方差矩阵Σls与Σle。
5.根据权利要求1所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤3包括：
步骤3.1：基于点特征误差传递模型的特征选取；
步骤3.2：基于线特征误差传递模型的特征选取；
步骤3.3：挑选n个点特征，扩大位姿的费雪信息矩阵；
步骤3.4：挑选m个线特征，扩大位姿的费雪信息矩阵；
所述步骤3.1包括：
步骤3.1.1：基于点特征误差传递模型，求得点特征重投影误差的协方差矩阵Σep：
Figure FDA0004117396790000043
其中，
Figure FDA0004117396790000044
为重投影误差对后一帧图像坐标系像素坐标的雅克比矩阵；
步骤3.1.2：计算位姿费雪信息矩阵有关点特征的部分Ωxp：
Figure FDA0004117396790000045
其中，Jex为点特征重投影误差关于位姿的雅克比矩阵；
所述步骤3.2包括：
步骤3.2.1：基于线特征误差传递模型，求得线特征重投影误差的协方差矩阵Σel：
Figure FDA0004117396790000046
其中，
Figure FDA0004117396790000047
为重投影误差对后一帧图像坐标系两个线段端点像素坐标的雅克比矩阵；
步骤3.2.2：计算位姿的费雪信息矩阵有关线特征的部分Ωxl：
Figure FDA0004117396790000048
其中，
Figure FDA0004117396790000049
为线特征重投影误差关于位姿的雅克比矩阵。
6.根据权利要求5所述的用于双目视觉SLAM的点线特征选取方法，其特征在于，所述步骤3.3包括：
步骤3.3.1：计算初始费雪信息矩阵
Figure FDA0004117396790000051
其中N为点特征个数；
步骤3.3.2：找到第t个点特征费雪矩阵，使得logdet(Ωx-Ωxp(t))最大；
步骤3.3.3：按式Ωx←Ωx-Ωxp(t)更新Ωx；
步骤3.3.4：重复步骤3.3.2～步骤3.3.3，直至只剩下n个点特征；
所述步骤3.4包括：
步骤3.4.1：计算初始信息矩阵
Figure FDA0004117396790000052
其中M为点特征个数；
步骤3.4.2：找到第t个线特征费雪矩阵，使得logdet(Ωx-Ωxl(t))最大；
步骤3.4.3：按式Ωx←Ωx-Ωxl(t)更新Ωx；
步骤3.4.4：重复步骤3.4.2～步骤3.4.3，直至只剩下m个线特征。
7.一种用于双目视觉SLAM的点线特征选取系统，其特征在于，包括：
基于RANSAC的异常点线特征去除模块：先随机抽取预设比例的点线特征匹配对，对前后帧相对位姿进行求解，再求得位姿下的内点集合，然后重复上述过程固定次数，确定最大内点集合，最后用最大内点集合对最终位姿进行求解；
点线特征的误差传递模型构建模块：首先根据实际情况假定图像的测量误差协方差矩阵，再基于高斯分布随机变量非线性变换关系，最终求得特征引入位姿求解的误差协方差矩阵；
基于误差传递模型的点线特征选取模块：采用贪心算法对问题进行求解，通过移除特征对位姿求解的贡献，留下指定数目的特征；
基于特征空间均匀分布的点线特征选取模块：分别构造特征点线的人工特征包括本身的特征及领域的特征，然后在人工特征空间分别对点特征和线特征进行聚类，并使得点线特征均匀分布在各个类中；
所述基于特征空间均匀分布的点线特征选取模块包括：
构建特征点的点特征的人工特征；
构建特征线的线特征的人工特征；
分别对点线特征在人工特征空间内进行K-Means聚类，并设定类最小数目阈值，得到Np个点特征类以及Nl个线特征类；
对各个类在特征空间进行最远距离采样，采样数目为设定类最小数目阈值，得到在各个聚类都均匀分布的点线特征集合；
所述构建特征点的点特征的人工特征包括：
获取点特征前一帧的图像坐标pt-1，空间坐标Pt-1，灰度值Gt-1，及后一帧对应的pt，Pt，Gt；
计算位姿费雪信息矩阵有关点特征的部分，Ωxp的一个或多个矩阵性质，包括矩阵的行列式值Detp，迹Trp，谱半径ρp；
计算该特征点在其像素领域内的响应度Fp；
计算该特征点前后两帧图像坐标系领域的统计量，包括像素坐标的方差Varpu,t-1，Varpv,t-1，Varpu,t，Varpv,t，平均值Meanpu,t-1，Meanpv,t-1，Meanpu,t，Meanpv,t；
所述构建特征线的线特征的人工特征包括：
获取线特征中点前一帧的图像坐标lt-1，空间坐标Lt-1，及其后一帧对应的lt，Lt；
计算位姿费雪信息矩阵有关线特征的部分，Ωxl的一个或多个矩阵性质，包括矩阵的行列式值Detl，迹Trl和谱半径ρl；
计算该特征线的斜率kl，长度dl；
计算该特征线中点前后两帧图像坐标系领域的各线特征中点的统计量，包括像素坐标的方差Varlu,t-1，Varlv,t-1，Varlu,t，Varlv,t，平均值Meanlu,t-1，Meanlv,t-1，Meanlu,t，Meanlv,t。
CN202010183747.0A 2020-03-16 2020-03-16 用于双目视觉slam的点线特征选取方法及系统 Active CN111310772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183747.0A CN111310772B (zh) 2020-03-16 2020-03-16 用于双目视觉slam的点线特征选取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183747.0A CN111310772B (zh) 2020-03-16 2020-03-16 用于双目视觉slam的点线特征选取方法及系统

Publications (2)

Publication Number Publication Date
CN111310772A CN111310772A (zh) 2020-06-19
CN111310772B true CN111310772B (zh) 2023-04-21

Family

ID=71147170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183747.0A Active CN111310772B (zh) 2020-03-16 2020-03-16 用于双目视觉slam的点线特征选取方法及系统

Country Status (1)

Country Link
CN (1) CN111310772B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330735B (zh) * 2020-10-26 2022-06-17 武汉中海庭数据技术有限公司 一种车体相对位置测量精度置信度评估方法及系统
CN112258577B (zh) * 2020-10-26 2022-06-17 武汉中海庭数据技术有限公司 一种车端单目视觉建图测量置信度评估方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015683A1 (zh) * 2014-08-01 2016-02-04 河海大学 交通数据流的聚集查询方法及系统
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110796728A (zh) * 2019-09-20 2020-02-14 南京航空航天大学 一种基于扫描式激光雷达的非合作航天器三维重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015683A1 (zh) * 2014-08-01 2016-02-04 河海大学 交通数据流的聚集查询方法及系统
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110796728A (zh) * 2019-09-20 2020-02-14 南京航空航天大学 一种基于扫描式激光雷达的非合作航天器三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IEEE International Conference on Intelligent Robots and Systems;Yiling Liu等;IEEE International Conference on Intelligent Robots and Systems;3084-3089 *
软体机器人手眼视觉/形状混合控制;王昱欣等;机器人(第05期);45-51 *

Also Published As

Publication number Publication date
CN111310772A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
Sun et al. Motion removal for reliable RGB-D SLAM in dynamic environments
CN109636905B (zh) 基于深度卷积神经网络的环境语义建图方法
CN108711141B (zh) 利用改进的生成式对抗网络的运动模糊图像盲复原方法
Leotta et al. Vehicle surveillance with a generic, adaptive, 3d vehicle model
Cordón et al. A fast and accurate approach for 3D image registration using the scatter search evolutionary algorithm
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN106570874B (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
CN111310772B (zh) 用于双目视觉slam的点线特征选取方法及系统
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN112991389B (zh) 一种目标跟踪方法、装置及移动机器人
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN111178261A (zh) 一种基于视频编码技术的人脸检测加速方法
CN116097307A (zh) 图像的处理方法及相关设备
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
Li et al. Predictive RANSAC: Effective model fitting and tracking approach under heavy noise and outliers
Cheng et al. Water quality monitoring method based on TLD 3D fish tracking and XGBoost
Do Application of neural networks for stereo-camera calibration
CN117315518A (zh) 一种增强现实目标初始注册方法及系统
CN104517292A (zh) 基于平面单应矩阵约束的多摄像机高密度人群分割方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
Woodford et al. Large scale photometric bundle adjustment
Ghosh et al. Evolving bayesian graph for three-dimensional vehicle model building from video
Li et al. Moving target tracking via particle filter based on color and contour features
CN111462177B (zh) 一种基于多线索的在线多目标跟踪方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant