CN111402331B - 基于视觉词袋和激光匹配的机器人重定位方法 - Google Patents

基于视觉词袋和激光匹配的机器人重定位方法 Download PDF

Info

Publication number
CN111402331B
CN111402331B CN202010114822.8A CN202010114822A CN111402331B CN 111402331 B CN111402331 B CN 111402331B CN 202010114822 A CN202010114822 A CN 202010114822A CN 111402331 B CN111402331 B CN 111402331B
Authority
CN
China
Prior art keywords
robot
key frame
orb
words
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010114822.8A
Other languages
English (en)
Other versions
CN111402331A (zh
Inventor
毕盛
张粤
董敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010114822.8A priority Critical patent/CN111402331B/zh
Publication of CN111402331A publication Critical patent/CN111402331A/zh
Application granted granted Critical
Publication of CN111402331B publication Critical patent/CN111402331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉词袋和激光匹配的机器人重定位方法，包括步骤：1)对于机器人装配的单目相机，从相机的图像帧序列中通过图像帧之间的视差来获取关键帧；2)从关键帧图像中提取的所有orb特征点便作为一个个单词按设定的结构组织起来形成一个视觉字典，同时将提取关键帧以及该时刻的二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号；3)提取关键帧中的orb特征点，使用orb特征点和视觉字典建立视觉词袋数据库；4)对机器人进行全局重定位，求解机器人全局位姿。本发明整个过程科学可靠，可精准实现机器人的全局定位。

Description

基于视觉词袋和激光匹配的机器人重定位方法
技术领域
本发明涉及机器人全局定位的技术领域，尤其是指一种基于视觉词袋和激光匹配的机器人重定位方法。
背景技术
在机器人中一类比较常见问题就是机器人重定位问题，也就是当把机器人从一个位置搬到另外一个位置，或者机器人在启动时，怎么知道机器人在地图中的位姿信息，使用多传感器对周围的环境进行探索，形成特征库，然后根据特征信息可以很好的解决这个问题。
目前机器人全局定位主要采用一些二维码标签和额外的硬件设备来完成，其主要原理是通过识别不同信息的二维码或者硬件设施来标识机器人的位置，该种方法成本较大，还有些采用全局地图搜索的方式来完成，但是由于如果地图尺寸过大，便会导致计算量成指数形式递增，导致使用困难。
而对于机器人软件系统，目前主流的机器人系统框架是基于ROS(The RobotOperating System)系统，该系统提供有各种主流传感器的数据接口，也提供对机器人的控制接口，可以在真实环境下完成各类型机器人的实验。并且ROS系统提供了很多基础功能包，使得我们可以在机器人的基础框架上进一步做实验和研究。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于视觉词袋和激光匹配的机器人重定位方法，能够通过相机提取真实环境的视觉特征，以及通过视觉特征找到相应的激光特征数据，通过激光的匹配求解位姿变换矩阵，最终求解出位姿，整个过程科学可靠，可精准实现机器人的全局定位。
为实现上述目的，本发明所提供的技术方案为：基于视觉词袋和激光匹配的机器人重定位方法，包括以下步骤：
1)首先，对于机器人装配的单目相机，从相机的图像帧序列中通过图像帧之间的视差来获取关键帧，其做法是：提取两个图像帧的orb特征点，通过匹配orb特征点，然后过滤误匹配的orb特征点后，根据匹配的orb特帧算子的像素坐标来计算视差，获取关键帧；
2)对于步骤1)中所获取的关键帧，从关键帧图像中提取的所有orb特征点便作为一个个单词按设定的结构组织起来形成一个视觉字典，同时将提取关键帧以及该时刻的二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号；
3)根据步骤2)中的视觉字典和步骤1)中的关键帧，先提取关键帧中的orb特征点，然后使用orb特征点和视觉字典建立视觉词袋数据库，由于每个orb特征点都会对应一个单词，所以数据库其实是包含每个关键帧包含的单词id；
4)对机器人全局重定位的过程中，先获取单目相机的实时图像，然后对图像进行orb特征点提取，使用orb特征点在步骤3)创建的视觉词袋数据库中找到最匹配的关键帧，然后使用该关键帧的序号在步骤2)中的关联数据库找到该关键帧所对应的激光点云以及该关键帧处机器人所对应的位姿，然后通过二维激光点云匹配计算变换矩阵，最终求解机器人全局位姿，完成机器人重定位。
在步骤1)中，获取关键帧：首先，对于机器人装配的单目相机，成像物体的世界坐标系经过
Figure BDA0002391160230000021
变换到相机坐标系，然后从相机坐标系(x,y,z)转换到像平面坐标系(u,v,1)，从世界坐标系转换到相机坐标所需要的/>
Figure BDA0002391160230000022
矩阵参数为外参，从相机坐标系转换到像平面需要的K矩阵参数为内参，为了求得参数，需要对相机进行标定，求出相机的内参，以及畸变系数，其内参矩阵/>
Figure BDA0002391160230000031
畸变系数d＝(k1,k2,p1,p2,k3)，则有
Figure BDA0002391160230000032
其中fx＝αf,fy＝βf，α为x轴缩放倍数，β为y轴缩放系数，f为相机焦距，cx,cy为成像中心点相对于左上角像平面原点的坐标；畸变分为由透镜形状导致的径向畸变和组装过程中透镜与成像面不能完全平面而引起的切向畸变，对于畸变/>
Figure BDA0002391160230000033
其中(x,y)为归一化平面点的坐标，(xdistorted,ydistorted)为畸变后点的坐标，/>
Figure BDA0002391160230000034
则消除畸变后的真实像平面坐标/>
Figure BDA0002391160230000035
通过消除畸变之后的像平面坐标，能够通过两帧图像之间的相应点来估计相机的运动，相机运动的视差能够作为提取视频关键帧的依据，当机器人连续运动后，其装备的相机视差达到设定阈值时，便认为产生了新的关键帧，其难点在于需要知道两帧之间同一世界坐标系下的坐标对应在两帧之间的像素坐标，因此，需要提取每帧的orb特征点，然后将两帧的orb特征点进行匹配，由于在orb特征点匹配过程可能存在误匹配，需要对误匹配的orb特征点对进行剔除，然后使用剔除后匹配的orb特征点的所在像素坐标计算视差，从而提取关键帧。
进一步，对于剔除误匹配orb特征点采用以下步骤：
a、根据匹配后的两个orb特征点的向量距离来剔除误匹配特征点；
b、对匹配特征点相对应的像素点通过消除畸变后，计算基础矩阵，通过基础矩阵进一步剔除误匹配特征点；
c、根据匹配特征点相对应的像素点平均像素距离，筛除掉距离大于平均距离的误匹配特征点。
在步骤2)中，对于步骤1)中提取的关键帧，从图像中提取的所有orb特征点的集合能够用来表征这个图像，而每个orb特征点便作为一个个单词按一定的结构组织起来形成一个视觉字典，通过比较两张图片中出现的单词个数来计算两张图片表征同一场景的概率；计算每个单词的权重和单词之间的相似度，权重使用的是tf-idf计算方法，其中
Figure BDA0002391160230000041
wn是单词在图像中出现的次数，Dn是图像中出现的单词总数，/>
Figure BDA0002391160230000042
N是训练语料库中的图片总数，Ni是训练语料库中包含这个单词的图像数，最终得到的weight＝tf*idf，单词之间的相似度得分使用的是马氏距离d＝|wi-wj|,wi、wj为单词i,j的特征向量，字典的训练过程使用的k-means聚类算法，为了提高效率，视觉字典在训练的过程中构建一个k个分支、深度为d的k叉树，上层节点提供粗分类，下层节点提供细分类，直到叶子节点，使用k叉树结构，能够加快特征匹配的过程，同时将提取关键帧以及该时刻的二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号。
在步骤3)中，根据步骤2)中的视觉字典和步骤1)中的关键帧，先提取关键帧中的orb特征点，然后使用orb特征点和视觉字典建立视觉词袋数据库，由于每个orb特征点都会对应一个单词，所以数据库其实是包含每个关键帧包含的单词id，当需要从数据库中寻找匹配的关键帧时，其过程是：先对需要匹配的关键帧提出orb特征点，然后在字典数据中，通过计算orb特征点与字典中的单词的距离来确定当前orb特征点所对应的单词id，找到所有提出之后的orb特征点所对应的单词后，通过单词的权重来计算需要匹配的关键帧和数据库中的关键帧的得分，选出得分最高的关键帧就是匹配的关键帧。
在步骤4)中，对机器人相对进行全局重定位：首先，使用机器人配置的单目相机，获取实时的图像，然后对图像进行关键帧提取，然后对提取的关键帧提取出其对应的orb特征点，使用orb特征点在步骤3)创建的视觉词袋数据库中找到最匹配的关键帧，然后使用该关键帧的序号在步骤2)中关联数据库找到该关键帧所对应的激光点云以及该关键帧处机器人所对应的位姿
Figure BDA0002391160230000051
接着计算出两个点云之间的刚体变换矩阵/>
Figure BDA0002391160230000052
其中R3x3为旋转矩阵，T3x1为平移向量，由于激光点云数据为二维数据，所以
Figure BDA0002391160230000053
使用ICP最近迭代点算法，便能够求出H，继而求出未知参数/>
Figure BDA0002391160230000054
最终机器人的位姿/>
Figure BDA0002391160230000055
也就实现了机器人全局定位过程。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明能够充分的利用机器人传感器设备，利用视觉的特征信息和激光雷达信息实现机器人的全局定位。
2、本发明效率比现有的暴力求解方法高，面对实验场地很大的情况，全局搜索位姿求解计算量相当庞大，求解困难，本发明通过视觉特征信息缩小匹配范围，然后使用激光点云精确匹配的方法求解位姿，更加高效。
3、本发明在通用环境中具有广泛的使用空间，不需要依赖于其它的高精度传感器，适应性强，具有广阔的应用前景。总之，本发明使用视觉和激光数据来辅助机器人全局定位，可有效的降低成本和计算复杂度，是行之有效的方法。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例所提供的基于视觉词袋和激光匹配的机器人重定位方法，在移动机器人硬件平台的选择上，使用了KOBUKI通用移动机器人底座，以及LSLIDAR2D激光雷达和一个kinect深度相机，一个X86平台8GB内存的终端作为机器人服务端。如图1所示，该方法包括以下步骤：
1)获取关键帧：首先，对于机器人装配的单目相机，成像物体的世界坐标系经过
Figure BDA0002391160230000061
变换到相机坐标系，然后从相机坐标系(x,y,z)转换到像平面坐标系(u,v,1)，从世界坐标系转换到相机坐标所需要的/>
Figure BDA0002391160230000062
矩阵参数为外参，从相机坐标系转换到像平面需要的K矩阵参数为内参，为了求得参数，需要对相机进行标定，求出相机的内参，以及畸变系数，其内参矩阵/>
Figure BDA0002391160230000063
畸变系数d＝(k1,k2,p1,p2,k3)，则有
Figure BDA0002391160230000064
其中fx＝αf,fy＝βf，α为x轴缩放倍数，β为y轴缩放系数，f为相机焦距，cx,cy为成像中心点相对于左上角像平面原点的坐标；畸变分为由透镜形状导致的径向畸变和组装过程中透镜与成像面不能完全平面而引起的切向畸变，对于畸变/>
Figure BDA0002391160230000065
其中(x,y)为归一化平面点的坐标，(xdistorted,ydistorted)为畸变后点的坐标，/>
Figure BDA0002391160230000071
则消除畸变后的真实像平面坐标/>
Figure BDA0002391160230000072
通过消除畸变之后的像平面坐标，能够通过两帧图像之间的相应点来估计相机的运动，相机运动的视差能够作为提取视频关键帧的依据，当机器人连续运动后，其装备的相机视差达到设定阈值时，便认为产生了新的关键帧，其难点在于需要知道两帧之间同一世界坐标系下的坐标对应在两帧之间的像素坐标，因此，需要提取每帧的orb特征点，然后将两帧的orb特征点进行匹配，由于在orb特征点匹配过程可能存在误匹配，需要对误匹配的orb特征点对进行剔除，然后使用剔除后匹配的orb特征点的所在像素坐标计算视差，从而提取关键帧。
对于剔除误匹配orb特征点采用以下步骤：
a、根据匹配后的两个orb特征点的向量距离来剔除误匹配特征点；
b、对匹配特征点相对应的像素点通过消除畸变后，计算基础矩阵，通过基础矩阵进一步剔除误匹配特征点；
c、根据匹配特征点相对应的像素点平均像素距离，筛除掉距离大于平均距离的误匹配特征点。
2)对于步骤1)中所获取的关键帧，从关键帧图像中提取的所有orb特征点便作为一个个单词按设定的结构组织起来形成一个视觉字典，同时将提取关键帧以及该时刻的二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号，具体如下：
对于步骤1)中提取的关键帧，从图像中提取的所有orb特征点的集合能够用来表征这个图像，而每个orb特征点便作为一个个单词按一定的结构组织起来形成一个视觉字典，通过比较两张图片中出现的单词个数来计算两张图片表征同一场景的概率；计算每个单词的权重和单词之间的相似度，权重使用的是tf-idf计算方法，其中
Figure BDA0002391160230000081
wn是单词在图像中出现的次数，Dn是图像中出现的单词总数，/>
Figure BDA0002391160230000082
N是训练语料库中的图片总数，Ni是训练语料库中包含这个单词的图像数，最终得到的weight＝tf*idf，单词之间的相似度得分使用的是马氏距离d＝|wi-wj|,wi、wj为单词i,j的特征向量，字典的训练过程使用的k-means聚类算法，为了提高效率，视觉字典在训练的过程中构建一个k个分支、深度为d的k叉树，上层节点提供粗分类，下层节点提供细分类，直到叶子节点，使用k叉树结构，能够加快特征匹配的过程，同时将提取关键帧以及该时刻的二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号。
3)根据步骤2)中的视觉字典和步骤1)中的关键帧，先提取关键帧中的orb特征点，然后使用orb特征点和视觉字典建立视觉词袋数据库，由于每个orb特征点都会对应一个单词，所以数据库其实是包含每个关键帧包含的单词id，当需要从数据库中寻找匹配的关键帧时，其过程是：先对需要匹配的关键帧提出orb特征点，然后在字典数据中，通过计算orb特征点与字典中的单词的距离来确定当前orb特征点所对应的单词id，找到所有提出之后的orb特征点所对应的单词后，通过单词的权重来计算需要匹配的关键帧和数据库中的关键帧的得分，选出得分最高的关键帧就是匹配的关键帧。
4)对机器人进行全局重定位：首先，使用机器人配置的单目相机，获取实时的图像，然后对图像进行关键帧提取，然后对提取的关键帧提取出其对应的orb特征点，使用orb特征点在步骤3)创建的视觉词袋数据库中找到最匹配的关键帧，然后使用该关键帧的序号在步骤2)中关联数据库找到该关键帧所对应的激光点云以及该关键帧处机器人所对应的位姿
Figure BDA0002391160230000091
接着计算出两个点云之间的刚体变换矩阵/>
Figure BDA0002391160230000092
其中R3x3为旋转矩阵，T3x1为平移向量，由于激光点云数据为二维数据，所以
Figure BDA0002391160230000093
使用ICP最近迭代点算法，便能够求出H，继而求出未知参数/>
Figure BDA0002391160230000094
最终机器人的位姿/>
Figure BDA0002391160230000095
也就实现了机器人全局定位过程。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (5)

1.基于视觉词袋和激光匹配的机器人重定位方法，其特征在于，包括以下步骤：
1)首先，对于机器人装配的单目相机，从相机的图像帧序列中通过图像帧之间的视差来获取关键帧，其做法是：提取两个图像帧的orb特征点，通过匹配orb特征点，然后过滤误匹配的orb特征点后，根据匹配的orb特帧算子的像素坐标来计算视差，获取关键帧；
获取关键帧：首先，对于机器人装配的单目相机，成像物体的世界坐标系经过
Figure FDA0004005494570000011
变换到相机坐标系，然后从相机坐标系(x,y,z)转换到像平面坐标系(u,v,1)，从世界坐标系转换到相机坐标所需要的/>
Figure FDA0004005494570000012
矩阵参数为外参，从相机坐标系转换到像平面需要的K矩阵参数为内参，为了求得参数，需要对相机进行标定，求出相机的内参，以及畸变系数，其内参矩阵/>
Figure FDA0004005494570000013
畸变系数d＝(k1,k2,p1,p2,k3)，则有
Figure FDA0004005494570000014
其中fx＝αf,fy＝βf，α为x轴缩放倍数，β为y轴缩放系数，f为相机焦距，cx,cy为成像中心点相对于左上角像平面原点的坐标；畸变分为由透镜形状导致的径向畸变和组装过程中透镜与成像面不能完全平面而引起的切向畸变，对于畸变/>
Figure FDA0004005494570000015
其中(x,y)为归一化平面点的坐标，(xdistorted,ydistorted)为畸变后点的坐标，/>
Figure FDA0004005494570000016
则消除畸变后的真实像平面坐标/>
Figure FDA0004005494570000017
通过消除畸变之后的像平面坐标，能够通过两帧图像之间的相应点来估计相机的运动，相机运动的视差能够作为提取视频关键帧的依据，当机器人连续运动后，其装备的相机视差达到设定阈值时，便认为产生了新的关键帧，其难点在于需要知道两帧之间同一世界坐标系下的坐标对应在两帧之间的像素坐标，因此，需要提取每帧的orb特征点，然后将两帧的orb特征点进行匹配，由于在orb特征点匹配过程存在误匹配，对误匹配的orb特征点对进行剔除，然后使用剔除后匹配的orb特征点的所在像素坐标计算视差，从而提取关键帧；
2)对于步骤1)中所获取的关键帧，从关键帧图像中提取的所有orb特征点便作为一个个单词按设定的结构组织起来形成一个视觉字典，同时将提取关键帧以及二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号；
3)根据步骤2)中的视觉字典和步骤1)中的关键帧，先提取关键帧中的orb特征点，然后使用orb特征点和视觉字典建立视觉词袋数据库，由于每个orb特征点都会对应一个单词，所以数据库其实是包含每个关键帧包含的单词id；
4)对机器人全局重定位的过程中，先获取单目相机的实时图像，然后对图像进行orb特征点提取，使用orb特征点在步骤3)创建的视觉词袋数据库中找到最匹配的关键帧，然后使用该关键帧的序号在步骤2)中的关联数据库找到该关键帧所对应的激光点云以及该关键帧处机器人所对应的位姿，然后通过二维激光点云匹配计算变换矩阵，最终求解机器人全局位姿，完成机器人重定位。
2.根据权利要求1所述的基于视觉词袋和激光匹配的机器人重定位方法，其特征在于，对于剔除误匹配orb特征点采用以下步骤：
a、根据匹配后的两个orb特征点的向量距离来剔除误匹配特征点；
b、对匹配特征点相对应的像素点通过消除畸变后，计算基础矩阵，通过基础矩阵进一步剔除误匹配特征点；
c、根据匹配特征点相对应的像素点平均像素距离，筛除掉距离大于平均距离的误匹配特征点。
3.根据权利要求1所述的基于视觉词袋和激光匹配的机器人重定位方法，其特征在于：在步骤2)中，对于步骤1)中提取的关键帧，从图像中提取的所有orb特征点的集合能够用来表征这个图像，而每个orb特征点便作为一个个单词组织起来形成一个视觉字典，通过比较两张图片中出现的单词个数来计算两张图片表征同一场景的概率；计算每个单词的权重和单词之间的相似度，权重使用的是tf-idf计算方法，其中
Figure FDA0004005494570000031
wn是单词在图像中出现的次数，Dn是图像中出现的单词总数，/>
Figure FDA0004005494570000032
N是训练语料库中的图片总数，Ni是训练语料库中包含这个单词的图像数，最终得到的weight＝tf*idf，单词之间的相似度得分使用的是马氏距离d＝|wi-wj|,wi、wj为单词i,j的特征向量，字典的训练过程使用的k-means聚类算法，为了提高效率，视觉字典在训练的过程中构建一个k个分支、深度为d的k叉树，上层节点提供粗分类，下层节点提供细分类，直到叶子节点，使用k叉树结构，能够加快特征匹配的过程，同时将提取关键帧以及该时刻的二维激光点云和其在相对于map坐标的位姿对应起来，形成一个关联数据库，其索引主键为关键帧的序号。
4.根据权利要求1所述的基于视觉词袋和激光匹配的机器人重定位方法，其特征在于：在步骤3)中，根据步骤2)中的视觉字典和步骤1)中的关键帧，先提取关键帧中的orb特征点，然后使用orb特征点和视觉字典建立视觉词袋数据库，由于每个orb特征点都会对应一个单词，所以数据库其实是包含每个关键帧包含的单词id，当需要从数据库中寻找匹配的关键帧时，其过程是：先对需要匹配的关键帧提出orb特征点，然后在字典数据中，通过计算orb特征点与字典中的单词的距离来确定当前orb特征点所对应的单词id，找到所有提出之后的orb特征点所对应的单词后，通过单词的权重来计算需要匹配的关键帧和数据库中的关键帧的得分，选出得分最高的关键帧就是匹配的关键帧。
5.根据权利要求1所述的基于视觉词袋和激光匹配的机器人重定位方法，其特征在于：在步骤4)中，对机器人进行全局重定位：首先，使用机器人配置的单目相机，获取实时的图像，然后对图像进行关键帧提取，然后对提取的关键帧提取出其对应的orb特征点，使用orb特征点在步骤3)创建的视觉词袋数据库中找到最匹配的关键帧，然后使用该关键帧的序号在步骤2)中关联数据库找到该关键帧所对应的激光点云以及该关键帧处机器人所对应的位姿
Figure FDA0004005494570000041
接着计算出两个点云之间的刚体变换矩阵/>
Figure FDA0004005494570000042
其中R3x3为旋转矩阵，T3x1为平移向量，由于激光点云数据为二维数据，所以/>
Figure FDA0004005494570000043
Figure FDA0004005494570000044
使用ICP最近迭代点算法，便能够求出H，继而求出未知参数/>
Figure FDA0004005494570000045
最终机器人的位姿/>
Figure FDA0004005494570000046
也就实现了机器人全局定位过程。/>
CN202010114822.8A 2020-02-25 2020-02-25 基于视觉词袋和激光匹配的机器人重定位方法 Active CN111402331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010114822.8A CN111402331B (zh) 2020-02-25 2020-02-25 基于视觉词袋和激光匹配的机器人重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010114822.8A CN111402331B (zh) 2020-02-25 2020-02-25 基于视觉词袋和激光匹配的机器人重定位方法

Publications (2)

Publication Number Publication Date
CN111402331A CN111402331A (zh) 2020-07-10
CN111402331B true CN111402331B (zh) 2023-03-28

Family

ID=71432092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010114822.8A Active CN111402331B (zh) 2020-02-25 2020-02-25 基于视觉词袋和激光匹配的机器人重定位方法

Country Status (1)

Country Link
CN (1) CN111402331B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070831B (zh) * 2020-08-06 2022-09-06 天津大学 一种基于多平面联合位姿估计的主动相机重定位方法
CN112461230B (zh) * 2020-12-07 2023-05-09 优必康(青岛)科技有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN112966616A (zh) * 2021-03-11 2021-06-15 深圳市无限动力发展有限公司 基于聚类的视觉重定位方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165680A (zh) * 2018-08-01 2019-01-08 东南大学 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN110533722A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3290864A1 (en) * 2016-08-30 2018-03-07 Continental Automotive GmbH Driver assistance system for determining a position of a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165680A (zh) * 2018-08-01 2019-01-08 东南大学 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN110533722A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于视觉词典的机器人快速重定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多传感器信息融合的双足机器人自主定位;王立玲等;《中国惯性技术学报》;20181015(第05期);第75-80页 *

Also Published As

Publication number Publication date
CN111402331A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402331B (zh) 基于视觉词袋和激光匹配的机器人重定位方法
JP6011102B2 (ja) 物体姿勢推定方法
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN113408584B (zh) Rgb-d多模态特征融合3d目标检测方法
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN108364302B (zh) 一种无标记的增强现实多目标注册跟踪方法
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
WO2018227216A1 (en) Learning-based matching for active stereo systems
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
Du et al. Robot robust object recognition based on fast surf feature matching
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
Safaei et al. Single image action recognition by predicting space-time saliency
CN114495109A (zh) 基于目标与场景文字匹配的抓取机器人及抓取方法和系统
CN110580451A (zh) 一种基于三维优化子曲面的人脸识别方法及系统
CN113642430B (zh) 基于VGG+NetVLAD的地下停车场高精度视觉定位方法及系统
Kim et al. Multi-resolution Fusion Network for Human Pose Estimation in Low-resolution Images.
CN115240121B (zh) 一种用于增强行人局部特征的联合建模方法和装置
CN114022906A (zh) 基于多层次特征与注意力机制的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant