CN110458889A - 一种基于语义路标的摄像机重定位方法 - Google Patents

一种基于语义路标的摄像机重定位方法 Download PDF

Info

Publication number
CN110458889A
CN110458889A CN201910732543.5A CN201910732543A CN110458889A CN 110458889 A CN110458889 A CN 110458889A CN 201910732543 A CN201910732543 A CN 201910732543A CN 110458889 A CN110458889 A CN 110458889A
Authority
CN
China
Prior art keywords
angle point
video camera
frame
road sign
present frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910732543.5A
Other languages
English (en)
Inventor
于瑞云
费子昂
杨硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910732543.5A priority Critical patent/CN110458889A/zh
Publication of CN110458889A publication Critical patent/CN110458889A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及重定位技术领域，提供一种基于语义路标的摄像机重定位方法，包括：布置语义路标，构造场景地图；初始化地面预选区域；利用摄像机对场景进行实时摄像，形成场景图像库，提取场景图像中的角点，估计摄像机的当前位姿，若能估计出当前位姿，则构建场景的三维点云；若不能估计出当前位姿，则摄像机丢失定位，对摄像机进行重定位：提取当前帧与候选帧中的角点；对当前帧与候选帧进行角点匹配，计算角点间相似度；计算当前帧与候选帧之间的帧间相似度；将最大帧间相似度对应的候选帧下摄像机的位姿作为当前帧下摄像机的位姿。本发明能够减少光照和地形变化对重定位的影响，提高重定位的精度和效率，增强定位系统的鲁棒性并减少计算量。

Description

一种基于语义路标的摄像机重定位方法
技术领域
本发明涉及重定位技术领域，特别是涉及一种基于语义路标的摄像机重定位方法。
背景技术
重定位是SLAM(simultaneous localization and mapping，即时定位与地图构建)中最常见的问题之一，它解决机器人或无人机等机器由于某些原因在运动的过程中丢失了定位、从而无法继续工作的问题。SLAM的重定位定义为：在已知环境地图的情况下，如何依据机器当前的传感器观测数据，找出自身定位。导致定位丢失发生的情况主要有这几种：1)机器在停止工作后被移动了；2)由于地形、移动物体等环境因素，机器观测到相差过大的环境。这些情况导致机器认为自身处于新的环境中，然而实际上它身处先前已观测的区域。借助重定位技术，可以克服这些困难，实现更鲁棒的系统功能。
现有的重定位方法大多采用vins-mono方法，该方法是基于特征点的方法进行重定位，当受到光照或者地形剧烈变化的时候，其定位精度和定位效率都较低，定位系统的鲁棒性较差，且计算量较大。
此外，现有的重定位方法中，还有采用相关语义SLAM系统的方法。其中一个典型的就是帝国理工学院Andrew Davison的课题组，他们建立的SLAM系统首先用RGBD相机构建点云地图，然后把这些点云地图和之前存储到库中的物体原型进行对比，当检测到匹配物体就把存储的点云部分放到地图中，根据点云地图中物体的初始位姿，加入了地平面方程，使得所有地图中的东西都在同一个平面上，可以提升地图的精确率；当地图的准确率提高之后，机器人自身的定位准确率也就会得到提高。还有一些其他的单目摄像机相关的语义SLAM，也是采用类似的方法和思路。然而，这些相关语义SLAM系统受到了计算速度和SLAM本身的定位精度的影响，这些采用相关语义SLAM系统的方法基本都是在理想场景下进行的，物体区分度高，重定位的精度和效率都比较低，定位系统的鲁棒性也不够高。
发明内容
针对现有技术存在的问题，本发明提供一种基于语义路标的摄像机重定位方法，能够减少光照和地形变化对重定位的影响，提高重定位的精度和效率，增强定位系统的鲁棒性并减少计算量。
本发明的技术方案为：
一种基于语义路标的摄像机重定位方法，其特征在于，包括下述步骤：
步骤1：在摄像机的工作场景的地面上布置语义路标，将每个语义路标中心点的坐标存储在SLAM系统中，形成场景地图；
步骤2：初始化地面预选区域；
步骤3：利用摄像机对场景进行实时摄像，获取并存储实时的场景图像，形成场景图像库，提取场景图像中的角点，利用当前帧与上一帧估计摄像机的当前位姿，若能估计出当前位姿，则构建场景的三维点云；若不能估计出当前位姿，则摄像机丢失定位，进入步骤4；
步骤4：对摄像机进行重定位：
步骤4.1：将场景图像库中除当前帧之外的所有帧作为候选帧，提取当前帧与候选帧中的角点，得到每个角点的特征向量；
步骤4.2：对当前帧与每个候选帧进行角点匹配：计算当前帧中每个角点p与该候选帧中每个角点q之间的角点间相似度rpq，若rpq小于预设的阈值，则角点p与角点q构成角点对，得到角点对集合；
步骤4.3：取角点对集合对应的角点间相似度的平均值作为当前帧与该候选帧之间的帧间相似度；
步骤4.4：计算帧间相似度的最大值，将最大帧间相似度对应的候选帧下摄像机的位姿作为当前帧下摄像机的位姿。
所述步骤1中，工作场景为长200米的楼道，布置语义路标的方法为每隔50cm布置一个语义路标。
所述步骤3中，基于滑动窗口的方式提取场景图像中的角点，所述角点的类型为Shi-Tomasi角点。
所述步骤4.2中，计算当前帧中每个角点p与该候选帧中每个角点q之间的角点间相似度rpq，rpq＝||ap-aq||；其中，ap、aq分别为角点p、角点q的特征向量。
所述步骤4.2中，基于RANSAC算法对当前帧与候选帧之间的角点匹配进行优化。
本发明的有益效果为：
本发明通过融合语义路标和SLAM，能够帮助SLAM系统提高对环境的认知，减少在阳光强烈条件下对特征的依赖，也能对地图进行更好的语义理解，SLAM系统获取的场景的几何信息也能使得对场景语义信息理解的更加良好，在不能估计出当前位姿时对摄像机进行重定位，提取当前帧与候选帧中的角点后，对当前帧与候选帧进行角点匹配，得到当前帧与候选帧之间的帧间相似度，将最大帧间相似度对应的候选帧下摄像机的位姿作为当前帧下摄像机的位姿，减少了光照和地形变化对重定位的影响，提高了重定位的精度和效率，增强了定位系统的鲁棒性，并减少了计算量。
附图说明
图1为本发明的基于语义路标的摄像机重定位方法的流程图。
图2为具体实施方式中语义路标的布置情况示意图。
图3为部分可选语义路标的示意图。
图4为具体实施方式中初始化时地面预选区域的示意图。
图5为具体实施方式中提取角点的过程示意图。
图6为具体实施方式中Shi-Tomasi角点的检测结果示意图。
图7为具体实施方式中摄像机重定位的过程示意图。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图1所示，本发明的基于语义路标的摄像机重定位方法，包括下述步骤：
步骤1：在摄像机的工作场景的地面上布置语义路标，将每个语义路标中心点的坐标存储在SLAM系统中，形成场景地图。
本实施例中，如图2所示，工作场景为长200米的楼道，布置语义路标的方法为每隔50cm布置一个语义路标。其中，语义路标是特征明显的标识物，如图3所示。
步骤2：初始化地面预选区域。
本实施例中，如图4所示，白框部分为初始化时地面在摄像机图像坐标系下的投影。
步骤3：利用摄像机对场景进行实时摄像，获取并存储实时的场景图像，形成场景图像库，提取场景图像中的角点，利用当前帧与上一帧估计摄像机的当前位姿，若能估计出当前位姿，则构建场景的三维点云；若不能估计出当前位姿，则摄像机丢失定位，进入步骤4。
本实施例中，如图5所示，基于滑动窗口的方式提取场景图像中的角点，所述角点的类型为如图6所示的Shi-Tomasi角点。
步骤4：如图7所示，对摄像机进行重定位：
步骤4.1：将场景图像库中除当前帧之外的所有帧作为候选帧，提取当前帧与候选帧中的角点，得到每个角点的特征向量。
步骤4.2：对当前帧与每个候选帧进行角点匹配：计算当前帧中每个角点p与该候选帧中每个角点q之间的角点间相似度rpq，若rpq小于预设的阈值，则角点p与角点q构成角点对，得到角点对集合。
本实施例中，计算当前帧中每个角点p与该候选帧中每个角点q之间的角点间相似度rpq，rpq＝||ap-aq||；其中，ap、aq分别为角点p、角点q的特征向量。此外，计算角点间相似度的方法可以是本领域技术人员所熟知的任何其他方法。
本实施例中，基于RANSAC算法对当前帧与候选帧之间的角点匹配进行优化。
步骤4.3：取角点对集合对应的角点间相似度的平均值作为当前帧与该候选帧之间的帧间相似度。
步骤4.4：计算帧间相似度的最大值，将最大帧间相似度对应的候选帧下摄像机的位姿作为当前帧下摄像机的位姿。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (5)

1.一种基于语义路标的摄像机重定位方法，其特征在于，包括下述步骤：
步骤1：在摄像机的工作场景的地面上布置语义路标，将每个语义路标中心点的坐标存储在SLAM系统中，形成场景地图；
步骤2：初始化地面预选区域；
步骤3：利用摄像机对场景进行实时摄像，获取并存储实时的场景图像，形成场景图像库，提取场景图像中的角点，利用当前帧与上一帧估计摄像机的当前位姿，若能估计出当前位姿，则构建场景的三维点云；若不能估计出当前位姿，则摄像机丢失定位，进入步骤4；
步骤4：对摄像机进行重定位：
步骤4.1：将场景图像库中除当前帧之外的所有帧作为候选帧，提取当前帧与候选帧中的角点，得到每个角点的特征向量；
步骤4.2：对当前帧与每个候选帧进行角点匹配：计算当前帧中每个角点p与该候选帧中每个角点q之间的角点间相似度rpq，若rpq小于预设的阈值，则角点p与角点q构成角点对，得到角点对集合；
步骤4.3：取角点对集合对应的角点间相似度的平均值作为当前帧与该候选帧之间的帧间相似度；
步骤4.4：计算帧间相似度的最大值，将最大帧间相似度对应的候选帧下摄像机的位姿作为当前帧下摄像机的位姿。
2.根据权利要求1所述的基于语义路标的摄像机重定位方法，其特征在于，所述步骤1中，工作场景为长200米的楼道，布置语义路标的方法为每隔50cm布置一个语义路标。
3.根据权利要求1所述的基于语义路标的摄像机重定位方法，其特征在于，所述步骤3中，基于滑动窗口的方式提取场景图像中的角点，所述角点的类型为Shi-Tomasi角点。
4.根据权利要求1所述的基于语义路标的摄像机重定位方法，其特征在于，所述步骤4.2中，计算当前帧中每个角点p与该候选帧中每个角点q之间的角点间相似度rpq，rpq＝||ap-aq||；其中，ap、aq分别为角点p、角点q的特征向量。
5.根据权利要求1所述的基于语义路标的摄像机重定位方法，其特征在于，所述步骤4.2中，基于RANSAC算法对当前帧与候选帧之间的角点匹配进行优化。
CN201910732543.5A 2019-08-09 2019-08-09 一种基于语义路标的摄像机重定位方法 Pending CN110458889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910732543.5A CN110458889A (zh) 2019-08-09 2019-08-09 一种基于语义路标的摄像机重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910732543.5A CN110458889A (zh) 2019-08-09 2019-08-09 一种基于语义路标的摄像机重定位方法

Publications (1)

Publication Number Publication Date
CN110458889A true CN110458889A (zh) 2019-11-15

Family

ID=68485500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910732543.5A Pending CN110458889A (zh) 2019-08-09 2019-08-09 一种基于语义路标的摄像机重定位方法

Country Status (1)

Country Link
CN (1) CN110458889A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364344A (zh) * 2018-02-08 2018-08-03 重庆邮电大学 一种基于回环测试的单目实时三维重建方法
CN109215117A (zh) * 2018-09-12 2019-01-15 北京航空航天大学青岛研究院 基于ORB与U-net的花卉三维重建方法
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110070580A (zh) * 2019-03-29 2019-07-30 南京华捷艾米软件科技有限公司 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364344A (zh) * 2018-02-08 2018-08-03 重庆邮电大学 一种基于回环测试的单目实时三维重建方法
CN109215117A (zh) * 2018-09-12 2019-01-15 北京航空航天大学青岛研究院 基于ORB与U-net的花卉三维重建方法
CN109345588A (zh) * 2018-09-20 2019-02-15 浙江工业大学 一种基于Tag的六自由度姿态估计方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110070580A (zh) * 2019-03-29 2019-07-30 南京华捷艾米软件科技有限公司 基于局部关键帧匹配的slam快速重定位方法及图像处理装置

Similar Documents

Publication Publication Date Title
CN110261870B (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
Ma et al. CPA-SLAM: Consistent plane-model alignment for direct RGB-D SLAM
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
CN105678754B (zh) 一种无人机实时地图重建方法
CN106092104B (zh) 一种室内机器人的重定位方法及装置
CN106127739B (zh) 一种结合单目视觉的rgb-d slam方法
CN109074085B (zh) 一种自主定位和地图建立方法、装置和机器人
CN109544636A (zh) 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN114862949B (zh) 一种基于点线面特征的结构化场景视觉slam方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
CN111258313A (zh) 多传感器融合slam系统及机器人
Ranganathan et al. Light-weight localization for vehicles using road markings
US11703334B2 (en) Mobile robots to generate reference maps for localization
CN110599545B (zh) 一种基于特征的构建稠密地图的系统
CN109781092B (zh) 一种危险化工事故中移动机器人定位与建图方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN113223045A (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
Hadviger et al. Feature-based event stereo visual odometry
Huang et al. Metric monocular localization using signed distance fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination