CN113628279B - 一种全景视觉slam建图方法 - Google Patents
一种全景视觉slam建图方法 Download PDFInfo
- Publication number
- CN113628279B CN113628279B CN202110861457.1A CN202110861457A CN113628279B CN 113628279 B CN113628279 B CN 113628279B CN 202110861457 A CN202110861457 A CN 202110861457A CN 113628279 B CN113628279 B CN 113628279B
- Authority
- CN
- China
- Prior art keywords
- image
- panoramic
- key frame
- lon
- lat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 238000006073 displacement reaction Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G06T3/047—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种全景视觉SLAM建图方法，目的是提高视觉SLAM建图的精度和效率，涉及全景视觉图像技术领域，包括以下步骤：全景摄像机标定，将全景图和空间转化为理想球面成像模型；通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；通过运动姿态估计，对全景图像序列进行姿态矫正；对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配；通过对相机位移进行估计和对空间特征点进行定位实现局部建图；进行回环检测，实现全局建图优化，实现了高精度高效率的全景视觉SLAM方法。
Description
技术领域
本发明涉及全景视觉图像技术领域，具体涉及一种全景视觉SLAM建图方法。
背景技术
全景视频是一种新兴的数据形态，特别是全景720°随着监控安防以及VR行业的发展，各个行业的全景数据量也急剧增长。同时定位与地图构建SLAM是目前视觉空间感知领域一个重要的技术实现方式，通过对视觉的原始数据采集，可以通过图像数据特征处理提取获得画面内容深度信息并通过定位和地图构建实现机器人自主导航环境感知的目的。
视觉SLAM研究主要分为三大类：单目、双目或多目、RGBD。另外通过结合惯性测量器件IMU的视觉SLAM也是现在研究应用的重要方向。这些主流SLAM架构采用传统框幅式的相机或摄像机作为视觉信息获取装备。传统的单目SLAM视场狭窄，视觉尺度估计精度需要特定的扫描路径来满足；传统双目SLAM视差同样比较狭窄，容易造成局部成像区域信息较少时相关信息跟踪匹配丢失，故而有低精度低效率的缺点，故而传统的纯视觉的SLAM方法在实际应用过程中受到很大限制。
发明内容
本发明公开了一种全景视觉SLAM建图方法，目的是提高视觉SLAM建图的精度和效率。
为了实现以上目的，本发明采取以下方案：
一种全景视觉SLAM建图方法，包括以下步骤：
步骤S1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
步骤S2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；
步骤S3：通过3D-2D图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；
步骤S4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；
步骤S5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；
步骤S6：进行回环检测，实现全局建图优化。
优选地，所述步骤S1中，所述将全景图像转化为理想球面成像模型的方法为，将所述全景图上的所有点P(x，y)转化为理想球面上的点P′(lon，lat)：
所述将空间转化到理想球面成像模型的方法为，将空间中的所有点转化为理想球面上的点p′(lon，lat)：
其中，width为图像宽度，height为图像高度，fθ，/>cθ由摄像机固有参数标定。
优选地，所述步骤S2中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点P1(x1，y1)转换为理想球面上的点P1′(lon，lat)：
其中，width为图像宽度，height为图像高度。
优选地，所述步骤S3中，所述运动姿态估计的方法为：
所述理想球面上的点P’(lon0，lat0)经过图像转动得到P’(lon1，lat1)，P’(lon1，lat1)与P’(lon0，lat0)进行图像特征点跟踪或特征点匹配，采用最小二乘法或梯度下降法或牛顿法得到转动矩阵R1。
优选地，所述步骤S5中，所述对相机位移进行估计和对空间特征点进行定位的方法采用三角定位法。
优选地，所述步骤S6中，所述回环检测的方法为，将一个关键帧作为当前关键帧与前一个关键帧进行匹配，匹配方法为：两个关键帧之间的多个帧为间隔帧，依次计算每个间隔帧距离前一帧的位移求和得到两个关键帧经过多个间隔帧之间的累计位移Tn，计算直接匹配两个关键帧得到的位移Tm，Tn和Tm的差值代表误差。
本发明的有益效果如下：本发明通过全景的图像采集，对图像的连续性可以进行精准的姿态估计，从而获得漂移更小的运动估计，提升视觉SLAM系统建图精度和效率；进行cube表达可以消除全景屏幕图像中畸变显示造成的特征点检测误差；采用最小二乘法或梯度下降法或牛顿法进行姿态估计也具有很高的准确性；最后还通过回环检测确定建图的准确性，对精确度有更进一步的保障。
附图说明
图1为实施例1的流程示意图；
图2为实施例1中全景图像转化为理想球面成像模型的结构示意图；
图3为实施例1中图像经过旋转的结构示意图；
图4为实施例1中对特征点位置估计的示意图。
具体实施方式
实施例1
参阅图1，一种全景视觉SLAM建图方法，包括以下步骤：
步骤S1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
在步骤S1中，将全景图像转化为理想球面成像模型的方法为，参阅图2，将所述全景图上的所有点P(x，y)按照以下公式转化为理想球面上的点P′(lon，lat)：
所述将空间转化到理想球面成像模型的方法为，将空间中的所有点按照以下公式转化为理想球面上的点p′(lon，lat)：
其中，width为图像宽度，height为图像高度，fθ，/>cθ由摄像机固有参数标定即在全景相机标定中完成该参数的标定。
步骤S2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；其中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点P1(x1，y1)转换为理想球面上的点P1′(lon，lat)：
其中，width为图像宽度，height为图像高度。
步骤S3：通过3D-2D图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；在这一步中，本实施例采取的运动姿态估计的方法为：
图像经过旋转产生了姿态变化，转动矩阵为R1，所述理想球面上的点P’(lon0，lat0)经过图像转动得到P’(lon1，lat1)，P’(lon1，lat1)与P’(lon0，lat0)进行图像特征点跟踪或特征点匹配；特别说明的是，在本实施例中，图像特征点跟踪采用Lucas-Kanade光流来实现，通过对特征点进行关键点提取，特征可选用ORB、SURF、SIFT等特征进行关键点提取。图像特征点匹配过程在特征关键点提取后，再对关键点进行描述子计算得到描述子向量，通过计算描述子向量空间距离得到匹配的特征点点对。
另外，姿态估计是通过3D-2D转动姿态估计来实现，参阅图3，旋转前后的点有以下关系：
其中，P′10为P′00经过R1旋转后对应的点，，P′11为P′01经过R1旋转后对应的点，以此类推，P′1m为P′0m经过R1旋转后对应的点。通过两帧图像中获取特征点对最优化转动矩阵R1，即可得到摄像机在当前帧姿态转动估计，最优化方法可以使用最小二乘法、梯度下降法、牛顿法等。
步骤S4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；需要说明的是，两个关键帧之间的帧称为间隔帧，每个间隔帧由前一关键帧通过特征点跟踪来标识对应帧姿态；
步骤S5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；在本实施例中，对相机位移进行估计和对空间特征点进行定位的方法采用三角定位法；如图4所示，通过不同的位置C1-C4对特征位置点T1和T2进行定位计算估计出摄像机位移即特征点空间位置，即可完成局部建图。
步骤S6：进行回环检测，实现全局建图优化；在这里采用的回环检测的方法为，将一个关键帧作为当前关键帧与前一个关键帧进行匹配，匹配方法为：两个关键帧之间的多个帧为间隔帧，依次计算每个间隔帧距离前一帧的位移求和得到两个关键帧经过多个间隔帧之间的累计位移Tn和累计旋转矩阵Rn，计算直接匹配两个关键帧得到的位移Tm和旋转矩阵Rm，Tn和Tm以及Rn和Rm的差值代表误差；
例如两个关键帧之间经过了n个间隔帧，则进行累计计算的方法如下：
Tn＝T10+T11+…T1n；
Rn＝R10·R11…R1n；
其中T10、T11、…T1n分别为从第一个间隔帧到当前关键帧中每一个帧相对于前一帧的位移；R10、R11、…R1n分别为从第一个间隔帧到当前关键帧中每一个帧相对于前一帧的旋转矩阵。累计计算所得的Tn和Rn应当分别与直接匹配得到的Tm和Rm的值相同，但是由于误差存在，可以在实施过程中根据图像的实际情况设定误差阈值对精度进行评估，误差超过阈值则可以重新进行优化处理，通过优化进一步提升全局建图的精度。
Claims (6)
1.一种全景视觉SLAM建图方法，其特征在于，包括以下步骤：
步骤S1：全景摄像机标定，将全景图和空间转化为理想球面成像模型；
步骤S2：通过cube表达将全景平面画面投影成六面体平面图像，将六面体平面图像转化为理想球面成像模型，进行特征点匹配；
步骤S3：通过3D-2D图像姿态估计实现运动姿态估计，对全景图像序列进行姿态矫正；
步骤S4：对全景图像序列进行图像特征点跟踪，当特征点跟踪失效或图像满足其他关键帧选取条件时，更新最终关键帧并进行关键帧特征匹配，关键帧的作用为标识当前帧的姿态信息；
步骤S5：通过对相机位移进行估计和对空间特征点进行定位实现局部建图；
步骤S6：进行回环检测，实现全局建图优化。
2.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S1中，所述将全景图像转化为理想球面成像模型的方法为，将所述全景图上的所有点P(x,y)转化为理想球面上的点P'(lon,lat)：
所述将空间转化到理想球面成像模型的方法为，将空间中的所有点转化为理想球面上的点p'(lon,lat)：
其中，width为图像宽度，height为图像高度，fθ,/>cθ由摄像机固有参数标定。
3.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S2中，将所述六面体平面图像转化为理想球面成像模型的方法为，将六面体平面图像上的所有点P1(x1,y1)转换为理想球面上的点P1'(lon,lat)：
其中，width为图像宽度，height为图像高度。
4.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S3中，所述运动姿态估计的方法为：
所述理想球面上的点P’(lon0,lat0)经过图像转动得到P’(lon1,lat1)，将旋转后的点P’(lon1,lat1)与P’(lon0,lat0)进行图像特征点跟踪或特征点匹配，采用最小二乘法或梯度下降法或牛顿法得到转动矩阵R1。
5.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S5中，所述对相机位移进行估计和对空间特征点进行定位的方法采用三角定位法。
6.根据权利要求1所述的一种全景视觉SLAM建图方法，其特征在于，所述步骤S6中，所述回环检测的方法为，将一个关键帧作为当前关键帧与前一个关键帧进行匹配，匹配方法为：两个关键帧之间的多个帧为间隔帧，依次计算每个间隔帧距离前一帧的位移求和得到两个关键帧经过多个间隔帧之间的累计位移Tn，计算直接匹配两个关键帧得到的位移Tm，Tn和Tm的差值代表误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110861457.1A CN113628279B (zh) | 2021-07-29 | 2021-07-29 | 一种全景视觉slam建图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110861457.1A CN113628279B (zh) | 2021-07-29 | 2021-07-29 | 一种全景视觉slam建图方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113628279A CN113628279A (zh) | 2021-11-09 |
| CN113628279B true CN113628279B (zh) | 2023-10-31 |
Family
ID=78381499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110861457.1A Active CN113628279B (zh) | 2021-07-29 | 2021-07-29 | 一种全景视觉slam建图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113628279B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
| CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
| CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
| CN110782494A (zh) * | 2019-10-16 | 2020-02-11 | 北京工业大学 | 一种基于点线融合的视觉slam方法 |
| CN112419497A (zh) * | 2020-11-13 | 2021-02-26 | 天津大学 | 基于单目视觉的特征法与直接法相融合的slam方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9674507B2 (en) * | 2013-04-30 | 2017-06-06 | Qualcomm Incorporated | Monocular visual SLAM with general and panorama camera movements |
| US9390344B2 (en) * | 2014-01-09 | 2016-07-12 | Qualcomm Incorporated | Sensor-based camera motion detection for unconstrained slam |
| JP6464934B2 (ja) * | 2015-06-11 | 2019-02-06 | 富士通株式会社 | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム |
| CN108876926B (zh) * | 2017-05-11 | 2021-08-10 | 京东方科技集团股份有限公司 | 一种全景场景中的导航方法及系统、ar/vr客户端设备 |
-
2021
- 2021-07-29 CN CN202110861457.1A patent/CN113628279B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109307508A (zh) * | 2018-08-29 | 2019-02-05 | 中国科学院合肥物质科学研究院 | 一种基于多关键帧的全景惯导slam方法 |
| CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
| CN110070615A (zh) * | 2019-04-12 | 2019-07-30 | 北京理工大学 | 一种基于多相机协同的全景视觉slam方法 |
| CN110782494A (zh) * | 2019-10-16 | 2020-02-11 | 北京工业大学 | 一种基于点线融合的视觉slam方法 |
| CN112419497A (zh) * | 2020-11-13 | 2021-02-26 | 天津大学 | 基于单目视觉的特征法与直接法相融合的slam方法 |
Non-Patent Citations (1)
| Title |
|---|
| 融合直接法与特征法的快速双目SLAM算法;张国良;姚二亮;林志林;徐慧;;机器人(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113628279A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717712B (zh) | 一种基于地平面假设的视觉惯导slam方法 | |
| CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
| CN111024066B (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
| CN106679648B (zh) | 一种基于遗传算法的视觉惯性组合的slam方法 | |
| CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
| CN110807809B (zh) | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 | |
| CN109544630B (zh) | 位姿信息确定方法和装置、视觉点云构建方法和装置 | |
| CN108052103B (zh) | 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
| WO2020140431A1 (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| EP3786891A1 (en) | Method and system for visual localization based on dual dome cameras | |
| CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
| CN112184824A (zh) | 一种相机外参标定方法、装置 | |
| KR100951309B1 (ko) | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 | |
| CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
| WO2023083256A1 (zh) | 位姿显示方法、装置及系统、服务器以及存储介质 | |
| JP2006234703A (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| CN113516692A (zh) | 一种多传感器融合的slam方法和装置 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| CN111105467A (zh) | 一种图像标定方法、装置及电子设备 | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| Huttunen et al. | A monocular camera gyroscope | |
| CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |