CN113781573B - 一种基于双目折反射全景相机的视觉里程计方法 - Google Patents

一种基于双目折反射全景相机的视觉里程计方法 Download PDF

Info

Publication number
CN113781573B
CN113781573B CN202110817522.0A CN202110817522A CN113781573B CN 113781573 B CN113781573 B CN 113781573B CN 202110817522 A CN202110817522 A CN 202110817522A CN 113781573 B CN113781573 B CN 113781573B
Authority
CN
China
Prior art keywords
camera
panoramic
binocular
panoramic camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110817522.0A
Other languages
English (en)
Other versions
CN113781573A (zh
Inventor
张裕
徐熙平
王世峰
张宁
孟锦
陈天楷
张恺霖
于子雯
李梦迪
张越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202110817522.0A priority Critical patent/CN113781573B/zh
Publication of CN113781573A publication Critical patent/CN113781573A/zh
Application granted granted Critical
Publication of CN113781573B publication Critical patent/CN113781573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于双目折反射全景相机的视觉里程计方法，属于视觉同时定位与建图和计算机视觉领域，为了解决现有技术存在的问题，该方法包括如下步骤：步骤一，对双目折反射全景相机进行标定，得到左右相机之间的外参和各自的内参矩阵。步骤二，双目折反射全景相机初始化，通过两个折反射全景相机之间的位置关系，计算特征点的深度信息。步骤三，使用左相机图像进行跟踪，随着新的全景图像传入系统，不断的输出求解出的全景相机位姿R,t和点云地图。本发明使用双目折反射全景相机可以计算出空间点的深度信息，从而得到具有尺度信息的相机位姿。在跟踪过程中更加的稳定。这种双目折反射全景相机视觉里程计方法在视觉里程计技术中的应用和推广具有重要意义。

Description

一种基于双目折反射全景相机的视觉里程计方法
技术领域
本发明属于视觉同时定位与建图(SLAM)和计算机视觉领域，特别涉及一种基于双目折反射全景相机的视觉里程计方法。
背景技术
随着计算机视觉的发展，使用相机来估计自身的六自由度运动信息在今年来成为研究的热点。
计算机视觉主要通过模拟人的视觉功能从图像中提取信息，通过对图像信息处理和计算，最终实现实际检测、测量和控制。
然而当前的视觉SLAM技术存在很多不足。当前的视觉SLAM使用的传感器视野小，采集图像信息量小，容易跟踪失败。
中国专利公开号为“CN111176300A”，专利名称为“基于SLAM导航的光伏电站运维机器人充电系统”，其机器人上设置的光场相机存在视野小，同一时刻采集图像信息量小的不足。并且，当前的全景视觉SLAM采用的传感器结构复杂，需要计算成像。
中国专利公开号为“CN112819943A”，专利名称为“一种基于全景相机的主动视觉SLAM系统”，该系统中全景相机模块是由两个鱼眼镜头和拼接单元组成，图像拼接单元用于检测并提取两个鱼眼镜头采集的两个图像的特征和关键点，匹配两个图像之间的描述符，用两幅图像的拼接才可以获得环境的全景图像。
综上所述，如何使用双目折反射全景相机完成相机的定位，得到更加精确的相机的位姿估计结果，这仍是一个亟待解决的问题。
发明内容
本发明为了解决现有技术同一时刻采集图像信息量小的不足以及用于两幅图像的拼接才可以获得环境的全景图像的问题，提出一种基于双目折反射全景相机的视觉里程计方法。
本发明采用的技术方案是：
一种基于双目折反射全景相机的视觉里程计方法，该方法包括如下步骤：
步骤一，对双目折反射全景相机进行标定，得到左右相机之间的外参和各自的内参矩阵。
步骤二，双目折反射全景相机初始化，通过两个折反射全景相机之间的位置关系，计算特征点的深度信息。
步骤三，使用左相机图像进行跟踪，随着新的全景图像传入系统，不断的输出求解出的全景相机位姿R,t和点云地图。
本发明具有以下技术效果：
1、本发明将折反射全景相机应用到视觉里程计方法，可以增加图像的信息量，用于更稳定的求解相机位姿。
2、本发明针对单目全景相机求出的位姿是没有尺度信息的问题，使用双目折反射全景相机可以计算出空间点的深度信息，从而得到具有尺度信息的相机位姿。在跟踪过程中更加的稳定，不易出现尺度漂移现象。
3、本发明使用的折反射全景相机不用拼接，可以一次性得到环视360°的图像。
这种双目折反射全景相机视觉里程计方法在视觉里程计技术中的应用和推广具有重要意义。
附图说明
图1是本发明一种基于双目折反射全景相机视觉里程计方法的流程图。
图2是本发明一种基于双目折反射全景相机视觉里程计方法的初始化模块示意图。
图3是本发明所述双目折反射全景相机球面视差图。
具体实施方式
以下结合附图对本发明的技术方案作进一步详细叙述。
一种双目折反射全景相机系统，其该系统由两个折反射全景相机和处理器构成，并在同一平面水平放置，所述的全景相机由反射面和透视相机构成，其中反射面面型为双曲面。两个相同的全景相机同时在环境中采集图像，得到双目全景图像。两个全景相机将得到的双目全景图像传输给处理器，处理器利用双目立体视觉技术得到深度信息，利用深度信息得到3D-2D的特征匹配关系。本发明方法基于该系统实现。
两个相同的全景相机同时在环境中采集图像，得到双目全景图像。使用双目折反射全景相机可以计算出空间点的深度信息，从而得到具有尺度信息的相机位姿。在跟踪过程中更加的稳定，不易出现尺度漂移现象。
所述的全景相机是一种单视点成像系统，该系统由反射面和透视相机构成，其中反射面面型为双曲面。
所述的折反射全景相机视觉里程计方法在折反射全景相机运动过程中直接计算折反射全景相机的位姿。
如图1所示，一种基于双目折反射全景相机视觉里程计方法，其包括以下步骤：
步骤一，对双目折反射全景相机进行标定，得到左右相机之间的外参和各自的内参矩阵。
步骤二，双目折反射全景相机初始化，通过两个折反射全景相机之间的位置关系，计算特征点的深度信息。
步骤三，使用左相机图像进行跟踪，随着新的全景图像传入系统，不断的输出求解出的全景相机位姿R,t和点云地图。
所述步骤一，对双目折反射全景相机进行标定，具体步骤如下：
1-1、已知标定板的参数，拍摄全景图片，进行灰度化处理，在每一帧图像中识别标定板；
1-2、根据选定好标定板所在的特征区域用Harris算子进行角点提取，根据计算得出内部参数，运用EPNE算法实验外部参数的计算；
1-3、使用Kalibr工具箱，执行标定，两个折反射全景相机之间的旋转矩阵和平移向量，在确定旋转矩阵后，通过不断优化，得到双目折反射相机的外参标定结果。
所述步骤二，如图2所示，双目折反射全景相机初始化，具体步骤如下：
2-1、分别对左全景图像和右全景图像进行特征点提取，特征点提取的主要依据是计算每一个像素与邻域的像素之间的亮度差异，若邻域像素与中心像素之间的亮度差异超过阈值的像素数量达到一个数值，则认为该像素点是关键点，然后计算该像素点的描述子。ORB特征点包含关键点和描述子两部分；
2-2、特征点匹配，通过暴力匹配算法对左右图像提取的ORB特征点进行匹配；
2-3、根据折反射全景相机的投影模型，将图像的中的特征点进行反投影到单位球上，得到单位向量，由于折反射全景相机与针孔相机的投影模型不同，针对针孔相机设计的三角化公式，和跟踪公式在折反射全景相机上都不再适用，我们的应对方式是将全景图像中提取到的特征点反投影到单位球面上来进行计算；
2-4、计算左右折反射全景相机的球面视差，并根据球面视差求得空间点深度；
步骤2-4中计算折反射全景相机的球面视差如图3所示。
空间中一点P，被两个折反射相机同时拍摄，此时连接两个球面中心点的线是基线，其长度为c1c2＝b。空间点与x轴的夹角为极角，空间点与左右相机间的极角分别为α1和α2。P点在两个球面上的视差ds被定义为两个极角对应的弧长的差：ds＝fs(α1-α2)，其中fs为球面半径，在归一化球面上时：ds＝α1-α2
计算出球面视差可以根据正弦三角公式求出空间点到左右球面的距离sl和sr：
所述步骤三，使用左相机图像进行跟踪，具体步骤如下：
3-1、将特征点反投影到单位球上，得到对应的三维向量(u,v,w)T。根据步骤二计算出的空间点深度信息，以及特征点的匹配结果，得到空间点与三维向量的匹配关系。
3-2、使用PnP对相机位姿求解。
其中(X,Y,Z,1)T是空间点的归一化坐标，T是增广矩阵[R|t]，其为3×4的矩阵，包含了旋转与平移信息。当有足够多的匹配特征点对，使用SVD分解，得到旋转矩阵R和平移向量t。
3-3、随着新的图像帧的进入，可以得到新的匹配特征点对，求解出新图像帧对应的相机位姿R和t。
通过使用双目折反射全景相机，对匹配的特征点进行反投影到球面，进行球面视差计算得到该点的深度信息，从而在折反射全景相机位姿估计过程中得到了真实的尺度信息，双目折反射全景相机的视觉里程计求解出更加精确的相机位姿。

Claims (4)

1.一种基于双目折反射全景相机视觉里程计方法，其特征是，其包括以下步骤：
步骤一，对双目折反射全景相机进行标定，得到左右相机之间的外参和各自的内参矩阵；
步骤二，双目折反射全景相机初始化，通过两个折反射全景相机之间的位置关系，计算特征点的深度信息；
步骤三，使用左相机图像进行跟踪，随着新的全景图像传入系统，不断的输出求解出的全景相机位姿R,t和点云地图；
所述步骤三，使用左相机图像进行跟踪，具体步骤如下：
3-1、将特征点反投影到单位球上，得到对应的三维向量(u,v,w)T；根据步骤二计算出的空间点深度信息，以及特征点的匹配结果，得到空间点与三维向量的匹配关系；
3-2、使用PnP对相机位姿求解；
其中(X,Y,Z,1)T是空间点的归一化坐标，T是增广矩阵[R|t]，其为3×4的矩阵，包含了旋转与平移信息；当有足够多的匹配特征点对，使用SVD分解，得到旋转矩阵R和平移向量t；
3-3、随着新的图像帧的进入，可以得到新的匹配特征点对，求解出新图像帧对应的相机位姿R和t。
2.根据权利要求1所述的一种基于双目折反射全景相机视觉里程计方法，其特征在于，所述步骤一，对双目折反射全景相机进行标定，具体步骤如下：
1-1、已知标定板的参数，拍摄全景图片，进行灰度化处理，在每一帧图像中识别标定板；
1-2、根据选定好标定板所在的特征区域用Harris算子进行角点提取，根据计算得出内部参数，运用EPNE算法实验外部参数的计算；
1-3、使用Kalibr工具箱，执行标定，两个折反射全景相机之间的旋转矩阵和平移向量，在确定旋转矩阵后，通过不断优化，得到双目折反射相机的外参标定结果。
3.根据权利要求1所述的一种基于双目折反射全景相机视觉里程计方法，其特征在于，所述步骤二，双目折反射全景相机初始化，具体步骤如下：
2-1、分别对左全景图像和右全景图像进行特征点提取，特征点提取的主要依据是计算每一个像素与邻域的像素之间的亮度差异，若邻域像素与中心像素之间的亮度差异超过阈值的像素数量达到一个数值，则认为该像素点是关键点，然后计算该像素点的描述子；ORB特征点包含关键点和描述子两部分；
2-2、特征点匹配，通过暴力匹配算法对左右图像提取的ORB特征点进行匹配；
2-3、根据折反射全景相机的投影模型，将图像的中的特征点进行反投影到单位球上，得到单位向量，由于折反射全景相机与针孔相机的投影模型不同，针对针孔相机设计的三角化公式，和跟踪公式在折反射全景相机上都不再适用，我们的应对方式是将全景图像中提取到的特征点反投影到单位球面上来进行计算；
2-4、计算左右折反射全景相机的球面视差，并根据球面视差求得空间点深度。
4.根据权利要求3所述的一种基于双目折反射全景相机视觉里程计方法，其特征在于，所述步骤2-4中计算折反射全景相机的球面视差，具体步骤如下：
空间中一点P，被两个折反射相机同时拍摄，此时连接两个球面中心点的线是基线，其长度为c1c2＝b；空间点与x轴的夹角为极角，空间点与左右相机间的极角分别为α1和α2；P点在两个球面上的视差ds被定义为两个极角对应的弧长的差：ds＝fs(α1-α2)，其中fs为球面半径，在归一化球面上时：ds＝α1-α2；
计算出球面视差可以根据正弦三角公式求出空间点到左右球面的距离sl和sr：
CN202110817522.0A 2021-07-19 2021-07-19 一种基于双目折反射全景相机的视觉里程计方法 Active CN113781573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110817522.0A CN113781573B (zh) 2021-07-19 2021-07-19 一种基于双目折反射全景相机的视觉里程计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110817522.0A CN113781573B (zh) 2021-07-19 2021-07-19 一种基于双目折反射全景相机的视觉里程计方法

Publications (2)

Publication Number Publication Date
CN113781573A CN113781573A (zh) 2021-12-10
CN113781573B true CN113781573B (zh) 2024-04-23

Family

ID=78836194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110817522.0A Active CN113781573B (zh) 2021-07-19 2021-07-19 一种基于双目折反射全景相机的视觉里程计方法

Country Status (1)

Country Link
CN (1) CN113781573B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456124B (zh) * 2023-12-26 2024-03-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109443320A (zh) * 2019-01-10 2019-03-08 轻客小觅智能科技（北京）有限公司 基于直接法和线特征的双目视觉里程计及测量方法
KR20200014858A (ko) * 2018-06-07 2020-02-11 우이시 테크놀로지스 (베이징) 리미티드. 위치 측정 및 동시 지도화 방법 및 장치
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
KR20200014858A (ko) * 2018-06-07 2020-02-11 우이시 테크놀로지스 (베이징) 리미티드. 위치 측정 및 동시 지도화 방법 및 장치
CN109443320A (zh) * 2019-01-10 2019-03-08 轻客小觅智能科技（北京）有限公司 基于直接法和线特征的双目视觉里程计及测量方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双曲面折反射相机的柱面全景立体成像;曾吉勇;苏显渝;金国藩;;光电子.激光(06);全文 *

Also Published As

Publication number Publication date
CN113781573A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN108734744B (zh) 一种基于全站仪的远距离大视场双目标定方法
CN109993793B (zh) 视觉定位方法及装置
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN106920276B (zh) 一种三维重建方法和系统
CN111127540B (zh) 一种三维虚拟空间自动测距方法及系统
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN111220126A (zh) 一种基于点特征和单目相机的空间物体位姿测量方法
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
CN112634379A (zh) 一种基于混合视域光场的三维定位测量方法
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN113781573B (zh) 一种基于双目折反射全景相机的视觉里程计方法
CN112150518A (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
Sun et al. A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines
CN116128966A (zh) 一种基于环境物体的语义定位方法
TWM594322U (zh) 全向立體視覺的相機配置系統
JP3221384B2 (ja) 三次元座標計測装置
CN114972539A (zh) 机房相机平面在线标定方法、系统、计算机设备和介质
CN110766752B (zh) 一种带反光标志点的虚拟现实交互眼镜及空间定位方法
CN107478227B (zh) 交互式大型空间的定位算法
Zhang et al. Passive 3D reconstruction based on binocular vision
Ballestin et al. Assessment of optical see-through head mounted display calibration for interactive augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant