CN111145267B - 基于imu辅助的360度全景视图多相机标定方法 - Google Patents
基于imu辅助的360度全景视图多相机标定方法 Download PDFInfo
- Publication number
- CN111145267B CN111145267B CN201911358331.1A CN201911358331A CN111145267B CN 111145267 B CN111145267 B CN 111145267B CN 201911358331 A CN201911358331 A CN 201911358331A CN 111145267 B CN111145267 B CN 111145267B
- Authority
- CN
- China
- Prior art keywords
- camera
- imu
- relation
- cameras
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及车辆、系统定位技术领域,具体公开了一种基于IMU辅助的360度全景视图多相机标定方法,包括如下步骤,步骤1,对相机和IMU进行固联,组成IMU辅助的360度全景视图系统;步骤2,将IMU辅助的360度全景视图系统与小车组建成实验平台;步骤3,对IMU和相机安装的相对位置关系进行标定。本发明利用惯导进行姿态解算和杆臂误差的标定,得到两两相机之间的姿态关系和安装关系,从而完成整个系统的标定工作。
Description
技术领域
本发明涉及车辆、系统定位技术领域。
背景技术
在基于车载的辅助系统中,为了对鱼眼图像的畸变进行校正,使其符合人眼的观测习惯,还原真实的场景信息,需要获取相机的参数和不同相机之间的位置关系,这一过程被称为多相机的联合标定。
在计算机视觉领域中,相机标定是进行位姿估计、三维重建、视觉导航与定位等研究的关键技术之一。针对不同的应用会对相机采用不同的布设方式,从而采用不同的相机标定方法。相机标定主要分为内参标定和外参标定两部分。针对相机外参数的标定,国内外学者根据不同的应用场景和思路对其进行了广泛研究,获得了一系列的研究成果。
(1)一种利用多个小标定板的多相机外参数标定方法:首先,利用张正友法标定各相机内参数;然后,利用全站仪测得小标定板的相对位置关系,将小标定板统一到同一坐标系下,整合为一个大标定板,分别计算各相机相对整合后标定板的位姿关系;最后统一坐标系得到多相机之间的外参数。该方法过程复杂需要依靠全站仪等专业工具,操作复杂。
(2)一种多相机视觉测量系统的全局标定方法:提出了一种基于双平面靶标的多相机全局标定方法,要求两靶标之间为刚性联接,绕同一根轴旋转,但它们之间的相对位姿关系可以是未知的。该方法不仅适用于立体视觉测量系统,也适用于基于单目视觉的多相机测量系统。该方法默认两靶标刚性连接,实际工程应用中难以实现,误差较大。
(3)基于圆点阵列的多相机外部参数标定:提出了一种基于圆点内具有数字标记的全局标定方法。其关键步骤包括:首先在标定板的某些圆内用数字做标记,并记下带有标记的圆点的物理坐标,然后通过模板匹配的方法快速找到标记有特殊数字的圆点,通过2D仿射变换将图像坐标转换成工作台物理坐标。该方法需要提前对标定板进行标记,而且易受到环境影响,精度较低。
多相机在360度全景视图中有丰富的应用,特别是在自动泊车中具有重要应用。然而多相机的安装位置和相对姿态对后端的图像拼接和姿态解算有重大影响,对系统的精度起到决定作用。
发明内容
本发明的目的在于提供一种基于IMU辅助的360度全景视图多相机标定方法。
为了达到上述目的,本发明的基础方案提供一种基于IMU辅助的360度全景视图多相机标定方法,包括如下步骤,
步骤1,对相机和IMU进行固联,组成IMU辅助的360度全景视图系统;
步骤2,将IMU辅助的360度全景视图系统与小车组建成实验平台;
步骤3,对IMU和相机安装的相对位置关系进行标定,分为如下步骤进行:
第一步,启动系统;
第二步,通过相机获得图像数据,从而计算当前姿态信息;
第三步,在第二步同时,获取IMU的数据,从而计算当前姿态信息;
第四步,将IMU和相机两两进行姿态融合,得到相对姿态;
第五步,根据两两之间的相对姿态关系,得到相机和相机之间的相对姿态关系;
步骤4,完成对IMU和相机安装的相对位置关系的标定。
进一步,当相机数量为单个相机时,标定方法设计步骤如下:
(1)由于单目相机可以跟踪系统的位姿,所以通过对极几何约束和随机采样一致性检测两帧图像之间的相对旋转
(2)对IMU陀螺仪测量的角速度进行积分,得到IMU坐标系下的相对旋转
(3)根据步骤(1)和步骤(2),可以得到:
将式(5)用四元数表示:
权值可由下式得到:
进一步,当相机数量为三个时,多相机融合的标定方法设计步骤如下:
(1)根据惯导和单个相机的标定结果,分别进行三次,得到惯导和每个相机的两两安装关系TCnB,其中n取1、2、3,表示的是单个相机;
(2)根据公式1的两两关系,可以得到相机之间的安装关系,具体计算公式如下所示:
由(6)和(7)两个式子可得到如下(9)和(10)两个式子:
由于相机和惯导的相对姿态矩阵都可以由第一步计算出来,因此可以得到相机1和相机2之间的安装关系,同理可得到相机2和相机3之间的安装关系。
本发明的优点如下:
(1)本发明利用惯导进行姿态解算和杆臂误差的标定,得到两两相机之间的姿态关系和安装关系,从而完成整个系统的标定工作。
(2)系统将惯导和相机进行固联(固定了解即可,不需要考虑两者之间的安装关系和姿态关系),操作方便,能够有效完成两者之间的标定工作,具有重要的工业前景和指导意义。
(3)该技术具有自成体系,抗干扰强,标定精度高等优点,在智能驾驶、自动泊车等领域都有很重要的应用价值。
附图说明
图1为本发明一种基于IMU辅助的360度全景视图多相机标定方法的标定方法流程图。
具体实施方式
下面通过具体实施方式进一步详细的说明:
实施例一:
如图1所示,一种基于IMU辅助的360度全景视图多相机标定方法,包括如下步骤,
包括如下步骤,
步骤1,对相机和IMU进行固联,组成IMU辅助的360度全景视图系统;由于相机和IMU在载体运动中,容易产生松动,连接不稳定等问题,首先需要对相机和IMU进行固联,保证两者之间的安装关系不会发生变化,然后在对IMU和相机安装的相对位置关系进行标定,为后端导航提高有效的位置关系,相机为单目相机。
步骤2,将IMU辅助的360度全景视图系统与小车组建成实验平台;
步骤3,对IMU和相机安装的相对位置关系进行标定,分为如下步骤进行:
第一步,启动系统;
第二步,通过相机获得图像数据,从而计算当前姿态信息;
第三步,在第二步同时,获取IMU的数据,从而计算当前姿态信息;具体如下:
对单目相机-IMU外参自动标定的初始化算法进行详细的阐述,本方法可以在不知道传感器机械结构信息的情况下,标定单目相机-IMU外参TCB。
因为单目相机可以跟踪系统的位姿,通过对极几何约束和随机采样一致性(random sample consensus,RANSAC)检测两帧图像之间的相对旋转另外,可以对IMU陀螺仪测量的角速度进行积分,得到IMU坐标系下的相对旋转/>
通过图像姿态解算获得的姿态结果,IMU同时获得姿态信息。多相机融合的标定方法设计步骤如下:
(1)根据惯导和单个相机的标定结果,分别进行三次,得到惯导和每个相机的两两安装关系其中n取1、2、3,表示的是单个相机。
(2)根据公式1的两两关系,可以得到相机之间的安装关系,具体计算公式如下所示:
其中两帧图像之间的相对旋转表示的是惯导的旋转矩阵,/>n取1、2、3分别表示的是每一个相机的旋转矩阵,RnBC,分别表示的是单个相机和IMU的相对矩阵。由(6)和(7)两个式子可得到如下(9)和(10)两个式子:
第四步,将IMU和相机两两进行姿态融合,得到相对姿态;
第五步,根据两两之间的相对姿态关系,得到相机和相机之间的相对姿态关系;由于相机和惯导的相对姿态矩阵都可以由第一步计算出来,因此可以得到相机1和相机2之间的安装关系。同理可得到相机2和相机3之间的安装关系。
步骤4,完成对IMU和相机安装的相对位置关系的标定。
实施例二与实施例一的区别仅在于:本实施例为单相机定位方法,第三步,在第二步同时,获取IMU的数据,从而计算当前姿态信息;具体如下:
对单目相机-IMU外参自动标定的初始化算法进行详细的阐述,本方法可以在不知道传感器机械结构信息的情况下,标定单目相机-IMU外参TCB。
因为单目相机可以跟踪系统的位姿,通过对极几何约束和随机采样一致性(random sample consensus,RANSAC)检测两帧图像之间的相对旋转另外,可以对IMU陀螺仪测量的角速度进行积分,得到IMU坐标系下的相对旋转/>根据标定方法,可以得到:
将式(5)用四元数表示:
式中:[.]L和[.]R表示四元数的左乘矩阵和右乘矩阵变换。对于时间上连续的图像帧,可以建立线性超定方程:
式中:N表示外参旋转矩阵qBC收敛时,所使用的图像帧数量;αN-1,N为处理外点对系统干扰的权值。因为外参旋转矩阵估计值RBC可以迭代计算,使用其计算残差:
权值可由下式得到:
式中:t0为设定的阈值。式(3)的解为QN最小奇异值对应的特征向量。当外参旋转矩阵标定被充分激励时,QN的零空间会成为一维。本文使用QN的次小奇异值σ2来判断算法的收敛性。当σ2大于阈值σthr时,外参旋转矩阵标定完成,得到相对旋转矩阵。
以上所述的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此未作过多描述。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (2)
1.基于IMU辅助的360度全景视图多相机标定方法,其特征在于:包括如下步骤,
步骤1,对相机和IMU进行固联,组成IMU辅助的360度全景视图系统;
步骤2,将IMU辅助的360度全景视图系统与小车组建成实验平台;
步骤3,对IMU和相机安装的相对位置关系进行标定,分为如下步骤进行:
第一步,启动系统;
第二步,通过相机获得图像数据,从而计算当前姿态信息;
第三步,在第二步同时,获取IMU的数据,从而计算当前姿态信息;
第四步,将IMU和相机两两进行姿态融合,得到相对姿态;
第五步,根据两两之间的相对姿态关系,得到相机和相机之间的相对姿态关系;
步骤4,完成对IMU和相机安装的相对位置关系的标定;
具体的,当相机数量为三个时,多相机融合的标定方法设计步骤如下:
(1)所述相机为单目相机,根据惯导和单个相机的标定结果,分别进行三次,得到惯导和每个相机的两两安装关系其中n取1、2、3,表示的是单个相机;
(2)根据公式1的两两关系,可以得到相机之间的安装关系,具体计算公式如下所示:
由(6)和(7)两个式子可得到如下(9)和(10)两个式子:
由于相机和惯导的相对姿态矩阵都可以由第一步计算出来,因此可以得到相机1和相机2之间的安装关系,同理可得到相机2和相机3之间的安装关系;
其中R1BC为相机1与辅助IMU之间的外参关系,为相机1在i+1时刻与初始时刻的位姿变换关系,R2BC为相机2与辅助IMU之间的外参关系,/>为相机2在i+1时刻与初始时刻的位姿变换关系,R3BC为相机3与辅助IMU之间的外参关系,/>为相机3在i+1时刻与初始时刻的位姿变换关系。
2.根据权利要求1所述的基于IMU辅助的360度全景视图多相机标定方法,其特征在于:以IMU为辅助传感器,实现多相机标定,其中每一个相机都需要与IMU单独进行标定,标定方法设计步骤如下:
(1)所述相机为单目相机,由于单目相机可以跟踪系统的位姿,所以通过对极几何约束和随机采样一致性检测两帧图像之间的相对旋转
(2)对IMU陀螺仪测量的角速度进行积分,得到IMU坐标系下的相对旋转
(3)根据步骤(1)和步骤(2),可以得到:
将式(1)用四元数表示:
权值可由下式得到:
其中RBC为相机与IMU之间的位姿转换关系,为IMU在i+1时刻与初始时刻位姿变换关系的四元数表达形式,qBC为RBC的四元数变换,/>为相机在i+1时刻与i时刻相邻两帧的位姿变换关系的四元数表达形式,αN-1,N为处理外点对系统干扰的权值,QN-1,N为相邻两帧回环检测的四元数表达形式,QN为最小奇异值对应的特征向量,t0为设定的阈值,ri,i+1为相邻两帧数据之间位姿变换通过回环检测得到的残差值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911358331.1A CN111145267B (zh) | 2019-12-25 | 2019-12-25 | 基于imu辅助的360度全景视图多相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911358331.1A CN111145267B (zh) | 2019-12-25 | 2019-12-25 | 基于imu辅助的360度全景视图多相机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145267A CN111145267A (zh) | 2020-05-12 |
CN111145267B true CN111145267B (zh) | 2023-09-05 |
Family
ID=70520040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911358331.1A Active CN111145267B (zh) | 2019-12-25 | 2019-12-25 | 基于imu辅助的360度全景视图多相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145267B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111739102B (zh) * | 2020-05-27 | 2023-07-21 | 杭州易现先进科技有限公司 | 电子设备的内外参标定方法、装置和计算机设备 |
CN112284421B (zh) * | 2020-11-02 | 2021-03-19 | 蘑菇车联信息科技有限公司 | 一种imu内参调整方法及相关装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2011201189A1 (en) * | 2010-03-16 | 2011-10-06 | The University Of Sydney | Vehicle localization in open-pit mining using GPS and monocular camera |
CN203126621U (zh) * | 2013-03-14 | 2013-08-14 | 武汉大学 | 一种车载三维激光与全景影像测量系统 |
CN105096284A (zh) * | 2014-05-04 | 2015-11-25 | 北京四维图新科技股份有限公司 | 一种生成道路正射投影图像的方法、装置及系统 |
CN106705964A (zh) * | 2017-01-06 | 2017-05-24 | 武汉大学 | 全景相机融合imu、激光扫描仪定位与导航系统及方法 |
CN106780629A (zh) * | 2016-12-28 | 2017-05-31 | 杭州中软安人网络通信股份有限公司 | 一种三维全景数据采集、建模方法 |
CN107341831A (zh) * | 2017-07-06 | 2017-11-10 | 青岛海通胜行智能科技有限公司 | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 |
CN108663043A (zh) * | 2018-05-16 | 2018-10-16 | 北京航空航天大学 | 基于单个相机辅助的分布式pos主子节点相对位姿测量方法 |
CN108717712A (zh) * | 2018-05-29 | 2018-10-30 | 东北大学 | 一种基于地平面假设的视觉惯导slam方法 |
CN109596121A (zh) * | 2019-01-09 | 2019-04-09 | 南京师范大学 | 一种机动站自动目标检测与空间定位方法 |
CN109764880A (zh) * | 2019-02-19 | 2019-05-17 | 中国科学院自动化研究所 | 紧耦合车辆轮子编码器数据的视觉惯性测程方法及系统 |
EP3506203A1 (en) * | 2017-12-29 | 2019-07-03 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for fusing point cloud data technical field |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8698875B2 (en) * | 2009-02-20 | 2014-04-15 | Google Inc. | Estimation of panoramic camera orientation relative to a vehicle coordinate frame |
-
2019
- 2019-12-25 CN CN201911358331.1A patent/CN111145267B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2011201189A1 (en) * | 2010-03-16 | 2011-10-06 | The University Of Sydney | Vehicle localization in open-pit mining using GPS and monocular camera |
CN203126621U (zh) * | 2013-03-14 | 2013-08-14 | 武汉大学 | 一种车载三维激光与全景影像测量系统 |
CN105096284A (zh) * | 2014-05-04 | 2015-11-25 | 北京四维图新科技股份有限公司 | 一种生成道路正射投影图像的方法、装置及系统 |
CN106780629A (zh) * | 2016-12-28 | 2017-05-31 | 杭州中软安人网络通信股份有限公司 | 一种三维全景数据采集、建模方法 |
CN106705964A (zh) * | 2017-01-06 | 2017-05-24 | 武汉大学 | 全景相机融合imu、激光扫描仪定位与导航系统及方法 |
CN107341831A (zh) * | 2017-07-06 | 2017-11-10 | 青岛海通胜行智能科技有限公司 | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 |
EP3506203A1 (en) * | 2017-12-29 | 2019-07-03 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for fusing point cloud data technical field |
CN108663043A (zh) * | 2018-05-16 | 2018-10-16 | 北京航空航天大学 | 基于单个相机辅助的分布式pos主子节点相对位姿测量方法 |
CN108717712A (zh) * | 2018-05-29 | 2018-10-30 | 东北大学 | 一种基于地平面假设的视觉惯导slam方法 |
CN109596121A (zh) * | 2019-01-09 | 2019-04-09 | 南京师范大学 | 一种机动站自动目标检测与空间定位方法 |
CN109764880A (zh) * | 2019-02-19 | 2019-05-17 | 中国科学院自动化研究所 | 紧耦合车辆轮子编码器数据的视觉惯性测程方法及系统 |
Non-Patent Citations (1)
Title |
---|
石丽梅 ; 赵红蕊 ; 李明海 ; 付罡 ; 李聪 ; .车载移动测图系统外方位元素标定方法.测绘学报.2015,(01),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111145267A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN106679648B (zh) | 一种基于遗传算法的视觉惯性组合的slam方法 | |
CN108534782B (zh) | 一种基于双目视觉系统的地标地图车辆即时定位方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
JP6165745B2 (ja) | 車載搭載型のコンピュータ・ベース視覚システムの校正方法 | |
CN107300382B (zh) | 一种用于水下机器人的单目视觉定位方法 | |
CN110969665B (zh) | 一种外参标定方法、装置、系统及机器人 | |
CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统 | |
CN104281148A (zh) | 基于双目立体视觉的移动机器人自主导航方法 | |
CN111145267B (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
CN113870366B (zh) | 基于位姿传感器的三维扫描系统的标定方法及其标定系统 | |
CN113724337B (zh) | 一种无需依赖云台角度的相机动态外参标定方法及装置 | |
CN116205947A (zh) | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 | |
CN111415375A (zh) | 一种基于多鱼眼摄像机和双针孔投影模型的slam方法 | |
CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
Kim et al. | Visual odometry for non-overlapping views using second-order cone programming | |
Kunz et al. | Stereo self-calibration for seafloor mapping using AUVs | |
CN112857328B (zh) | 一种无标定摄影测量方法 | |
CN111459176B (zh) | 车自动充电定位控制方法、标定方法及车辆姿态计算方法 | |
CN113240597A (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
JP2016017913A (ja) | 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム | |
CN111699445B (zh) | 机器人运动学模型优化方法、系统和存储装置 | |
CN107330862B (zh) | 基于四元数的两个独立系统坐标系之间的转换方法 | |
CN109712200A (zh) | 一种基于最小二乘原理及边长推算的双目定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |