CN111210478A - 一种无共同视野多相机系统外参标定方法、介质及系统 - Google Patents

一种无共同视野多相机系统外参标定方法、介质及系统 Download PDF

Info

Publication number
CN111210478A
CN111210478A CN201911407244.0A CN201911407244A CN111210478A CN 111210478 A CN111210478 A CN 111210478A CN 201911407244 A CN201911407244 A CN 201911407244A CN 111210478 A CN111210478 A CN 111210478A
Authority
CN
China
Prior art keywords
camera
aruco
calibrated
marker
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911407244.0A
Other languages
English (en)
Other versions
CN111210478B (zh
Inventor
冯明驰
刘奕博
姜盼盼
王字朋
高小倩
卜川夏
岑明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911407244.0A priority Critical patent/CN111210478B/zh
Publication of CN111210478A publication Critical patent/CN111210478A/zh
Application granted granted Critical
Publication of CN111210478B publication Critical patent/CN111210478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明请求保护一种无共同视野多相机系统外参标定方法、介质及系统,包括以下步骤:1.固定ID唯一的ArUco标记于待标定相机机身,借助辅助相机,获取待标定相机与自身ArUco标记之间的外参;2.利用基于ArUco标记的SLAM系统,完成对ArUco标记的建图,获得ArUco标记之间的外参;3.利用已获得的待标定相机与ArUco标记间的外参、ArUco标记间的外参,求取待标定相机之间的外参,完成标定过程。本发明的关键在于将待标定相机视为SLAM系统中的地图点,间接求取待标定相机外参的这一过程。本发明在标定过程中的特点是,适用于多种标定场景,对多台无共同视野的相机进行标定,克服了常规多相机系统标定方法对多台相机的分布的限制,标定方法简单易用,准确性高。

Description

一种无共同视野多相机系统外参标定方法、介质及系统
技术领域
本发明属于工业监测与汽车辅助驾驶领域,具体涉及到一种无共同视野多相机系统外参标定方法。
背景技术
随着电子技术、计算机技术和人工智能的迅速发展,传感器生产成本的大幅下降,计算机视觉已经取得了长足的进步。与传统技术相比,计算机视觉通常利用视觉传感器,完成一些特定的任务。比如工业上利用多相机网络进行数据采集,进行非接触检测或者安全监控;在汽车电子领域利用安装在各个方向上的相机进行环境感知等。但是,在许多情况下,多相机系统无法覆盖整个环境或者保证视图的重叠,在不知道多相机网络中各相机之间外参的情况下,无法充分利用相机之间的空间关系,造成相机感知信息的缺失,不能充分发挥多相机系统的优越性。为了能够充分利用这种多相机系统的优点,必须要对多相机网络中的相机进行外参标定。然后,从单个摄像机中提取的信息可以被合并并引用到一个公共的坐标系下,完成测量、重建、检测等任务。
多相机系统的外参标定方法通常有两种,基于标定物的标定方法以及自标定方法。基于标定物的标定方法是指,标定物的某些空间特征、尺寸等一些几何信息已知,利用标定物在相机成像平面上的投影与标定物的空间几何信息,构成三维到二维的映射,当得到足够多的这种映射就可以利用线性变换求解投影矩阵,得到各相机与该标定物的变换关系,间接求取各相机之间的外参。然而,这种方法适用于存在共同视野的多相机系统,当相机之间不存在共同视野此种标定方法将变得复杂繁琐。自标定方法指的是利用相机的运动或者场景中已知轨迹的某动态物体的运动,通过当前帧与之前帧针对同一特征的映射关系,求解相机之间的外参。然而该方法的局限性在于,如果多相机系统静止不动或多相机系统所在场景特征较少,此方法将失效。
综上,多相机系统具有测量精度高、应用场景广等优点。多相机系统的标定作为一项重要的研究内容,标定结果将极大的影响基于多相机系统应用的性能、精度等。目前,针对无共同视野的多相机系统的标定,主要存在着标定过程繁琐、标定方法适用场景少、标定结果不精确等问题。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种无共同视野多相机系统外参标定方法。本发明的技术方案如下:
一种无共同视野多相机系统外参标定方法,用于汽车辅助驾驶领域多相机系统外参的确定、工业监测领域多相机系统外参的确定,所述外参是指各相机坐标系之间的旋转平移变换关系,其包括以下步骤:
1)固定ID唯一的ArUco二维码标签标记于待标定相机机身,借助辅助相机与标定板分别得到ArUco标记到辅助相机的外参、辅助相机到待标定相机的外参,从而获得待标定相机与自身ArUco标记的外参;
2)将待标定相机ArUco标记视为地图点,利用基于ArUco标记的SLAM系统完成建图,地图中包括了各ArUco标记与地图原点的旋转平移变换关系,即可获得ArUco标记两两之间的外参;
3)根据标定待标定相机与自身ArUco标记的外参以及各ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程。
进一步的,所述步骤1)固定ID唯一的ArUco标记于待标定相机机身,分别标定待标定相机与自身ArUco标记的外参,步骤为:
11)将不同的ArUco标记固定于待标定相机机身,ArUco标记经图像处理后可获得其ID编码;
12)设置固定的辅助相机,保证待标定相机和辅助相机之间存在共同视野且辅助相机可拍摄到待标定相机机身上的ArUco标记,同时,在待标定相机和辅助相机之间的共同视野中固定一个棋盘格标定板,保证待标定相机和辅助相机都能捕获棋盘格标定板的完整图像;
13)标定辅助相机和ArUco标记,用辅助相机捕获相机上ArUco标记的图像,计算ArUco标记到辅助相机的外参TM
14)标定辅助相机和棋盘格标定板,用辅助相机捕获棋盘格标定板的图像,利用张正友标定法计算辅助相机到棋盘格标定板的外参TC1
15)标定待标定相机与棋盘格标定板,用待标定相机捕获棋盘格标定板的图像,利用张正友标定法计算棋盘格标定板到待标定相机的外参TC2
16)标定辅助相机和待标定相机,根据已经得到辅助相机到棋盘格标定板的外参和棋盘格标定板到待标定相机的外参,辅助相机到待标定相机的外参TS可表示为TS=TC1·TC2
17)求解ArUco标记与待标定相机的外参,根据已经计算出的辅助相机到待标定相机的外参TS和ArUco标记到辅助相机的外参TM,则ArUco标记到待标定相机的外参TCM可表示为TCM=TS·TM
18)重复上述步骤步骤11)至17),直到计算出所有待标定相机与其自身ArUco 标记之间的外参。
进一步的,所述步骤11)将不同的ArUco标记固定于待标定相机机身,ArUco 标记经图像处理后可获得其ID编码,具体包括:对ArUco标记图像进行透视变换,得到标记图像正视图,然后,对正视图用Ossu阈值化以分离白色和黑色位;正视图图像根据ArUco标记大小和边界大小被分为许多不同格子,通过统计落在每个格子中的黑白像素数目来决定这是黑色还是白色的位;最终,分析这些位来得到每个ArUco的编码ID。
进一步的,所述步骤13)标定辅助相机和ArUco标记,用辅助相机捕获相机上ArUco标记的图像,计算ArUco标记到辅助相机的外参,步骤为:
21)辅助相机拍摄到的图像数据阈值化,获取ArUco标记的轮廓,并近似为四边形,得到ArUco标记的四个角点的像素坐标;
22)以ArUco标记中心为世界坐标原点,获得ArUco标记的四角点的空间坐标;
23)根据单目相机投影模型如公式(1)所示,其中(u,v)为空间中某点在像素平面的像素坐标,其空间坐标为(X,Y,Z),K为相机内参,T为相机到该点的外参,将ArUco标记四角点的空间坐标及像素坐标代入(1)式求解,得到辅助相机到ArUco标记的外参T;
Figure RE-GDA0002407564310000041
进一步的,所述步骤21)辅助相机拍摄到的图像数据阈值化,获取ArUco标记的轮廓,并近似为四边形,得到ArUco标记的四个角点的像素坐标,具体包括:
用辅助相机捕获相机上Markeri的图像,对图像数据阈值化,获取Markeri的轮廓,并近似为四边形,得到Markeri的四个角点的像素坐标 (u1,v1),(u2,v2),(u3,v3),(u4,v4);以Markeri中心为世界坐标原点,其四角点三维坐标已知分别为
Figure RE-GDA0002407564310000042
其中s为Markeri边长。
进一步的,所述步骤2)将待标定相机ArUco标记视为地图点,利用基于ArUco 标记的SLAM系统完成建图,地图中包括了各ArUco标记与地图原点的旋转平移变换关系,即可获得ArUco标记两两之间的外参,具体包括:
31)将待标定相机机身上的ArUco标记视为地图点,利用单目相机检测ArUco 标记,求取单目相机当前位姿,并将ArUco标记中点作为地图的坐标原点,完成单目SLAM系统的初始化;
32)进行针对ArUco标记的跟踪,与单目相机、局部地图的优化,因为每个 ArUco标记的ID具有唯一性,故当前帧与之前帧针对ArUco标记的匹配可利用其ID的唯一性实现,若匹配成功,则将上一帧的单目相机位姿作为当前帧的位姿初始值,利用局部光束法平差来优化当前帧位姿;若未匹配成功,则利用匀速直线运动模型来估计当前帧位姿,并使用局部光束法平差来优化当前帧位姿;
33)局部光束法平差来优化策略为是利用ArUco标记在局部地图中的三维空间姿态以及单目相机当前帧位姿来优化重投影误差,使局部重投影误差最小;
34)结束基于ArUco建图过程,生成全局地图,再进行一次全局光束法平差,优化地图中所有ArUco标记以及帧的位姿,完成建图,保存全局地图中所有ArUco 标记的相对于地图原点的位姿;
35)求解地图中各ArUco标记之间的外参,假设第i个标记的在地图中的位姿为Posei,第j个标记在地图中的位姿为Posej,则地图中任意两ArUco标记的外参Ti→j可表示为Ti→j=Posei·Posej
进一步的,所述步骤3)根据标定待标定相机与自身ArUco标记的外参以及各ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程,具体包括:假设第i个待标定相机与自身ArUco标记的外参为Ti,第j个待标定相机与自身ArUco标记的外参为Tj,任意两标记之间的为参为间的外参为Ti→j,则第 i个与第j个待标定相机之间的外参可表示为Ti·Ti→j·Tj,故任意两相机之间的外参均可求得,完成无共同视野的多相机系统标定工作。
一种介质,该介质内部存储计算机程序,其所述计算机程序被处理器读取时,执行上述任一项的方法。
一种无共同视野多相机系统外参标定系统,用于汽车辅助驾驶领域多相机系统外参的确定、工业监测领域多相机系统外参的确定,所述外参是指各相机坐标系之间的旋转平移变换关系,其包括:
第一标定模块:用于固定ID唯一的ArUco二维码标签标记于待标定相机机身,分别标定待标定相机与自身ArUco标记的外参;
ArUco标记外参获取模块:将待标定相机ArUco标记视为地图点,利用基于 ArUco标记的SLAM系统完成建图,获得各ArUco标记之间的外参;
第二标定模块:用于根据标定待标定相机与自身ArUco标记的外参以及各 ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程。
本发明的优点及有益效果如下:
本发明提出了一种无共同视野多相机系统外参标定方法,用于确定多相机系统中各相机坐标系的旋转平移变换关系,可应用于基于机器视觉的汽车辅助驾驶、工业监测测等领域。常规的多相机系统的外参标定方法通常有基于二维标定板标定方法以及自标定方法。基于标定板的标定方法,是利用多相机系统同时拍摄标定板,检测标定板角点后,利用几何约束,计算相机之间的外参,然而,这种方法适用于存在共同视野的多相机系统,当相机之间不存在共同视野,此种标定方法将无法直接获得多相机系统中相机之间的外参。自标定方法指的是利用相机的运动或者场景中已知轨迹的某动态物体的运动,通过当前帧与之前帧针对同一特征的映射关系,求解相机之间的外参。然而该方法的局限性在于,如果多相机系统静止不动或多相机系统所在场景特征较少,此方法将失效。
本发明的创新点在于将相机外参的标定问题,转换为求取ArUco标记之间位置关系问题,借助固定于相机机身的ArUco标记,利用单目视觉SLAM系统完成针对标记的建图,间接求取得到待标定相机之间的外参。克服了多相机标定中无共同视野、场景特征少等难点,其优越性主要体现在:
(1)固定ArUco标记于待标定相机机身,通过辅助相机与标定板,间接的得到了待标定相机自身标记与自身相机坐标系的旋转平移变换,巧妙地将相机标定问题转化为ArUco标记之间旋转平移变换计算问题。
(2)为确定ArUco标记之间的外参,创新的提出将ArUco标记视为地图点的想法,借助单目视觉SLAM系统,完成针对ArUco标记的建图,借此确定了标记之间的外参。与此同时因为ArUco标记具有尺度信息,所以单目视觉SLAM系统再进行初始化的时候,不在需要依赖环境中的其它约束,即可直接回复地图的尺度,克服了单目视觉SLAM系统中尺度恢复问题。
(3)本发明在基于ArUco标记建图过程中,提出了面向ArUco标记的图优化方法,使得ArUco标记的姿态计算更为准确,大大提升了标定结果的准确性
(4)本发明的提出大大简化了无共同视野多相机系统的标定流程,理论上适用于各种复杂的标定场景,为多相机系统的应用提供极大的便利,缩短了基于多相机系统进行项目开发的开发周期。
附图说明
图1是本发明提供优选实施例标定场景需求示意图;
图2 ArUco标记示意图;
图3 ArUco标记固定位置示意图;
图4待标定相机与自身ArUco标记外参标定示意图;
图5基于ArUco标记的单目SLAM建图示意图;
图6基于图优化的光束法平差示意图。
图7为本发明一种无共同视野多相机系统外参标定方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
如图1所示是本发明所要解决问题的标定场景需求示意图,场景中的Cami表示待标定相机网络中的第i个相机,待标定相机之间不存在共同视野,无法通过常规的多相机外参标定方法确定相机之间的外参。为解决无共同视野的多相机外参标定问题,提出此技术方案,如图7所示,包括如下步骤:
1、固定ID唯一的ArUco标记于待标定相机机身,分别标定待标定相机与自身ArUco标记的外参:
1)图2所示为ArUco标记示意图,标记边长已知为s,ArUco标记经图像处理后可获得其ID编码,将不同ID编码的ArUco标记固定于待标定相机机身,如图3所示;
2)如图4所示,以其中一个待标定相机Cami为例,设置固定的辅助相机Si,保证待标定相机和辅助相机之间存在共同视野且辅助相机可拍摄到待标定相机机身上的ArUco标记Markeri。同时,在待标定相机和辅助相机之间的共同视野中固定一个棋盘格标定板Ci,保证待标定相机和辅助相机都能捕获棋盘格标定板的完整图像。假设有N个待标定相机Ti,内参分别为为
Figure RE-GDA0002407564310000086
和辅助相机Si,内参分别为
Figure RE-GDA0002407564310000087
每个待标定相机上的ArUco标记为Mi (i=1,2,…,n),注意Marker和待标定相机一一对应,另外,设置棋盘格标定板Ci (i=1,2,…,n);
3)用辅助相机捕获相机上Markeri的图像,对图像数据阈值化,获取Markeri的轮廓,并近似为四边形,得到Markeri的四个角点的像素坐标 (u1,v1),(u2,v2),(u3,v3),(u4,v4);以Markeri中心为世界坐标原点,其四角点三维坐标已知分别为
Figure RE-GDA0002407564310000081
其中s为Markeri边长;根据单目相机投影模型如公式所示,其中(u,v)为空间中某点在像素平面的像素坐标,其空间坐标为(X,Y,Z),K为相机内参,T为相机到该点的外参,将ArUco 标记四角点的空间坐标及像素坐标代入公式(1)求解,得到辅助相机到ArUco 标记的外参
Figure RE-GDA0002407564310000082
Figure RE-GDA0002407564310000083
4)标定辅助相机和棋盘格标定板,用辅助相机捕获棋盘格标定板的图像,利用张正友标定法计算辅助相机到棋盘格标定板的外参
Figure RE-GDA0002407564310000084
5)标定待标定相机与棋盘格标定板,用待标定相机捕获棋盘格标定板的图像,利用张正友标定法计算棋盘格标定板到待标定相机的外参
Figure RE-GDA0002407564310000085
6)标定辅助相机和待标定相机,由于前面已经得到辅助相机到棋盘格标定板的外参
Figure RE-GDA0002407564310000091
和棋盘格标定板到待标定相机的外参
Figure RE-GDA0002407564310000092
因此可以利用式(2)计算出辅助相机到待标定相机的外参
Figure RE-GDA0002407564310000093
Figure RE-GDA0002407564310000094
7)间接求解Markeri与待标定相机的外参,根据已经计算出的辅助相机到待标定相机的外参
Figure RE-GDA0002407564310000095
和ArUco标记Markeri到辅助相机的外参
Figure RE-GDA0002407564310000096
因此可以利用式(3)计算出ArUco到待标定相机的外参
Figure RE-GDA0002407564310000097
Figure RE-GDA0002407564310000098
8)重复上述步骤,直至标定出所有待标定相机Cami与自身ArUco标记Markeri的外参。
2、如图5所示,单目相机Cam*将待标定相机网络沿虚线轨迹移动,使待标定相机上的标记均可被拍摄到,将ArUco标记视为地图点,利用基于ArUco标记的SLAM系统完成建图,获得各ArUco标记Markeri之间的外参,其具体操作步骤如下:
1)如图5所示利用单目相机Cam*检测ArUco标记,求取单目相机当前位姿,并将第一个被检测到的ArUco标记中点作为地图的坐标原点,完成单目SLAM系统的初始化;
2)进行针对ArUco标记的跟踪,与单目相机、局部地图的优化,因为每个 ArUco标记的ID具有唯一性,故当前帧与之前帧针对ArUco标记的匹配可利用其ID的唯一性实现,若匹配成功,则将上一帧的单目相机位姿作为当前帧的位姿初始值,利用局部光束法平差来优化当前帧位姿;若未匹配成功,则利用匀速直线运动模型来估计当前帧位姿,并使用局部光束法平差来优化当前帧位姿。
3)局部光束法平差来优化策略为是利用ArUco标记在局部地图中的三维空间姿态以及单目相机当前帧位姿来优化重投影误差,使局部重投影误差最小。
定义相机投影模型为式(4):
Figure RE-GDA0002407564310000099
重投影误差的一般表示形式定义为式(5)
Figure RE-GDA0002407564310000101
定义针对当前帧位姿以及ArUco位姿表达式为式(6)
Figure RE-GDA0002407564310000102
其中FrameTrans,Mx表示当前帧Frame的位姿Trans及当前帧可视的ArUco标记角点空间坐标Mx,Mxi表示ArUco标记四个角点中的第i个在地图中的空间坐标,K 表示单目相机内参,
Figure RE-GDA0002407564310000103
表示ArUco标记角点在当前帧的图像坐标。
即通过优化迭代后,此优化迭代过程实质为一图优化问题,如图6所示,优化节点为ArUco标记角点坐标和相机位姿,优化边为重投影误差,将待优化节点和边输入到g2o求解器中,求解位姿与Marker角点的最优解使得上式值最小,完成局部光束法平差过程。
4)结束基于ArUco建图过程,生成全局地图,再进行一次全局光束法平差,优化地图中所有ArUco标记以及帧的位姿,完成建图,保存全局地图中所有ArUco 标记的相对于地图原点的位姿,记为
Figure RE-GDA0002407564310000104
5)求解地图中各ArUco标记之间的外参,则第i个ArUco标记相对于第j 个ArUco标记的外参
Figure RE-GDA0002407564310000105
可表示为式(7)
Figure RE-GDA0002407564310000106
进一步的,所述步骤3根据标定待标定相机与自身ArUco标记的外参以及各 ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程,具体包括:
第i个ArUco标记Markeri到待标定相机Cami的外参
Figure RE-GDA0002407564310000107
表示为:
Figure RE-GDA0002407564310000108
任意Markeri、Markerj间的外参
Figure RE-GDA00024075643100001011
表示为:
Figure RE-GDA0002407564310000109
根据式(11)、(12),待标定相机Cami和Camj间的外参
Figure RE-GDA00024075643100001010
经计算可表示为:
Figure RE-GDA0002407564310000111
Figure RE-GDA0002407564310000112
Figure RE-GDA0002407564310000113
多相机系统中任意两相机之间的外参均由式(12)表示,完成了无共同视野的多相机系统的外参标定工作。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种无共同视野多相机系统外参标定方法,用于汽车辅助驾驶领域多相机系统外参的确定、工业监测领域多相机系统外参的确定,所述外参是指各相机坐标系之间的旋转平移变换关系,其特征在于,包括以下步骤:
1)固定ID唯一的ArUco二维码标签标记于待标定相机机身,ArUco是一种二维码标签,借助辅助相机与标定板分别得到ArUco标记到辅助相机的外参、辅助相机到待标定相机的外参,从而获得待标定相机与自身ArUco标记的外参;
2)将待标定相机ArUco标记视为地图点,利用基于ArUco标记的SLAM系统完成建图,地图中包括了各ArUco标记与地图原点的旋转平移变换关系,即可获得ArUco标记两两之间的外参;
3)根据标定待标定相机与自身ArUco标记的外参以及各ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程。
2.根据权利要求1所述的一种无共同视野多相机系统外参标定方法,其特征在于,所述步骤1)固定ID唯一的ArUco标记于待标定相机机身,借助辅助相机与标定板分别得到ArUco标记到辅助相机的外参、辅助相机到待标定相机的外参,从而获得待标定相机与自身ArUco标记的外参,步骤为:
11)将不同的ArUco标记固定于待标定相机机身,ArUco标记经图像处理后可获得其ID编码;
12)设置固定的辅助相机,保证待标定相机和辅助相机之间存在共同视野且辅助相机可拍摄到待标定相机机身上的ArUco标记,同时,在待标定相机和辅助相机之间的共同视野中固定一个棋盘格标定板,保证待标定相机和辅助相机都能捕获棋盘格标定板的完整图像;
13)标定辅助相机和ArUco标记,用辅助相机捕获相机上ArUco标记的图像,计算ArUco标记到辅助相机的外参TM
14)标定辅助相机和棋盘格标定板,用辅助相机捕获棋盘格标定板的图像,利用张正友标定法计算辅助相机到棋盘格标定板的外参TC1
15)标定待标定相机与棋盘格标定板,用待标定相机捕获棋盘格标定板的图像,利用张正友标定法计算棋盘格标定板到待标定相机的外参TC2
16)标定辅助相机和待标定相机,根据已经得到辅助相机到棋盘格标定板的外参和棋盘格标定板到待标定相机的外参,辅助相机到待标定相机的外参TS可表示为TS=TC1·TC2
17)求解ArUco标记与待标定相机的外参,根据已经计算出的辅助相机到待标定相机的外参TS和ArUco标记到辅助相机的外参TM,则ArUco标记到待标定相机的外参TCM可表示为TCM=TS·TM
18)重复上述步骤11)至17),直到计算出所有待标定相机与其自身ArUco标记之间的外参。
3.根据权利要求1所述的一种无共同视野多相机系统外参标定方法,其特征在于,所述步骤1)将不同的ArUco标记固定于待标定相机机身,ArUco标记经图像处理后可获得其ID编码,具体包括:对ArUco标记图像进行透视变换,得到标记图像正视图,然后,对正视图用Ossu阈值化以分离白色和黑色位;正视图根据ArUco标记大小和边界大小被分为许多不同格子,通过统计落在每个格子中的黑白像素数目来决定这是黑色还是白色的位;最终,分析这些位来得到每个ArUco的编码ID。
4.根据权利要求2所述的一种无共同视野多相机系统外参标定方法,其特征在于,所述步骤13)标定辅助相机和ArUco标记,用辅助相机捕获相机上ArUco标记的图像,计算ArUco标记到辅助相机的外参,步骤为:
31)辅助相机拍摄到的图像数据阈值化,获取ArUco标记的轮廓,并近似为四边形,得到ArUco标记的四个角点的像素坐标;
32)以ArUco标记中心为世界坐标原点,获得ArUco标记的四角点的空间坐标;
33)根据单目相机投影模型如公式(1)所示,其中(u,v)为空间中某点在像素平面的像素坐标,其空间坐标为(X,Y,Z),K为相机内参,T为相机到该点的外参,将ArUco标记四角点的空间坐标及像素坐标代入(1)式求解,得到辅助相机到ArUco标记的外参TM
Figure FDA0002348989730000031
5.根据权利要求4所述的一种无共同视野多相机系统外参标定方法,其特征在于,所述步骤31)辅助相机拍摄到的图像数据阈值化,获取ArUco标记的轮廓,并近似为四边形,得到ArUco标记的四个角点的像素坐标,具体包括:用辅助相机捕获相机上Markeri的图像,对图像数据阈值化,获取Markeri的轮廓,并近似为四边形,得到Markeri的四个角点的像素坐标(u1,v1),(u2,v2),(u3,v3),(u4,v4);以Markeri中心为世界坐标原点,其四角点三维坐标已知分别为
Figure FDA0002348989730000032
其中s为Markeri边长。
6.根据权利要求1所述的一种无共同视野多相机系统外参标定方法,其特征在于,所述步骤2)将待标定相机ArUco标记视为地图点,利用基于ArUco标记的SLAM系统完成建图,地图中包括了各ArUco标记与地图原点的旋转平移变换关系,即可获得各ArUco标记之间的外参,具体包括:
21)将待标定相机机身上的ArUco标记视为地图点,利用单目相机检测ArUco标记,求取单目相机当前位姿,并将ArUco标记中点作为地图的坐标原点,完成单目SLAM系统的初始化;
22)进行针对ArUco标记的跟踪,与单目相机、局部地图的优化,因为每个ArUco标记的ID具有唯一性,故当前帧与之前帧针对ArUco标记的匹配可利用其ID的唯一性实现,若匹配成功,则将上一帧的单目相机位姿作为当前帧的位姿初始值,利用局部光束法平差来优化当前帧位姿;若未匹配成功,则利用匀速直线运动模型来估计当前帧位姿,并使用局部光束法平差来优化当前帧位姿;
23)局部光束法平差来优化策略为是利用ArUco标记在局部地图中的三维空间姿态以及单目相机当前帧位姿来优化重投影误差,使局部重投影误差最小;
24)结束基于ArUco建图过程,生成全局地图,再进行一次全局光束法平差,优化地图中所有ArUco标记以及帧的位姿,完成建图,保存全局地图中所有ArUco标记的相对于地图原点的位姿;
25)求解地图中各ArUco标记之间的外参,假设第i个标记的在地图中的位姿为Posei,第j个标记在地图中的位姿为Posej,则地图中任意两ArUco标记的外参Ti→j可表示为Ti→j=Posei·Posej
7.根据权利要求1所述的一种无共同视野多相机系统外参标定方法,其特征在于,所述步骤3)根据标定待标定相机与自身ArUco标记的外参以及各ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程,具体包括:假设第i个待标定相机与自身ArUco标记的外参为Ti,第j个待标定相机与自身ArUco标记的外参为Tj,任意两标记之间的为参为间的外参为Ti→j,则第i个与第j个待标定相机之间的外参可表示为Ti·Ti→j·Tj,故任意两相机之间的外参均可求得,完成无共同视野的多相机系统标定工作。
8.一种介质,该介质内部存储计算机程序,其特征在于,所述计算机程序被处理器读取时,执行上述权利要求1~7任一项的方法。
9.一种无共同视野多相机系统外参标定系统,用于汽车辅助驾驶领域多相机系统外参的确定、工业监测领域多相机系统外参的确定,所述外参是指各相机坐标系之间的旋转平移变换关系,其特征在于,包括:
第一标定模块:用于固定ID唯一的ArUco二维码标签标记于待标定相机机身,分别标定待标定相机与自身ArUco标记的外参;
ArUco标记外参获取模块:将待标定相机ArUco标记视为地图点,利用基于ArUco标记的SLAM系统完成建图,获得各ArUco标记之间的外参;
第二标定模块:用于根据标定待标定相机与自身ArUco标记的外参以及各ArUco标记之间的外参,间接求得待标定相机间的外参,完成标定过程。
CN201911407244.0A 2019-12-31 2019-12-31 一种无共同视野多相机系统外参标定方法、介质及系统 Active CN111210478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407244.0A CN111210478B (zh) 2019-12-31 2019-12-31 一种无共同视野多相机系统外参标定方法、介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407244.0A CN111210478B (zh) 2019-12-31 2019-12-31 一种无共同视野多相机系统外参标定方法、介质及系统

Publications (2)

Publication Number Publication Date
CN111210478A true CN111210478A (zh) 2020-05-29
CN111210478B CN111210478B (zh) 2023-07-21

Family

ID=70785823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407244.0A Active CN111210478B (zh) 2019-12-31 2019-12-31 一种无共同视野多相机系统外参标定方法、介质及系统

Country Status (1)

Country Link
CN (1) CN111210478B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968185A (zh) * 2020-09-01 2020-11-20 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及系统
CN112304305A (zh) * 2020-10-31 2021-02-02 中环曼普科技(南京)有限公司 一种结合marker图像的车辆初始定位方法及系统
CN112308926A (zh) * 2020-10-16 2021-02-02 易思维(杭州)科技有限公司 一种无公共视场的相机外参标定方法
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN113487726A (zh) * 2021-07-12 2021-10-08 北京未来天远科技开发有限公司 动作捕捉系统和方法
CN113920200A (zh) * 2020-07-10 2022-01-11 北京观海科技发展有限责任公司 图像采集装置的标定方法和系统
CN115526941A (zh) * 2022-11-25 2022-12-27 海伯森技术(深圳)有限公司 一种用于远心相机的标定装置和标定方法

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280709A1 (en) * 2004-06-18 2005-12-22 Japan Aerospace Exploration Agency Transparent camera calibration tool for camera calibration and calibration method thereof
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
EP2523163A1 (en) * 2011-05-10 2012-11-14 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
WO2014013015A1 (en) * 2012-07-18 2014-01-23 Agt Group (R&D) Gmbh Calibration of camera-based surveillance systems
CN104729534A (zh) * 2015-03-12 2015-06-24 北京空间飞行器总体设计部 合作目标的单目视觉误差测量系统及误差限量化方法
US20160005164A1 (en) * 2013-02-21 2016-01-07 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US20160012588A1 (en) * 2014-07-14 2016-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for Calibrating Cameras with Non-Overlapping Views
US20160012589A1 (en) * 2014-07-11 2016-01-14 Agt International Gmbh Automatic spatial calibration of camera network
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN106485755A (zh) * 2016-09-26 2017-03-08 中国科学技术大学 一种多摄像机系统标定方法
CN106846892A (zh) * 2017-03-07 2017-06-13 重庆邮电大学 基于机器视觉的停车场‑车辆协同智能停车系统及方法
CN106952219A (zh) * 2017-03-14 2017-07-14 成都通甲优博科技有限责任公司 一种基于外参数修正鱼眼像机的图像生成方法
WO2017121926A1 (en) * 2016-01-15 2017-07-20 Nokia Technologies Oy Method and apparatus for calibration of a multi-camera system
CN206672175U (zh) * 2017-03-14 2017-11-24 成都通甲优博科技有限责任公司 一种鱼眼像机图像拼接的标定结构
CN107808400A (zh) * 2017-10-24 2018-03-16 上海交通大学 一种摄像机标定系统及其标定方法
CN107883874A (zh) * 2017-11-09 2018-04-06 中国科学技术大学 一种圆结构光的标定方法
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
CN108154538A (zh) * 2018-02-06 2018-06-12 华中科技大学 一种双摄像机模组校正和标定方法及装置
CN108171758A (zh) * 2018-01-16 2018-06-15 重庆邮电大学 基于最小光程原理和透明玻璃标定板的多相机标定方法
JP2018177004A (ja) * 2017-04-13 2018-11-15 クラリオン株式会社 車載カメラのキャリブレーション装置
CN109345594A (zh) * 2018-09-04 2019-02-15 顺丰科技有限公司 全局坐标系构建及应用方法、装置、设备及存储介质
CN109341668A (zh) * 2018-10-11 2019-02-15 重庆邮电大学 基于折射投影模型和光束追踪法的多相机测量方法
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
WO2019049421A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US20190158746A1 (en) * 2017-10-31 2019-05-23 Canon Kabushiki Kaisha Method, system and apparatus for stabilising frames of a captured video sequence
CN110244282A (zh) * 2019-06-10 2019-09-17 于兴虎 一种多相机系统和激光雷达联合系统及其联合标定方法
WO2019193859A1 (ja) * 2018-04-04 2019-10-10 コニカミノルタ株式会社 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280709A1 (en) * 2004-06-18 2005-12-22 Japan Aerospace Exploration Agency Transparent camera calibration tool for camera calibration and calibration method thereof
CN101226638A (zh) * 2007-01-18 2008-07-23 中国科学院自动化研究所 一种对多相机系统的标定方法及装置
EP2523163A1 (en) * 2011-05-10 2012-11-14 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
WO2014013015A1 (en) * 2012-07-18 2014-01-23 Agt Group (R&D) Gmbh Calibration of camera-based surveillance systems
US20160005164A1 (en) * 2013-02-21 2016-01-07 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US20160012589A1 (en) * 2014-07-11 2016-01-14 Agt International Gmbh Automatic spatial calibration of camera network
US20160012588A1 (en) * 2014-07-14 2016-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for Calibrating Cameras with Non-Overlapping Views
CN104729534A (zh) * 2015-03-12 2015-06-24 北京空间飞行器总体设计部 合作目标的单目视觉误差测量系统及误差限量化方法
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
WO2017121926A1 (en) * 2016-01-15 2017-07-20 Nokia Technologies Oy Method and apparatus for calibration of a multi-camera system
CN106485755A (zh) * 2016-09-26 2017-03-08 中国科学技术大学 一种多摄像机系统标定方法
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
CN106846892A (zh) * 2017-03-07 2017-06-13 重庆邮电大学 基于机器视觉的停车场‑车辆协同智能停车系统及方法
CN106952219A (zh) * 2017-03-14 2017-07-14 成都通甲优博科技有限责任公司 一种基于外参数修正鱼眼像机的图像生成方法
CN206672175U (zh) * 2017-03-14 2017-11-24 成都通甲优博科技有限责任公司 一种鱼眼像机图像拼接的标定结构
JP2018177004A (ja) * 2017-04-13 2018-11-15 クラリオン株式会社 車載カメラのキャリブレーション装置
WO2019049421A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
CN107808400A (zh) * 2017-10-24 2018-03-16 上海交通大学 一种摄像机标定系统及其标定方法
US20190158746A1 (en) * 2017-10-31 2019-05-23 Canon Kabushiki Kaisha Method, system and apparatus for stabilising frames of a captured video sequence
CN107883874A (zh) * 2017-11-09 2018-04-06 中国科学技术大学 一种圆结构光的标定方法
CN108171758A (zh) * 2018-01-16 2018-06-15 重庆邮电大学 基于最小光程原理和透明玻璃标定板的多相机标定方法
CN108154538A (zh) * 2018-02-06 2018-06-12 华中科技大学 一种双摄像机模组校正和标定方法及装置
WO2019193859A1 (ja) * 2018-04-04 2019-10-10 コニカミノルタ株式会社 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
CN109345594A (zh) * 2018-09-04 2019-02-15 顺丰科技有限公司 全局坐标系构建及应用方法、装置、设备及存储介质
CN109341668A (zh) * 2018-10-11 2019-02-15 重庆邮电大学 基于折射投影模型和光束追踪法的多相机测量方法
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
CN110244282A (zh) * 2019-06-10 2019-09-17 于兴虎 一种多相机系统和激光雷达联合系统及其联合标定方法
CN110456330A (zh) * 2019-08-27 2019-11-15 中国人民解放军国防科技大学 一种相机与激光雷达之间外参无目标自动标定方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GERARDO CARRERA: "SLAM-based automatic extrinsic calibration of a multi-camera rig", < 2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION>, pages 2652 - 2659 *
ZHENZHONG WEI: "Extrinsic parameters calibration of multi-camera with non-overlapping fields of view using laser scanning", 《OPT EXPRESS》, vol. 27, no. 12, pages 16719 - 16737 *
杨瑞华: "多相机系统快速标定算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 3, pages 138 - 1789 *
罗高;袁亮;: "基于二维码的单目视觉测距移动机器人定位研究", no. 10 *
胡志萍;欧宗瑛;林焰;李云峰;: "Measurement of 3-D motion parameters of jacket launch based on stereo image sequences", no. 02 *
裴明涛;贾云得;: "Using Pure Translation to Get Euclidean Reconstruction", no. 02 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920200A (zh) * 2020-07-10 2022-01-11 北京观海科技发展有限责任公司 图像采集装置的标定方法和系统
CN111968185A (zh) * 2020-09-01 2020-11-20 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及系统
CN111968185B (zh) * 2020-09-01 2024-02-02 深圳辰视智能科技有限公司 标定板、基于编码定义的九点标定物体抓取方法及系统
CN112308926A (zh) * 2020-10-16 2021-02-02 易思维(杭州)科技有限公司 一种无公共视场的相机外参标定方法
CN112308926B (zh) * 2020-10-16 2023-03-31 易思维(杭州)科技有限公司 一种无公共视场的相机外参标定方法
CN112304305A (zh) * 2020-10-31 2021-02-02 中环曼普科技(南京)有限公司 一种结合marker图像的车辆初始定位方法及系统
CN112364793A (zh) * 2020-11-17 2021-02-12 重庆邮电大学 基于长短焦多相机车辆环境下的目标检测和融合方法
CN113487726A (zh) * 2021-07-12 2021-10-08 北京未来天远科技开发有限公司 动作捕捉系统和方法
CN113487726B (zh) * 2021-07-12 2024-05-14 未来元宇数字科技(北京)有限公司 动作捕捉系统和方法
CN115526941A (zh) * 2022-11-25 2022-12-27 海伯森技术(深圳)有限公司 一种用于远心相机的标定装置和标定方法
CN115526941B (zh) * 2022-11-25 2023-03-10 海伯森技术(深圳)有限公司 一种用于远心相机的标定装置和标定方法

Also Published As

Publication number Publication date
CN111210478B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111210478B (zh) 一种无共同视野多相机系统外参标定方法、介质及系统
US7783443B2 (en) Information processing apparatus, information processing method, and calibration Jig
CN102472609B (zh) 位置和姿势校准方法及设备
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
US20060215935A1 (en) System and architecture for automatic image registration
CN111627075B (zh) 基于aruco码的摄像头外参标定方法、系统、终端及介质
KR102608956B1 (ko) 스테레오 이미지의 정류를 위한 방법 및 시스템
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
CN112184824A (zh) 一种相机外参标定方法、装置
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN110065075A (zh) 一种基于视觉的空间细胞机器人外部状态感知方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN110176041B (zh) 一种基于双目视觉算法的新型列车辅助装配方法
JP4694624B2 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
Guan et al. Minimal solvers for relative pose estimation of multi-camera systems using affine correspondences
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
Kleinschmidt et al. Visual multimodal odometry: Robust visual odometry in harsh environments
CN113963067A (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
McIlroy et al. Kinectrack: Agile 6-dof tracking using a projected dot pattern
CN111145267A (zh) 基于imu辅助的360度全景视图多相机标定方法
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
EP2245593B1 (en) A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product
CN110069131B (zh) 一种基于近红外光圆斑检测的多指尖定位方法
CN113487726A (zh) 动作捕捉系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant