CN114004901A - 多相机标定方法、装置、终端设备及可读存储介质 - Google Patents

多相机标定方法、装置、终端设备及可读存储介质 Download PDF

Info

Publication number
CN114004901A
CN114004901A CN202210000592.1A CN202210000592A CN114004901A CN 114004901 A CN114004901 A CN 114004901A CN 202210000592 A CN202210000592 A CN 202210000592A CN 114004901 A CN114004901 A CN 114004901A
Authority
CN
China
Prior art keywords
camera
calibration
cameras
matrix
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210000592.1A
Other languages
English (en)
Other versions
CN114004901B (zh
Inventor
寸毛毛
孙其民
陈小波
曾良军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202210000592.1A priority Critical patent/CN114004901B/zh
Publication of CN114004901A publication Critical patent/CN114004901A/zh
Application granted granted Critical
Publication of CN114004901B publication Critical patent/CN114004901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及姿态采集标注技术领域,具体涉及多相机标定方法、装置、终端设备及可读存储介质。具体技术方案为:对相机集合中各相机进行内参标定,得到各相机的内参;获取相机集合中的指定相机,并对指定相机内的各摄像头进行外参标定,得到指定相机内各摄像头间的外参;将指定相机内的摄像头与相机集合中除指定相机外的相机进行外参标定,得到相机间外参终值。本发明针对混合多相机环形布局的应用场景,提供了一种新的标定装置,该标定装置由多块标定板组成,保证多相机标定外参时,每个相机都可以抓拍到图像。并基于所述标定装置提出了一种三阶段的混合多相机标定方法,可有效解决环形布置的混合多相机外参标定的问题,具有很高的标定精度。

Description

多相机标定方法、装置、终端设备及可读存储介质
技术领域
本发明涉及姿态采集标注技术领域,具体涉及多相机标定方法、装置、终端设备及可读存储介质。
背景技术
在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。这些参数需要通过实验、计算等途径得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量还是机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。
目前虽然存在多种多相机的标定方法,但大多针对相同类型的多个相机,或者是利用激光雷达与相机组成的装置进行标定,针对不同类型的混合多相机标定方法较少。混合多相机的相机内参数不一致,且混合多相机中可能会存在红外摄像头,例如tof相机中的IR摄像头等,给不同类型的混合多相机标定带来困难。
因此,如果能提供一种结构简单、应用场景多样、可准确标定混合多相机的标定装置及方法,将具有重要的现实意义。
发明内容
针对现有技术的不足,本发明提供了一种多相机标定方法、装置、终端设备及可读存储介质,有效解决了环形布置的混合多相机外参标定的问题。
为实现以上目的,本发明通过以下技术方案予以实现:
一种多相机标定方法,用于对相机集合中的混合相机进行参数标定,所述相机集合中包括至少两种不同相机类型的相机,所述方法包括如下步骤:
(1)分别对相机集合中的各相机进行内参标定,方法包括:
1)建立相机模型:建立世界坐标系到像素坐标系的变换关系;
2)对各相机单独标定:
准备大小已知的标定板,用待标定的全部相机分别对所述标定板进行不同角度的拍摄,得到图像;
对所述标定板进行角点检测,得到角点的像素坐标;
确定所述角点的物理坐标;
利用角点的所述像素坐标和所述物理坐标,获得单应性矩阵;
基于所述单应性矩阵,先后获得初始值,即相机第一内参和相机间第一外参;
将所述初始值,带入到重投影误差方程,通过迭代优化重投影误差,得所述各相机的第二内参;
(2)获取所述相机集合中的指定相机,对所述指定相机内各摄像头进行外参标定,得到所述指定相机内各摄像头间的第二外参,所述指定相机中的摄像头数量≥2,且所述指定相机与所述相机集合中剩余相机之间相机类型不相同;
(3)将所述指定相机内的摄像头与所述相机集合中除所述指定相机外的相机进行外参标定,得到相机间的外参终值;
所述得到所述指定相机内各摄像头间的第二外参的方法包括:
在步骤(1)获得的各相机第二内参的基础上,基于PnP算法分别获得各标定板的点云,获得所述指定相机内各摄像头坐标系下的三维空间坐标;
利用SVD算法,获得所述标定板在不同坐标系下的初始变换矩阵;所述不同坐标系指所述指定相机内各摄像头的坐标系;
通过ICP算法进行迭代优化,获得指定相机内各摄像头间的第二外参。
优选的,步骤(1)的步骤1)所述相机模型的建立方法包括:
已知世界坐标系中的三维点
Figure 88916DEST_PATH_IMAGE001
,其与图像的像素坐标系的二维点
Figure 356081DEST_PATH_IMAGE002
的关系为:
Figure 728156DEST_PATH_IMAGE003
即:
Figure 113395DEST_PATH_IMAGE004
其中,
Figure 494697DEST_PATH_IMAGE005
为放缩因子,u为图像的像素坐标系下的x方向坐标,v为图像的像素坐标系下的y方向坐标,fx为x方向的焦距长度,fy为y方向的焦距长度,cx为投影中心x方向的偏移量,cy为投影中心y方向的偏移量,fx、fy、cx和cy组成的矩阵为相机内参K,R代表旋转矩阵,r11为旋转矩阵中第1行第1列,r21为旋转矩阵中第2行第1列,r31为旋转矩阵中第3行第1列,以此类推;Xw为世界坐标系下X方向的坐标,Yw为世界坐标系下Y方向的坐标,Zw为世界坐标系下Z方向的坐标,
Figure 147527DEST_PATH_IMAGE006
为相机外参,t代表平移矩阵,
Figure 831449DEST_PATH_IMAGE007
Figure 451786DEST_PATH_IMAGE008
分别是
Figure 886047DEST_PATH_IMAGE009
Figure 642651DEST_PATH_IMAGE010
的齐次坐标,T代表矩阵的转置。
优选的,基于PnP算法分别获得各标定板点云的方法包括:
空间点P在世界坐标系的齐次坐标为
Figure 638420DEST_PATH_IMAGE011
,在图像中投影到的角点
Figure 621419DEST_PATH_IMAGE012
,是由角点的像素坐标p1变换得来的:
Figure 344525DEST_PATH_IMAGE013
,K为相机内参;此时相机的位姿
Figure 738990DEST_PATH_IMAGE014
未知,定义变换矩阵
Figure 889349DEST_PATH_IMAGE015
为一个
Figure 359644DEST_PATH_IMAGE016
的矩阵,包含旋转和平移,根据刚体运动的三维变换关系,得:
Figure 637173DEST_PATH_IMAGE017
其中,ai是变换矩阵L的参数,i=1~12,
Figure 368369DEST_PATH_IMAGE005
是放缩因子,u1为相机平面坐标系下的x方向坐标,v1为相机平面坐标系下的y方向坐标;把
Figure 673317DEST_PATH_IMAGE005
消去,得到两个约束:
Figure 755543DEST_PATH_IMAGE018
利用变换矩阵L,将标定板上的角点
Figure 305604DEST_PATH_IMAGE019
反投影到相机坐标系下,形成所述标定板点云;
和/或;
利用SVD算法获得标定板的初始变换矩阵的过程包括:
在所述不同坐标系下的标定板点云中,确定各坐标系下的点云坐标;
分别获得各标定板点云的质心,并将所述点云坐标减去对应的质心,得到相对坐标;
根据所述相对坐标构建所述指定相机内各摄像头的坐标矩阵,并将所述指定相机内各摄像头的摄像头坐标系下的坐标矩阵转置相乘,得到方阵;
根据所述方阵确定旋转矩阵,根据所述旋转矩阵确定平移矩阵,即得指定相机内各摄像头的摄像头坐标系之间的初始变换矩阵。
优选的,步骤(3)所述得到相机间的外参终值的方法包括:
根据各相机与标定板之间的位置关系,构建图模型;
选择一个相机的坐标系与世界坐标系对齐,利用图模型中的顶点和边,获得所有顶点的初始位姿;
利用顶点的初始位姿,获得标定板到与所述标定板关联相机的重投影误差;
迭代优化所述重投影误差到最小,得所述相机间的外参终值。
相应的,实现所述多相机标定方法的标定装置,所述标定装置包括3块以上的标定板,设置于由多个相机围合形成的环形结构中间,所述相机数量≥3个,各相机的摄像头均朝向所述标定装置;
所述标定装置的设置满足:使用多个相机标定外参时,每个相机均可抓拍到图像。
相应的,实现所述多相机标定方法的标定装置,所述标定装置包括:
第一数据获取单元,为相机内参获取单元,用于对相机集合中的各相机进行内参标定;
第二数据获取单元,为指定相机各摄像头外参获取单元,用于获取所述相机集合中的指定相机,并对所述指定相机内的各摄像头进行外参标定,获得所述指定相机内各摄像头之间的外参;
第三数据获取单元,为相机间外参获取单元,用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
相应的,一种终端设备,包括至少一个处理器以及至少一个存储器;至少一个程序被存储在所述存储器中,被配置为由所述处理器执行所述多相机标定方法。
相应的,一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,在所述程序代码被处理器运行时执行所述多相机标定方法。
本发明具备以下有益效果:本发明针对多相机360°环形布局且镜头向内,尤其是混合多相机环形布局的应用场景,提供了一种新的标定装置,该标定装置由多块标定板组成,保证多相机标定外参时,每个相机都可以抓拍到图像。并基于所述标定装置提出了一种三阶段的混合多相机标定方法,可有效解决环形布置的混合多相机外参标定的问题,具有很高的标定精度。
附图说明
图1为混合多相机的整体标定流程图;
图2为本发明方法步骤(1)中对各相机进行单独标定的流程图;
图3为实施例步骤(2)中对RGBD相机中的RGB摄像头和IR摄像头进行标定的流程图;
图4为本发明方法步骤(3)中对混合多相机进行外参标定获得外参终值的流程图;
图5为八个相机标定场景的模型示例图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明所述“以上”、“以下”均含本数。若未特别指明,实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。需要说明的是:全文所述“计算”均指录入本发明提供算法/方法后利用硬件或软件自动运行的计算,并非指人为计算;在使用本发明提供算法/方法进行多相机标定时,最终获得的标定结果也不以人的意志为转移。
本发明提供了一种可对多相机或多摄像机进行标定的方法,为便于阐述,全文均使用“相机”。所述多相机可以为多个相同类型的相机,也可以是多个不同类型的相机。相较于现有技术而言,本发明尤其适用于多个不同类型相机(全文简称为“混合多相机”)的标定定位。所述混合多相机的分类适用于现有各种分类方式的相机。例如,以采集图片进行分类,分为:RGBD相机、RGB相机、灰度相机等;再例如,以分辨率进行分类,分为:640×480相机、1920×1080相机等。
本发明提供的标定方法应用场景为:多个相机环形布置,各相机的摄像头向内设置。针对该应用场景,进一步提供一种新的标定装置,所述标定装置具体包括多块标定板,所述标定板优选为具有一定抗光照能力的ChArUco标定板。使用该标定板,在即使没有拍全的情况下,依然可以完成标定。所述标定板的设置需满足:使用多相机标定外参时,每个相机均可抓拍到图像。所述外参指相机之间(或摄像头之间)的、相机(或摄像头)与标定板之间的参数;与之相对的,内参指各相机内(或摄像头内)的参数。一种实施方式下:各所述相机环形布置,摄像头向内;相机围合形成的环形中间位置设置标定板。各所述标定板相互围合成一圈,朝向各相机摄像头。所述标定板数量至少为3块,可根据实际需要进一步设置4块、5块或更多块,从而围合形成横截面为三角形、矩形、五边形等形状的结构。
针对上述应用场景,在所述标定装置基础上,本发明进一步提供了一种多相机标定方法,尤其是混合多相机标定方法。所述标定方法具体包括如下步骤:
(1)对所有相机进行单独标定,计算出各相机的内参;
(2)待标定的所有相机中,至少有一个相机存在2个以上的摄像头,所述摄像头可以为相同或不同类型;任意选择一个具有2个以上摄像头的相机作为指定相机,对指定相机中的各摄像头进行标定,并计算摄像头之间的外参;
(3)对剩余未标定摄像头进行标定,计算出相机间的外参。
实施例
为便于阐述,本实施例以混合相机同时包括RGBD相机、RGB相机和灰度相机为例,共设置8个相机(包括2个RGBD相机、2个RGB相机和4个灰度相机;实践中也可以根据需要进行任意组合)。如图5所示,本实施例采用的所述标定装置包括4块ChArUco标定板,各标定板相互环绕围合、等距对称排列;8个相机在4块标定板外环绕围合、等距对称排列。各相机的摄像头均朝向标定板设置。
标定方法包括如下步骤:(1)对所有相机进行单独标定,并计算出相机的内参;(2)对RGBD相机中的RGB摄像头和IR摄像头进行标定,并计算摄像头之间的外参;(3)将RGBD相机中的RGB摄像头与其他所有相机进行标定,计算出相机之间的外参,整个流程如图1所示。
具体标定过程包括:
步骤(1)对所有相机进行单独标定的过程包括:
1)建立相机模型(建立世界坐标系到像素坐标系的变换关系)。
已知世界坐标系中的三维点
Figure 156885DEST_PATH_IMAGE001
,其与图像的像素坐标系的二维点
Figure 901244DEST_PATH_IMAGE002
的关系为:
Figure 346131DEST_PATH_IMAGE003
即:
Figure 949151DEST_PATH_IMAGE020
其中,
Figure 671251DEST_PATH_IMAGE005
为放缩因子,u为图像的像素坐标系下的x方向坐标,v为图像的像素坐标系下的y方向坐标,fx为x方向的焦距长度,fy为y方向的焦距长度,cx为投影中心x方向的偏移量,cy为投影中心y方向的偏移量,fx、fy、cx和cy组成的矩阵为相机内参K;R代表旋转矩阵,r11为旋转矩阵中第1行第1列,r21为旋转矩阵中第2行第1列,r31为旋转矩阵中第3行第1列,以此类推;Xw为世界坐标系下X方向的坐标,Yw为世界坐标系下Y方向的坐标,Zw为世界坐标系下Z方向的坐标,
Figure 334313DEST_PATH_IMAGE006
为相机外参,t代表平移矩阵,
Figure 266497DEST_PATH_IMAGE007
Figure 922475DEST_PATH_IMAGE008
分别是
Figure 748349DEST_PATH_IMAGE009
Figure 333045DEST_PATH_IMAGE010
的齐次坐标,T代表矩阵的转置。
2)各相机单独标定。准备大小已知的ChArUco标定板,用待标定的全部相机分别对所述标定板进行不同角度的拍摄,得到一组图像。再对所述标定板进行角点检测,得到角点的像素坐标,再根据已知的棋盘格大小和世界坐标系原点,计算得到角点的物理坐标。然后利用角点的像素坐标和物理坐标,计算得到单应性矩阵。基于单应性矩阵,先后计算出初始值,即相机第一内参和相机间第一外参。将计算得到的初始值,带入到重投影误差方程,通过迭代优化重投影误差,即可得到相机第二内参,如图2所示。需要说明的是:对所有相机进行单独标定的方法采用张正友标定法:以标定板为坐标系,建立世界坐标系,得到角点的三维坐标,单应性矩阵为上述公式中的K[R t],初始值就是初始的相机内参K和外参[R t]。在对相机进行标定时,每个相机都存在各自的坐标系,该坐标系随着相机自身而运动。相机拍摄标定板的图像会有重合的部分,而不同相机拍摄到同一标定板时,就可以把两个相机关联起来,从而计算两个相机间的外参。
步骤(2)对RGBD相机中的RGB摄像头和IR摄像头进行标定的过程为:
在步骤(1)获得的各相机第二内参的基础上,基于PnP算法分别计算出标定板的点云,从而获得RGB摄像头和IR摄像头坐标系下的三维空间坐标。再利用SVD算法,计算出所述标定板在两个不同坐标系下(RGB摄像头和IR摄像头坐标系)的初始变换矩阵。再通过ICP算法进行迭代优化,获得RGB摄像头和IR摄像头之间的外参,为第二外参。整个流程如图3所示。具体为:
1)利用PnP算法计算标定板点云的具体过程为:已知空间点P(P是世界坐标系下的三维点)在世界坐标系的齐次坐标为
Figure 752525DEST_PATH_IMAGE011
,在图像中投影到的角点
Figure 962926DEST_PATH_IMAGE012
,是由角点的像素坐标p1变换得来的:
Figure 618206DEST_PATH_IMAGE013
,K为相机内参;此时相机的位姿
Figure 888650DEST_PATH_IMAGE014
未知,定义变换矩阵
Figure 405213DEST_PATH_IMAGE015
为一个
Figure 29093DEST_PATH_IMAGE016
的矩阵,包含旋转和平移,根据刚体运动的三维变换关系,得:
Figure 829558DEST_PATH_IMAGE017
其中,u1为相机平面坐标系下的x方向坐标,v1为相机平面坐标系下的y方向坐标,ai是变换矩阵L的参数,i=1~12,s是放缩因子;把s消去,得到两个约束:
Figure 520172DEST_PATH_IMAGE018
变换矩阵L有12个参数,每对点提供两个约束,因此,最少通过
Figure 773298DEST_PATH_IMAGE021
对3D-2D匹配点即可实现对矩阵L的线性求解。最后利用变换矩阵L,将标定板上的角点
Figure 200869DEST_PATH_IMAGE019
反投影到相机坐标系下,形成标定板点云。
2)SVD算法计算标定板的初始变换矩阵的过程为:在RGB和IR摄像头坐标系下的标定板点云中,找到对应的坐标,再分别计算出两组坐标点的质心,然后两组坐标点减去各自质心,IR坐标系下的坐标矩阵转置后与RGB摄像头坐标系下的坐标矩阵相乘,得到一个三阶方阵,最后利用这个矩阵先分解出旋转矩阵,然后基于旋转矩阵计算出平移矩阵,即可得到RGB摄像头和IR摄像头坐标系之间的初始变换矩阵;
具体计算公式如下所示:
a.将点集去中心化:
Figure 75415DEST_PATH_IMAGE022
其中,
Figure 687662DEST_PATH_IMAGE023
为RGB摄像头坐标系下的点云坐标,
Figure 680282DEST_PATH_IMAGE024
为IR摄像头坐标系下的点云坐标,
Figure 36177DEST_PATH_IMAGE025
Figure 421022DEST_PATH_IMAGE026
是点云的质心,ci和
Figure 689323DEST_PATH_IMAGE027
是点云坐标减去质心坐标后的相对坐标。
b.计算协方差矩阵并SVD分解:
Figure 917042DEST_PATH_IMAGE028
其中,A和B分别是ai和bi组成的坐标矩阵,U为左奇异矩阵,V为右奇异矩阵,∑是主对角线上的奇异值。
c.计算旋转矩阵和平移矩阵:
Figure 60317DEST_PATH_IMAGE029
其中,R为旋转矩阵,t为平移矩阵。
3)通过ICP算法进行迭代优化的过程为:在RGB摄像头坐标系下的点云
Figure 424302DEST_PATH_IMAGE030
和在IR摄像头坐标系下的点云
Figure 597925DEST_PATH_IMAGE031
中,按照约束条件:
Figure 781782DEST_PATH_IMAGE032
,找到最邻近点
Figure 200518DEST_PATH_IMAGE033
,然后计算出最优匹配参数R和t,使得误差函数最小,其中误差函数
Figure 497639DEST_PATH_IMAGE034
为:
Figure 91431DEST_PATH_IMAGE035
其中,n为最邻近点对的个数,Pi为目标点云P中的一点,qi为源点云Q中与Pi对应的最近点,R为旋转矩阵,t为平移矩阵。
迭代优化的具体计算流程如下:
a.在点云P中取点集
Figure 746272DEST_PATH_IMAGE036
b.找点云Q中的对应点集
Figure 982081DEST_PATH_IMAGE037
,使得
Figure 805812DEST_PATH_IMAGE032
c.计算旋转矩阵R和平移矩阵t,使得误差函数E最小;
d.对Pi使用上一步求得的旋转矩阵R和平移矩阵
Figure 570506DEST_PATH_IMAGE038
进行刚性变换(通过R旋转和t平移实现),得到新的对应点集
Figure 840206DEST_PATH_IMAGE039
e.计算
Figure 364860DEST_PATH_IMAGE040
与对应点集qi的平均距离:
Figure 761206DEST_PATH_IMAGE041
f.如果d小于某一给定的阈值或者大于预设的最大迭代次数,则停止迭代计算(收敛条件);否则返回第b步,直到满足收敛条件为止。
步骤(3)对混合多相机进行外参标定的过程为:在对混合多相机进行标定时,为了得到较高精度的外参,先根据多相机与标定装置之间的位置关系,构建图模型,将基准相机坐标系(即选择一个相机)与世界坐标系对齐,利用图模型中的顶点和边,计算所有顶点的初始位姿;然后利用顶点的初始位姿,计算标定板到相机(所述相机指与标定板关联的相机)的重投影误差,最后迭代优化其重投影误差到最小,即可得到高精度的相机之间的外参终值,流程如图4所示。具体步骤为:
1)构建图模型,相机和标定板都是图模型的顶点,当相机抓拍到标定板时定义为图边,其中图模型中的顶点可以用来存储相机和标定板的位姿,而图的边用来存储的是相机和标定板之间的相对位姿变换关系,即在相机标定时,会获得外参,即相机和标定板之间的外参[R T]。如图5所示,图5为8个相机标定场景的图模型示例,其中,外侧的大圆点表示相机顶点,内测的小圆点表示标定板顶点。
2)构建完图模型后,使基准相机坐标系与世界坐标系对齐,即将指定的基准相机作为世界坐标系,接着以基准相机为根,通过广度优先搜索方法生成树,然后通过图边从基准相机开始遍历生成树,进而来计算顶点位姿,最终获取到所有顶点的初始位姿估计。
3)利用顶点的初始位姿,计算标定板到相机的重投影误差,并将此误差作为损失函数:
Figure 946069DEST_PATH_IMAGE042
其中,
Figure 201601DEST_PATH_IMAGE043
为投影函数,
Figure 248054DEST_PATH_IMAGE044
为从标定板
Figure 825140DEST_PATH_IMAGE045
到相机基准相机的相对变换关系,Ii代表世界坐标系与基准相机对齐,用
Figure 197215DEST_PATH_IMAGE046
4x4的单位矩阵表示;
Figure 471202DEST_PATH_IMAGE047
为相机基准相机的内参(
Figure 337658DEST_PATH_IMAGE048
是相机内参集合);
Figure 505334DEST_PATH_IMAGE049
为标定板物理坐标
Figure 563157DEST_PATH_IMAGE050
对应的图像上的像素坐标。
所有标定板上角点的重投影误差,可以对图模型上所有顶点姿态进行优化,于是把顶点位姿的优化问题定义为:
Figure 917915DEST_PATH_IMAGE051
其中,
Figure 853642DEST_PATH_IMAGE052
为标定板索引号,
Figure 751190DEST_PATH_IMAGE053
为基准相机抓拍到标定板
Figure 730648DEST_PATH_IMAGE045
的图像,Hi为世界坐标系下标定板的位姿,Hj为世界坐标系下相机的位姿,Hij=Hi -1Hj
最后通过LM算法进行迭代优化,则重投影误差的优化迭代问题定义为:
Figure 90478DEST_PATH_IMAGE054
其中,
Figure 813584DEST_PATH_IMAGE055
为当前误差值,
Figure 441005DEST_PATH_IMAGE056
为优化后的误差值,
Figure 732309DEST_PATH_IMAGE057
为优化的梯度方向值,
Figure 327239DEST_PATH_IMAGE058
为近似的
Figure 837723DEST_PATH_IMAGE059
矩阵,其中
Figure 568919DEST_PATH_IMAGE060
是误差函数的一阶导,
Figure 906490DEST_PATH_IMAGE061
为单位矩阵,
Figure 864082DEST_PATH_IMAGE062
为阻尼因子。
Figure 928990DEST_PATH_IMAGE063
,保证
Figure 766890DEST_PATH_IMAGE064
正定,优化迭代朝着下降方向进行;当
Figure 524630DEST_PATH_IMAGE065
非常大时,
Figure 579305DEST_PATH_IMAGE066
近似于
Figure 323270DEST_PATH_IMAGE067
,接近最速下降法;当
Figure 294637DEST_PATH_IMAGE065
比较小时,
Figure 206967DEST_PATH_IMAGE066
近似于
Figure 263785DEST_PATH_IMAGE068
,接近高斯牛顿法。
重投影误差优化迭代时,不仅其误差值越来越小,同时也调整着相关的顶点位姿,使其越来越准确,进而获取到更高精度的相机间的外参。
本实施例还提供一种多相机标定方法的标定装置,所述标定装置包括:
第一数据获取单元,为相机内参获取单元,用于对相机集合中的各相机进行内参标定;
第二数据获取单元,为指定相机各摄像头外参获取单元,用于获取所述相机集合中的指定相机,并对所述指定相机内的各摄像头进行外参标定,获得所述指定相机内各摄像头之间的外参;
第三数据获取单元,为相机间外参获取单元,用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
该多相机标定方法的标定装置,可有效解决环形布置的混合多相机外参标定的问题,具有很高的标定精度。
本实施例还提供一种终端设备,包括至少一个处理器以及至少一个存储器;至少一个程序被存储在所述存储器中,被配置为由所述处理器执行所述多相机标定方法。
本实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,在所述程序代码被处理器运行时执行所述多相机标定方法。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种多相机标定方法,用于对相机集合中的混合相机进行参数标定,所述相机集合中包括至少两种不同相机类型的相机,其特征在于:所述方法包括如下步骤:
(1)分别对相机集合中的各相机进行内参标定,方法包括:
1)建立相机模型:建立世界坐标系到像素坐标系的变换关系;
2)对各相机单独标定:
准备大小已知的标定板,用待标定的全部相机分别对所述标定板进行不同角度的拍摄,得到图像;
对所述标定板进行角点检测,得到角点的像素坐标;
确定所述角点的物理坐标;
利用角点的所述像素坐标和所述物理坐标,获得单应性矩阵;
基于所述单应性矩阵,先后获得初始值,即相机第一内参和相机间第一外参;
将所述初始值,带入到重投影误差方程,通过迭代优化重投影误差,得所述各相机的第二内参;
(2)获取所述相机集合中的指定相机,对所述指定相机内各摄像头进行外参标定,得到所述指定相机内各摄像头间的第二外参,所述指定相机中的摄像头数量≥2,且所述指定相机与所述相机集合中剩余相机之间相机类型不相同;
(3)将所述指定相机内的摄像头与所述相机集合中除所述指定相机外的相机进行外参标定,得到相机间的外参终值;
所述得到所述指定相机内各摄像头间的第二外参的方法包括:
在步骤(1)获得的各相机第二内参的基础上,基于PnP算法分别获得各标定板的点云,获得所述指定相机内各摄像头坐标系下的三维空间坐标;
利用SVD算法,获得所述标定板在不同坐标系下的初始变换矩阵;所述不同坐标系指所述指定相机内各摄像头的坐标系;
通过ICP算法进行迭代优化,获得指定相机内各摄像头间的第二外参。
2.根据权利要求1所述多相机标定方法,其特征在于:步骤(1)的步骤1)所述相机模型的建立方法包括:
已知世界坐标系中的三维点
Figure 325237DEST_PATH_IMAGE001
,其与图像的像素坐标系的二维点
Figure 415552DEST_PATH_IMAGE002
的关系为:
Figure 174299DEST_PATH_IMAGE003
即:
Figure 426288DEST_PATH_IMAGE004
其中,
Figure 139161DEST_PATH_IMAGE005
为放缩因子,u为图像的像素坐标系下的x方向坐标,v为图像的像素坐标系下的y方向坐标,fx为x方向的焦距长度,fy为y方向的焦距长度,cx为投影中心x方向的偏移量,cy为投影中心y方向的偏移量,fx、fy、cx和cy组成的矩阵为相机内参K,R代表旋转矩阵,r11为旋转矩阵中第1行第1列,r21为旋转矩阵中第2行第1列,r31为旋转矩阵中第3行第1列,以此类推;Xw为世界坐标系下X方向的坐标,Yw为世界坐标系下Y方向的坐标,Zw为世界坐标系下Z方向的坐标,
Figure 767588DEST_PATH_IMAGE006
为相机外参,t代表平移矩阵,
Figure 538098DEST_PATH_IMAGE007
Figure 337820DEST_PATH_IMAGE008
分别是
Figure 662622DEST_PATH_IMAGE009
Figure 704528DEST_PATH_IMAGE010
的齐次坐标,T代表矩阵的转置。
3.根据权利要求1所述多相机标定方法,其特征在于:基于PnP算法分别获得各标定板点云的方法包括:
空间点P在世界坐标系的齐次坐标为
Figure 63965DEST_PATH_IMAGE011
,在图像中投影到的角点
Figure 172604DEST_PATH_IMAGE012
,是由角点的像素坐标p1变换得来的:
Figure 109336DEST_PATH_IMAGE013
,K为相机内参;此时相机的位姿
Figure 95878DEST_PATH_IMAGE014
未知,定义变换矩阵
Figure 168876DEST_PATH_IMAGE015
为一个
Figure 451346DEST_PATH_IMAGE016
的矩阵,包含旋转和平移,根据刚体运动的三维变换关系,得:
Figure 344216DEST_PATH_IMAGE017
其中,ai是变换矩阵L的参数,i=1~12,
Figure 196765DEST_PATH_IMAGE005
是放缩因子,u1为相机平面坐标系下的x方向坐标,v1为相机平面坐标系下的y方向坐标;把
Figure 639117DEST_PATH_IMAGE005
消去,得到两个约束:
Figure 309132DEST_PATH_IMAGE018
利用变换矩阵L,将标定板上的角点
Figure 971189DEST_PATH_IMAGE019
反投影到相机坐标系下,形成所述标定板点云;
和/或;
利用SVD算法获得标定板的初始变换矩阵的过程包括:
在所述不同坐标系下的标定板点云中,确定各坐标系下的点云坐标;
分别获得各标定板点云的质心,并将所述点云坐标减去对应的质心,得到相对坐标;
根据所述相对坐标构建所述指定相机内各摄像头的坐标矩阵,并将所述指定相机内各摄像头的摄像头坐标系下的坐标矩阵转置相乘,得到方阵;
根据所述方阵确定旋转矩阵,根据所述旋转矩阵确定平移矩阵,即得指定相机内各摄像头的摄像头坐标系之间的初始变换矩阵。
4.根据权利要求1所述多相机标定方法,其特征在于:步骤(3)所述得到相机间的外参终值的方法包括:
根据各相机与标定板之间的位置关系,构建图模型;
选择一个相机的坐标系与世界坐标系对齐,利用图模型中的顶点和边,获得所有顶点的初始位姿;
利用顶点的初始位姿,获得标定板到与所述标定板关联相机的重投影误差;
迭代优化所述重投影误差到最小,得所述相机间的外参终值。
5.实现权利要求1~4任意一项所述多相机标定方法的标定装置,其特征在于:所述标定装置包括3块以上的标定板,设置于由多个相机围合形成的环形结构中间,所述相机数量≥3个,各相机的摄像头均朝向所述标定装置;
所述标定装置的设置满足:使用多个相机标定外参时,每个相机均可抓拍到图像。
6.实现权利要求1~4任意一项所述多相机标定方法的标定装置,其特征在于:所述标定装置包括:
第一数据获取单元,为相机内参获取单元,用于对相机集合中的各相机进行内参标定;
第二数据获取单元,为指定相机各摄像头外参获取单元,用于获取所述相机集合中的指定相机,并对所述指定相机内的各摄像头进行外参标定,获得所述指定相机内各摄像头之间的外参;
第三数据获取单元,为相机间外参获取单元,用于将所述指定相机内的各摄像头与所述相机集合中除所述指定相机外的相机进行外参标定。
7.一种终端设备,其特征在于:包括至少一个处理器以及至少一个存储器;至少一个程序被存储在所述存储器中,被配置为由所述处理器执行权利要求1~4任意一项所述多相机标定方法。
8.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有程序代码,在所述程序代码被处理器运行时执行权利要求1~4任意一项所述多相机标定方法。
CN202210000592.1A 2022-01-04 2022-01-04 多相机标定方法、装置、终端设备及可读存储介质 Active CN114004901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210000592.1A CN114004901B (zh) 2022-01-04 2022-01-04 多相机标定方法、装置、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210000592.1A CN114004901B (zh) 2022-01-04 2022-01-04 多相机标定方法、装置、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114004901A true CN114004901A (zh) 2022-02-01
CN114004901B CN114004901B (zh) 2022-03-18

Family

ID=79932652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210000592.1A Active CN114004901B (zh) 2022-01-04 2022-01-04 多相机标定方法、装置、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114004901B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663524A (zh) * 2022-03-09 2022-06-24 禾多科技(北京)有限公司 多相机在线标定方法、装置、电子设备和计算机可读介质
CN114742905A (zh) * 2022-06-13 2022-07-12 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质
CN114758005A (zh) * 2022-03-23 2022-07-15 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114820807A (zh) * 2022-03-24 2022-07-29 北京的卢深视科技有限公司 屏幕-相机的标定方法、系统、标定设备和存储介质
CN115661269A (zh) * 2022-11-18 2023-01-31 深圳市智绘科技有限公司 相机与激光雷达的外参标定方法、装置及存储介质
CN116952132A (zh) * 2023-07-27 2023-10-27 湖南视比特机器人有限公司 多目视觉测量的分区标定方法及系统
WO2024012405A1 (zh) * 2022-07-11 2024-01-18 华为技术有限公司 一种标定方法及装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646394A (zh) * 2013-11-26 2014-03-19 福州大学 一种基于Kinect摄像机的混合视觉系统标定方法
US20160212418A1 (en) * 2015-01-19 2016-07-21 Aquifi, Inc. Multiple camera system with auto recalibration
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
CN108171728A (zh) * 2017-12-25 2018-06-15 清华大学 基于混合相机系统的无标记运动物体姿态恢复方法及装置
CN108288291A (zh) * 2018-06-07 2018-07-17 北京轻威科技有限责任公司 基于单点标定物的多相机标定
CN109767474A (zh) * 2018-12-31 2019-05-17 深圳积木易搭科技技术有限公司 一种多目相机标定方法、装置及存储介质
CN110244282A (zh) * 2019-06-10 2019-09-17 于兴虎 一种多相机系统和激光雷达联合系统及其联合标定方法
CN111915681A (zh) * 2019-05-08 2020-11-10 长沙智能驾驶研究院有限公司 多组3d相机群的外参标定方法、装置、存储介质及设备
CN112150561A (zh) * 2020-10-20 2020-12-29 叠境数字科技(上海)有限公司 一种多相机标定方法
CN112164119A (zh) * 2020-09-04 2021-01-01 华南理工大学 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN112184830A (zh) * 2020-09-22 2021-01-05 深研人工智能技术(深圳)有限公司 相机内参和外参标定方法、装置、计算机设备及存储介质
CN112330752A (zh) * 2020-11-13 2021-02-05 深圳先进技术研究院 多相机联合标定方法、装置、终端设备及可读存储介质
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN112819898A (zh) * 2021-01-20 2021-05-18 广州中国科学院沈阳自动化研究所分所 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质
WO2021129791A1 (zh) * 2019-12-27 2021-07-01 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN113160325A (zh) * 2021-04-01 2021-07-23 长春博立电子科技有限公司 基于进化算法的多摄像机高精度自动标定方法
WO2021208630A1 (zh) * 2020-04-17 2021-10-21 虹软科技股份有限公司 标定方法、标定装置及应用其的电子设备
CN113724337A (zh) * 2021-08-30 2021-11-30 合肥工业大学 一种无需依赖云台角度的相机动态外参标定方法及装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646394A (zh) * 2013-11-26 2014-03-19 福州大学 一种基于Kinect摄像机的混合视觉系统标定方法
US20160212418A1 (en) * 2015-01-19 2016-07-21 Aquifi, Inc. Multiple camera system with auto recalibration
CN107146254A (zh) * 2017-04-05 2017-09-08 西安电子科技大学 多相机系统的相机外参数标定方法
CN108171728A (zh) * 2017-12-25 2018-06-15 清华大学 基于混合相机系统的无标记运动物体姿态恢复方法及装置
CN108288291A (zh) * 2018-06-07 2018-07-17 北京轻威科技有限责任公司 基于单点标定物的多相机标定
CN109767474A (zh) * 2018-12-31 2019-05-17 深圳积木易搭科技技术有限公司 一种多目相机标定方法、装置及存储介质
CN111915681A (zh) * 2019-05-08 2020-11-10 长沙智能驾驶研究院有限公司 多组3d相机群的外参标定方法、装置、存储介质及设备
CN110244282A (zh) * 2019-06-10 2019-09-17 于兴虎 一种多相机系统和激光雷达联合系统及其联合标定方法
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
WO2021129791A1 (zh) * 2019-12-27 2021-07-01 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN113592954A (zh) * 2019-12-27 2021-11-02 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
WO2021208630A1 (zh) * 2020-04-17 2021-10-21 虹软科技股份有限公司 标定方法、标定装置及应用其的电子设备
CN112164119A (zh) * 2020-09-04 2021-01-01 华南理工大学 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN112184830A (zh) * 2020-09-22 2021-01-05 深研人工智能技术(深圳)有限公司 相机内参和外参标定方法、装置、计算机设备及存储介质
CN112150561A (zh) * 2020-10-20 2020-12-29 叠境数字科技(上海)有限公司 一种多相机标定方法
CN112330752A (zh) * 2020-11-13 2021-02-05 深圳先进技术研究院 多相机联合标定方法、装置、终端设备及可读存储介质
CN112819898A (zh) * 2021-01-20 2021-05-18 广州中国科学院沈阳自动化研究所分所 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质
CN113160325A (zh) * 2021-04-01 2021-07-23 长春博立电子科技有限公司 基于进化算法的多摄像机高精度自动标定方法
CN113724337A (zh) * 2021-08-30 2021-11-30 合肥工业大学 一种无需依赖云台角度的相机动态外参标定方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREAS GEIGER 等: "Automatic camera and range sensor calibration using a single shot", 《2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
SHULAN HUANG 等: "A Joint Calibration Method for the 3D Sensing System Composed with ToF and Stereo Camera", 《ICIA》 *
吴高峰: "基于周向分布的多相机标定及三维重建算法研究", 《中国硕士学位论文全文数据库》 *
徐树奎 等: "一种多分辨率混合相机系统标定方法", 《小型微型计算机系统》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663524A (zh) * 2022-03-09 2022-06-24 禾多科技(北京)有限公司 多相机在线标定方法、装置、电子设备和计算机可读介质
CN114758005A (zh) * 2022-03-23 2022-07-15 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114820807A (zh) * 2022-03-24 2022-07-29 北京的卢深视科技有限公司 屏幕-相机的标定方法、系统、标定设备和存储介质
CN114742905A (zh) * 2022-06-13 2022-07-12 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质
WO2024012405A1 (zh) * 2022-07-11 2024-01-18 华为技术有限公司 一种标定方法及装置
CN115661269A (zh) * 2022-11-18 2023-01-31 深圳市智绘科技有限公司 相机与激光雷达的外参标定方法、装置及存储介质
CN115661269B (zh) * 2022-11-18 2023-03-10 深圳市智绘科技有限公司 相机与激光雷达的外参标定方法、装置及存储介质
CN116952132A (zh) * 2023-07-27 2023-10-27 湖南视比特机器人有限公司 多目视觉测量的分区标定方法及系统

Also Published As

Publication number Publication date
CN114004901B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN114004901B (zh) 多相机标定方法、装置、终端设备及可读存储介质
Ishikawa et al. Lidar and camera calibration using motions estimated by sensor fusion odometry
US11503275B2 (en) Camera calibration system, target, and process
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
US6437823B1 (en) Method and system for calibrating digital cameras
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN108416812B (zh) 一种单摄像机镜像双目视觉系统的标定方法
CN108470370A (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
CN110099267A (zh) 梯形校正系统、方法以及投影仪
Miyagawa et al. Simple camera calibration from a single image using five points on two orthogonal 1-D objects
CN110360991A (zh) 一种摄影测量方法、装置及存储介质
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
EP3144894A1 (en) Method and system for calibrating an image acquisition device and corresponding computer program product
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
Gasparini et al. Plane-based calibration of central catadioptric cameras
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN112164119B (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN114820798A (zh) 一种标定器匹配方法及装置
JP2007034964A (ja) カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム
CN114299153A (zh) 一种超大电力设备的相机阵列同步标定方法及系统
Puig et al. Hybrid homographies and fundamental matrices mixing uncalibrated omnidirectional and conventional cameras
Tommaselli et al. Registration and fusion of multiple images acquired with medium format cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant