CN114092564A - 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 - Google Patents

无重叠视域多相机系统的外参数标定方法、系统、终端及介质 Download PDF

Info

Publication number
CN114092564A
CN114092564A CN202111270736.7A CN202111270736A CN114092564A CN 114092564 A CN114092564 A CN 114092564A CN 202111270736 A CN202111270736 A CN 202111270736A CN 114092564 A CN114092564 A CN 114092564A
Authority
CN
China
Prior art keywords
camera
relative
optical tracking
calibration
tracking system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111270736.7A
Other languages
English (en)
Other versions
CN114092564B (zh
Inventor
王一夫
康智文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202111270736.7A priority Critical patent/CN114092564B/zh
Publication of CN114092564A publication Critical patent/CN114092564A/zh
Application granted granted Critical
Publication of CN114092564B publication Critical patent/CN114092564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明的无重叠视域多相机系统的外参数标定方法、系统、终端及介质,基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。

Description

无重叠视域多相机系统的外参数标定方法、系统、终端及介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及无重叠视域多相机系统的外参数标定方法、系统、终端及介质。
背景技术
近年来,机器人、无人机、自动驾驶、VR/AR等产品和技术的持续火爆,正在逐步渗透社会生活的各个领域,并社会和工业的发展起到显著的促进作用。上述这些智能移动设备通常需要感知和认知周边的环境并且进行实时的定位,这种即使定位与地图重建的技术被称为SLAM技术。SLAM技术通常需要依靠板载传感器提供的信息,例如视觉相机,惯性测量单元(IMU),激光雷达和轮速传感器等多种传感器,其中相机凭借、轻便、低功耗的的特点以及获取信息丰富,特征区分度高的优势,在智能移动终端上有着其他传感器无法替代的优势。
在智能车辆系统和无人机等高机动平台上,这些技术期望对周边环境进行360度全方位感知,由于单个相机的视场角有限,因此通常使用由多个相机组成的环视多相机系统。然而,为了充分发挥环视多相机系统的优势,不仅需要实现精确的相机间时间同步以及各相机的内参数标定,还需要校准多个相机之间的相机外参数。但是在兼顾环视无死角的需求和低功耗低成本考量的前提下,设备上装配的相机数量有限。此时的相机之间通常会有很大的间隔,并且某些相机之间没有或只有很小的重叠视野区域,这使得直接依赖经典立体视觉约束的方法无法或很难使用;并且当多相机系统安装在大型移动平台诸如无人车时,这使得那些通过在标定板前移动相机的普通标定方法难以实现。这些情况使得环视多相机系统的相机间外参数标定非常困难。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供无重叠视域多相机系统的外参数标定方法、系统、终端及介质,解决现有技术中的多相机系统的外参数标定方案标定过程复杂,同时标定精度较低等问题。
为实现上述目标及其他相关目标,本申请提供一种无重叠视域多相机系统的外参数标定系统,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述方法包括:基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
于本申请的一或多个实施例中,所述基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿包括:基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;若是,则进行下一步;若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
于本申请的一或多个实施例中,所述基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得该待标定相机在各帧图像下相对于所述标定板的相对位姿以及与该待标定相机同步的光学追踪系统在各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿的方式包括:基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;基于PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
于本申请的一或多个实施例中,所述根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿包括:根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
于本申请的一或多个实施例中,所述第一线性方程组为:
Figure BDA0003328659480000031
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000032
为Kronecker积,
Figure BDA0003328659480000033
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,
Figure BDA0003328659480000034
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};
Figure BDA0003328659480000035
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
Figure BDA0003328659480000036
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000037
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,
Figure BDA0003328659480000038
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,
Figure BDA0003328659480000039
为与序号为j的相机时间同步的光学追踪系统在第i 帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,
Figure BDA00033286594800000310
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
为实现上述目标及其他相关目标,本申请提供一种无重叠视域多相机系统的外参数标定系统,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述系统包括:数据收集模块,用于基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;计算模块,连接所述相机相对位姿数据收集模块,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;外参数获取模块,连接所述计算模块,根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
于本申请的一或多个实施例中,所述计算模块包括:几何约束构建单元,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;方程组转换单元,连接所述几何约束构建单元,用于基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
相对旋转量计算单元,连接所述方程组转换单元,用于基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;相对平移量计算单元,连接所述相对旋转量计算单元,用于基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;相对位姿获取单元,连接相对平移量计算单元,用于获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
于本申请的一或多个实施例中,所述第一线性方程组为:
Figure BDA0003328659480000041
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000042
为Kronecker积,
Figure BDA0003328659480000043
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,
Figure BDA0003328659480000044
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};
Figure BDA0003328659480000051
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
Figure BDA0003328659480000052
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000053
为第i帧图像所述标定板的坐标系相对于序号为j的相机的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,
Figure BDA0003328659480000054
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,
Figure BDA0003328659480000055
与序号为j的相机时间同步的光学追踪系统在第 i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,
Figure BDA0003328659480000056
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
为实现上述目的及其他相关目的,本发明提供一种无重叠视域多相机系统的外参数标定终端,包括:存储器,用于存储计算机程序;处理器,用于执行所述的无重叠视域多相机系统的外参数标定方法。
为实现上述目的及其他相关目的,本发明提供一种计算机存储介质,存储有计算机程序,所述计算机程序运行时实现所述的无重叠视域多相机系统的外参数标定方法。
如上所述,本申请的无重叠视域多相机系统的外参数标定方法、系统、终端及介质,本发明通过引入了光学追踪系统基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿,以获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。
附图说明
图1显示为本申请实施例中无重叠视域多相机系统的外参数标定方法的流程示意图。
图2显示为本申请实施例中应用于车载环视多相机系统的外参数标定方法的流程示意图。
图3显示为本申请实施例中无重叠视域多相机系统的外参数标定系统的结构示意图。
图4显示为本申请实施例中无重叠视域多相机系统的外参数标定终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统,本说明书中的各项细节也可以基于不同观点与应用系统,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考,针对本申请的实施例进行详细说明,以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现,并不限定于此处说明的实施例。
为了明确说明本申请,省略与说明无关的部件,对于通篇说明书中相同或类似的构成要素,赋予了相同的参照符号。
在通篇说明书中,当说某部件与另一部件“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种部件“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时,这可以是直接在另一部件之上,但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时,其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一接口及第二接口等描述。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和 C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例,并非意在限定本申请。此处使用的单数形态,只要语句未明确表示出与之相反的意义,那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化,并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义,但包括此处使用的技术术语及科学术语,所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义,只要未进行定义,不得过度解释为理想的或非常公式性的意义。
本发明提供一种无重叠视域多相机系统的外参数标定方法,通过引入了光学追踪系统基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿,以获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。
下面以附图为参考,针对本发明的实施例进行详细说明,以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现,并不限于此处说明的实施例。
如图1所示,展示本发明实施例中的无重叠视域多相机系统的外参数标定方法的流程示意图。
应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统;所述无重叠多相机系统中的各相机按次序逐一启动且所有相机已经标定好内参数,并保证将启动的每个相机设定为与所述光学追踪系统精准的时间同步。
所述方法包括:
步骤S1:基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
详细来说,所述标定板正面具有多个特征图像,且表面设置有多个立体形状的标记点,各标记点可构成刚体模型,确保在标定过程期间该刚体模型可以持续被光学追踪系统准确定位其位置和姿态。
各相机在各帧图像下相对于所述标定板的相对位姿包括:各相机在各帧图像下相对于所述标定板的相对旋转矩阵以及相对平移量;与所述各相机时间同步的光学追踪系统在各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿包括:光学追踪系统在对应各相机的各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对旋转矩阵以及相对平移量。
可选的,在当前待标定相机前移动标定板,使得该标定板的正面朝向待标定相机,获取各相机依次对在其前移动的标定板正面拍摄的多帧图像,基于对应各相机拍摄的各帧图像分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
可选的,步骤S1包括:
步骤S11:基于一作为待标定相机的无重叠视域多相机系统中的一相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
步骤S12:判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;具体的,各相机是否均获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
若是,则进行下一步S2;
若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
可选的,步骤S11包括:
基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;
基于计算机视觉中经典的PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;其中,所述标定板的图案规格信息包括:各子特征图案的大小尺寸及位置信息等信息。
获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
步骤S11还可包括以上两种实现方式:
第一种方式:
基于无重叠视域多相机系统中一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的当前帧图像,获得各特征图案在当前帧图像上的2D像素坐标;基于 PnP算法,根据各特征图案的规格信息以及各特征图案位于当前帧图像上2D像素坐标计算对应当前帧图像的待标定相机相对于所述标定板的相对位姿;获得与该待标定相机同步的光学追踪系统在当前帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿;
判断拍摄的当前帧图像是否为预设该待标定相机拍摄的最后一帧图像;
若是,则进行下一步;
若否,则令所述待标定相机采集下一帧图像并将该图像作为当前帧图像,并重复上述步骤。
第二种方式:
获取待标定相机对在其前移动的定板正面拍摄的所有设定帧的图像,并基于各帧图像获得各特征图案在分别在各帧图像上的2D像素坐标;基于计算机视觉中经典的PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;其中,所述标定板的图案规格信息包括:各子特征图案的大小尺寸及位置信息等信息。获得与该待标定相机同步的光学追踪系统在该待标定相机拍摄各帧图像时自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿。
步骤S2:根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿。
可选的,步骤S2包括:基于机器人领域常用的手眼标定约束,根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;基于所述手眼标定几何约束,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量、由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量、所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量,获得各相机相对于所述光学追踪系统的相对位姿。
可选的,步骤S2包括:
根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;
基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;
基于所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量,获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
可选的,根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束:
Figure BDA0003328659480000101
其中,
Figure BDA0003328659480000102
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿,
Figure BDA0003328659480000103
为与序号为 j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿;Xj为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对位姿,Y为所述刚体模型与标定板上特征图案之间相对位姿;且i∈{1,…,Nj},j∈{1,…,m}。
其中,
Figure BDA0003328659480000104
包括:第i帧图像下所述标定板的坐标系相对于序号为j的相机的相对位姿中的相对旋转矩阵
Figure BDA0003328659480000105
以及相对平移量
Figure BDA0003328659480000106
Figure BDA0003328659480000107
包括:与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵
Figure BDA0003328659480000108
以及相对平移量
Figure BDA0003328659480000109
利用手眼几何约束计算各相机相对于所述光学追踪系统的相对位姿的问题可以转化为利用下述线性方程先求解旋转参数,再带入求解平移参数的两步法求解未知参数Xj和Y。因此,需要将所述手眼标定几何约束转换为下述线性方程:
Figure BDA0003328659480000111
基于Kronecker积的计算方式,将所述手眼标定几何约束
Figure BDA0003328659480000112
转换为第一线性方程组(3)以及第二线性方程组(4);
其中,所述第一线性方程组为:
Figure BDA0003328659480000113
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000114
为Kronecker积,
Figure BDA0003328659480000115
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,
Figure BDA0003328659480000116
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};
Figure BDA0003328659480000117
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
其中,所述第二线性方程组为:
Figure BDA0003328659480000118
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000119
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,
Figure BDA00033286594800001110
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,
Figure BDA00033286594800001111
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,
Figure BDA00033286594800001112
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
通过第一线性方程组(3)计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量
Figure BDA00033286594800001113
以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量RY
将第一个线性方程组解得的所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量
Figure BDA00033286594800001114
带入第二个线性方程组(4),同理可得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量
Figure BDA0003328659480000121
以及所述刚体模型与标定板上特征图案之间相对平移量tY
基于所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量,获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
可选的,利用奇异值分解(SVD)方法通过第一线性方程组(3)计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量
Figure BDA0003328659480000122
以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量RY
步骤S3:根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
可选的,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及相对平移量,以获得无重叠视域多相机系统的外参数。
为了更好的描述所述无重叠视域多相机系统的外参数标定方法,提供一具体实施例进行说明;
实施例1:一种应用于车载环视多相机系统的外参数标定方法,图2为本实施例中应用于车载环视多相机系统的外参数标定方法的流程示意图。
应用于该系统在标定场景中设置有车载环视多相机系统,且并列放置有重叠视域双目相机进行外参数标定,还设置有可设定与各相机时间同步的搭配其配套esync2同步器设备的optitrack光学追踪系统。
所述方法包括:
基于车载环视多相机系统中启动的一待标定相机对在其前移动的标定板进行拍摄的当前帧图像,获得各特征图案在当前帧图像上的2D像素坐标;
基于PnP算法,解算对应当前帧图像的待标定相机相对于所述标定板的相对位姿;
将解算的位姿与从光学追踪系统获得的标记点位姿进行逐一配准;
判断是否有足够观测数据以供当前相机标定;
若是,则进行下一步;若否,则令所述待标定相机采集下一帧图像并将该图像作为当前帧图像,并重复上述步骤;
判断所述无重叠视域多相机系统已完成全部相机数据收集;
若是,则进行下一步;若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤;
通过配准的位姿对和多相机间的手眼标定约束解算相机系统外参数。
通过若干组实验,最终证明本申请所提出的外参数标定方法可以应用在实际场景中,并且与学术界先进的Shah,Li,Tabb等人提出的方法进行比较,本方法获得了更好的结果。在不同安装了多相机系统的平台上测试了本方法,首先是配有4个朝向不同方向的鱼眼相机的多相机系统,该系统的各相机之间没有重叠共视区域,与不同方法比较的结果如表1中 surround-view dataset所示;
此外,实验同样在有重叠视域的双目相机系统上测试,与不同方法比较的结果如表1中 stereo dataset所示。最后,对于stereo dataset序列,尽管相机间有共视区域,但是外参数计算过程中并未使用共视信息,而是将利用双目立体视觉标定的外参数作为真实外参数GT,与其他方法比较来验证算法准确度,结果如表2所示。
表1.本实施例与学术界现有方法结果对照表
Figure BDA0003328659480000131
表2.各不同标定方法与真实外参数结果对比
Figure BDA0003328659480000132
表1中的误差度量使用常规的手眼标定几何约束表示,其中eR表示旋转误差,单位为度, et表示平移误差,单位为米。表2中的tx、ty、tz分别表示双目相机间外参数的平移部分,yaw、 pitch、roll是以欧拉角形式表示的旋转部分。
从表1和表2可以看出,本方法在两项真实测试中的结果优于现有学术界的方法,并且计算结果与真实值非常接近,旋转误差精确到度,平移误差精确到厘米级。此外,本方法由于采用高度线性化的闭式解的求解方式计算外参数,用时非常短,在8核cpu的普通台式机上仅需数毫秒即可完成标定任务。上述结果均证明了本方法的有效性和优越性。
与上述实施例原理相似的是,本发明提供一种无重叠视域多相机系统的外参数标定系统,可以应用于终端中,例如手机,平板电脑等终端。
以下结合附图提供具体实施例:
如图3展示本发明实施例中的一种无重叠视域多相机系统的外参数标定系统的结构示意图。
所述系统包括:
数据收集模块31,用于基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
计算模块32,连接所述相机相对位姿数据收集模块31,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;
外参数获取模块33,连接所述计算模块32,根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
需说明的是,应理解图3系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现;
例如各模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
因此,由于该无重叠视域多相机系统的外参数标定系统的实现原理已在前述实施例中进行了叙述,因此此处不作重复赘述。
可选的,所述数据收集模块31用于基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;若是,则进行下一步;若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
可选的,所述数据收集模块31用于基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;基于PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D 像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
可选的,所述计算模块32包括:几何约束构建单元,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;方程组转换单元,连接所述几何约束构建单元,用于基于Kronecker 积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;相对旋转量计算单元,连接所述方程组转换单元,用于基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;相对平移量计算单元,连接所述相对旋转量计算单元,用于基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;相对位姿获取单元,连接相对平移量计算单元,用于获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
可选的,所述第一线性方程组为:
Figure BDA0003328659480000151
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000152
为Kronecker积,
Figure BDA0003328659480000153
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,
Figure BDA0003328659480000154
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};
Figure BDA0003328659480000155
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;所述第二线性方程组为:
Figure BDA0003328659480000161
其中,I为3*3的单位矩阵,
Figure BDA0003328659480000162
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,
Figure BDA0003328659480000163
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,
Figure BDA0003328659480000164
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,
Figure BDA0003328659480000165
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
如图4展示本发明实施例中的无重叠视域多相机系统的外参数标定终端40的结构示意图。
所述无重叠视域多相机系统的外参数标定终端40包括:存储器41及处理器42所述存储器41用于存储计算机程序;所述处理器42运行计算机程序实现如图1所述的无重叠视域多相机系统的外参数标定方法。
可选的,所述存储器41的数量均可以是一或多个,所述处理器42的数量均可以是一或多个,而图4中均以一个为例。
可选的,所述无重叠视域多相机系统的外参数标定终端40中的处理器42会按照如图1 所述的步骤,将一个或多个以应用程序的进程对应的指令加载到存储器41中,并由处理器 42来运行存储在第一存储器41中的应用程序,从而实现如图1所述无重叠视域多相机系统的外参数标定方法中的各种功能。
可选的,所述存储器41,可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备;所述处理器42,可能包括但不限于中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路 (Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的,所述处理器42可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质,存储有计算机程序,所述计算机程序运行时实现如图1所示的无重叠视域多相机系统的外参数标定方法。所述计算机可读存储介质可包括,但不限于,软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品,也可以是已接入计算机设备使用的部件。
综上所述,本申请的无重叠视域多相机系统的外参数标定方法、系统、终端及介质,本发明通过引入了光学追踪系统基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿,以获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种无重叠视域多相机系统的外参数标定方法,其特征在于,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述方法包括:
基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;
根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
2.根据权利要求1中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿包括:
基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;
若是,则进行下一步;
若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
3.根据权利要求1或2中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得该待标定相机在各帧图像下相对于所述标定板的相对位姿以及与该待标定相机同步的光学追踪系统在各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿的方式包括:
基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;
基于PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;
获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
4.根据权利要求1中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿包括:
根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;
基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;
获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
5.根据权利要求4中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述第一线性方程组为:
Figure FDA0003328659470000021
其中,I为3*3的单位矩阵,
Figure FDA0003328659470000022
为Kronecker积,
Figure FDA0003328659470000023
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,
Figure FDA0003328659470000024
为与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};
Figure FDA0003328659470000036
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
Figure FDA0003328659470000031
其中,I为3*3的单位矩阵,
Figure FDA0003328659470000032
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,
Figure FDA0003328659470000033
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,
Figure FDA0003328659470000034
为与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,
Figure FDA0003328659470000035
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
6.一种基于无重叠视域多相机系统的外参数标定系统,其特征在于,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述系统包括:
数据收集模块,用于基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
计算模块,连接所述相机相对位姿数据收集模块,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;
外参数获取模块,连接所述计算模块,根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
7.根据权利要求6中所述的无重叠视域多相机系统的外参数标定系统,其特征在于,所述计算模块包括:
几何约束构建单元,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;
方程组转换单元,连接所述几何约束构建单元,用于基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
相对旋转量计算单元,连接所述方程组转换单元,用于基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
相对平移量计算单元,连接所述相对旋转量计算单元,用于基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;
相对位姿获取单元,连接相对平移量计算单元,用于获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
8.根据权利要求7中所述的无重叠视域多相机系统的外参数标定系统,其特征在于,所述第一线性方程组为:
Figure FDA0003328659470000041
其中,I为3*3的单位矩阵,
Figure FDA0003328659470000042
为Kronecker积,
Figure FDA0003328659470000043
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,
Figure FDA0003328659470000044
与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};
Figure FDA0003328659470000045
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
Figure FDA0003328659470000046
其中,I为3*3的单位矩阵,
Figure FDA0003328659470000047
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,
Figure FDA0003328659470000048
为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,
Figure FDA0003328659470000051
为与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,
Figure FDA0003328659470000052
为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
9.一种无重叠视域多相机系统的外参数标定终端,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行如权利要求1至5中任一项所述的无重叠视域多相机系统的外参数标定方法。
10.一种计算机存储介质,其特征在于,存储有计算机程序,所述计算机程序运行时实现如权利要求1至5中任一项所述的无重叠视域多相机系统的外参数标定方法。
CN202111270736.7A 2021-10-29 2021-10-29 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 Active CN114092564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111270736.7A CN114092564B (zh) 2021-10-29 2021-10-29 无重叠视域多相机系统的外参数标定方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111270736.7A CN114092564B (zh) 2021-10-29 2021-10-29 无重叠视域多相机系统的外参数标定方法、系统、终端及介质

Publications (2)

Publication Number Publication Date
CN114092564A true CN114092564A (zh) 2022-02-25
CN114092564B CN114092564B (zh) 2024-04-09

Family

ID=80298258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111270736.7A Active CN114092564B (zh) 2021-10-29 2021-10-29 无重叠视域多相机系统的外参数标定方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN114092564B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742905A (zh) * 2022-06-13 2022-07-12 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108717714A (zh) * 2018-05-23 2018-10-30 曜科智能科技(上海)有限公司 多相机标定方法、标定系统、存储介质、及电子设备
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
US10585344B1 (en) * 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN112669389A (zh) * 2020-12-08 2021-04-16 深圳先进技术研究院 一种基于视觉引导的自动化标定系统
WO2021129791A1 (zh) * 2019-12-27 2021-07-01 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585344B1 (en) * 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN108717714A (zh) * 2018-05-23 2018-10-30 曜科智能科技(上海)有限公司 多相机标定方法、标定系统、存储介质、及电子设备
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机系统的外参数标定方法
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
WO2021129791A1 (zh) * 2019-12-27 2021-07-01 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN112669389A (zh) * 2020-12-08 2021-04-16 深圳先进技术研究院 一种基于视觉引导的自动化标定系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张旭;贾君慧;张刚;: "基于镜面反射的手眼标定方法", 中国机械工程, no. 10, 24 May 2018 (2018-05-24), pages 23 - 28 *
王刚;尚洋;关棒磊;于起峰;: "无重叠视场多相机组安装关系的灵活标定", 中国激光, no. 06, 31 December 2017 (2017-12-31), pages 207 - 213 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742905A (zh) * 2022-06-13 2022-07-12 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114092564B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN110738143B (zh) 定位方法及装置、设备、存储介质
CN110176032B (zh) 一种三维重建方法及装置
CN110705574B (zh) 定位方法及装置、设备、存储介质
EP3028252B1 (en) Rolling sequential bundle adjustment
WO2021208442A1 (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN107990940B (zh) 一种基于立体视觉测量技术的运动物体追踪方法
US10438366B2 (en) Method for fast camera pose refinement for wide area motion imagery
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN106991705B (zh) 一种基于p3p算法的位置参数估计方法
CN109767470B (zh) 一种跟踪系统初始化方法及终端设备
CN111220126A (zh) 一种基于点特征和单目相机的空间物体位姿测量方法
CN111791235B (zh) 一种机器人多相机视觉惯性点线特征定位方法及装置
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
KR102309608B1 (ko) 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
CN115797256B (zh) 基于无人机的隧道岩体结构面信息的处理方法以及装置
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
CN114092564B (zh) 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
WO2022088613A1 (zh) 一种机器人的定位方法及装置、设备、存储介质
CN110243339A (zh) 一种单目摄像头定位方法、装置、可读存储介质及电子终端
An et al. Image-based positioning system using LED Beacon based on IoT central management
CN103489165A (zh) 一种面向视频拼接的小数查找表生成方法
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant