CN114092564A - 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 - Google Patents
无重叠视域多相机系统的外参数标定方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN114092564A CN114092564A CN202111270736.7A CN202111270736A CN114092564A CN 114092564 A CN114092564 A CN 114092564A CN 202111270736 A CN202111270736 A CN 202111270736A CN 114092564 A CN114092564 A CN 114092564A
- Authority
- CN
- China
- Prior art keywords
- camera
- relative
- optical tracking
- calibration
- tracking system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 153
- 238000013519 translation Methods 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000733322 Platea Species 0.000 description 1
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明的无重叠视域多相机系统的外参数标定方法、系统、终端及介质,基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。
Description
技术领域
本申请涉及计算机视觉技术领域,尤其涉及无重叠视域多相机系统的外参数标定方法、系统、终端及介质。
背景技术
近年来,机器人、无人机、自动驾驶、VR/AR等产品和技术的持续火爆,正在逐步渗透社会生活的各个领域,并社会和工业的发展起到显著的促进作用。上述这些智能移动设备通常需要感知和认知周边的环境并且进行实时的定位,这种即使定位与地图重建的技术被称为SLAM技术。SLAM技术通常需要依靠板载传感器提供的信息,例如视觉相机,惯性测量单元(IMU),激光雷达和轮速传感器等多种传感器,其中相机凭借、轻便、低功耗的的特点以及获取信息丰富,特征区分度高的优势,在智能移动终端上有着其他传感器无法替代的优势。
在智能车辆系统和无人机等高机动平台上,这些技术期望对周边环境进行360度全方位感知,由于单个相机的视场角有限,因此通常使用由多个相机组成的环视多相机系统。然而,为了充分发挥环视多相机系统的优势,不仅需要实现精确的相机间时间同步以及各相机的内参数标定,还需要校准多个相机之间的相机外参数。但是在兼顾环视无死角的需求和低功耗低成本考量的前提下,设备上装配的相机数量有限。此时的相机之间通常会有很大的间隔,并且某些相机之间没有或只有很小的重叠视野区域,这使得直接依赖经典立体视觉约束的方法无法或很难使用;并且当多相机系统安装在大型移动平台诸如无人车时,这使得那些通过在标定板前移动相机的普通标定方法难以实现。这些情况使得环视多相机系统的相机间外参数标定非常困难。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供无重叠视域多相机系统的外参数标定方法、系统、终端及介质,解决现有技术中的多相机系统的外参数标定方案标定过程复杂,同时标定精度较低等问题。
为实现上述目标及其他相关目标,本申请提供一种无重叠视域多相机系统的外参数标定系统,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述方法包括:基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
于本申请的一或多个实施例中,所述基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿包括:基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;若是,则进行下一步;若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
于本申请的一或多个实施例中,所述基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得该待标定相机在各帧图像下相对于所述标定板的相对位姿以及与该待标定相机同步的光学追踪系统在各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿的方式包括:基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;基于PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
于本申请的一或多个实施例中,所述根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿包括:根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
于本申请的一或多个实施例中,所述第一线性方程组为:
其中,I为3*3的单位矩阵,为Kronecker积,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
其中,I为3*3的单位矩阵,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,为与序号为j的相机时间同步的光学追踪系统在第i 帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
为实现上述目标及其他相关目标,本申请提供一种无重叠视域多相机系统的外参数标定系统,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述系统包括:数据收集模块,用于基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;计算模块,连接所述相机相对位姿数据收集模块,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;外参数获取模块,连接所述计算模块,根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
于本申请的一或多个实施例中,所述计算模块包括:几何约束构建单元,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;方程组转换单元,连接所述几何约束构建单元,用于基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
相对旋转量计算单元,连接所述方程组转换单元,用于基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;相对平移量计算单元,连接所述相对旋转量计算单元,用于基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;相对位姿获取单元,连接相对平移量计算单元,用于获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
于本申请的一或多个实施例中,所述第一线性方程组为:
其中,I为3*3的单位矩阵,为Kronecker积,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
其中,I为3*3的单位矩阵,为第i帧图像所述标定板的坐标系相对于序号为j的相机的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,与序号为j的相机时间同步的光学追踪系统在第 i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
为实现上述目的及其他相关目的,本发明提供一种无重叠视域多相机系统的外参数标定终端,包括:存储器,用于存储计算机程序;处理器,用于执行所述的无重叠视域多相机系统的外参数标定方法。
为实现上述目的及其他相关目的,本发明提供一种计算机存储介质,存储有计算机程序,所述计算机程序运行时实现所述的无重叠视域多相机系统的外参数标定方法。
如上所述,本申请的无重叠视域多相机系统的外参数标定方法、系统、终端及介质,本发明通过引入了光学追踪系统基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿,以获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。
附图说明
图1显示为本申请实施例中无重叠视域多相机系统的外参数标定方法的流程示意图。
图2显示为本申请实施例中应用于车载环视多相机系统的外参数标定方法的流程示意图。
图3显示为本申请实施例中无重叠视域多相机系统的外参数标定系统的结构示意图。
图4显示为本申请实施例中无重叠视域多相机系统的外参数标定终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统,本说明书中的各项细节也可以基于不同观点与应用系统,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考,针对本申请的实施例进行详细说明,以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现,并不限定于此处说明的实施例。
为了明确说明本申请,省略与说明无关的部件,对于通篇说明书中相同或类似的构成要素,赋予了相同的参照符号。
在通篇说明书中,当说某部件与另一部件“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种部件“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时,这可以是直接在另一部件之上,但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时,其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一接口及第二接口等描述。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和 C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例,并非意在限定本申请。此处使用的单数形态,只要语句未明确表示出与之相反的意义,那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化,并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义,但包括此处使用的技术术语及科学术语,所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义,只要未进行定义,不得过度解释为理想的或非常公式性的意义。
本发明提供一种无重叠视域多相机系统的外参数标定方法,通过引入了光学追踪系统基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿,以获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。
下面以附图为参考,针对本发明的实施例进行详细说明,以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现,并不限于此处说明的实施例。
如图1所示,展示本发明实施例中的无重叠视域多相机系统的外参数标定方法的流程示意图。
应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统;所述无重叠多相机系统中的各相机按次序逐一启动且所有相机已经标定好内参数,并保证将启动的每个相机设定为与所述光学追踪系统精准的时间同步。
所述方法包括:
步骤S1:基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
详细来说,所述标定板正面具有多个特征图像,且表面设置有多个立体形状的标记点,各标记点可构成刚体模型,确保在标定过程期间该刚体模型可以持续被光学追踪系统准确定位其位置和姿态。
各相机在各帧图像下相对于所述标定板的相对位姿包括:各相机在各帧图像下相对于所述标定板的相对旋转矩阵以及相对平移量;与所述各相机时间同步的光学追踪系统在各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿包括:光学追踪系统在对应各相机的各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对旋转矩阵以及相对平移量。
可选的,在当前待标定相机前移动标定板,使得该标定板的正面朝向待标定相机,获取各相机依次对在其前移动的标定板正面拍摄的多帧图像,基于对应各相机拍摄的各帧图像分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
可选的,步骤S1包括:
步骤S11:基于一作为待标定相机的无重叠视域多相机系统中的一相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
步骤S12:判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;具体的,各相机是否均获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
若是,则进行下一步S2;
若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
可选的,步骤S11包括:
基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;
基于计算机视觉中经典的PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;其中,所述标定板的图案规格信息包括:各子特征图案的大小尺寸及位置信息等信息。
获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
步骤S11还可包括以上两种实现方式:
第一种方式:
基于无重叠视域多相机系统中一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的当前帧图像,获得各特征图案在当前帧图像上的2D像素坐标;基于 PnP算法,根据各特征图案的规格信息以及各特征图案位于当前帧图像上2D像素坐标计算对应当前帧图像的待标定相机相对于所述标定板的相对位姿;获得与该待标定相机同步的光学追踪系统在当前帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿;
判断拍摄的当前帧图像是否为预设该待标定相机拍摄的最后一帧图像;
若是,则进行下一步;
若否,则令所述待标定相机采集下一帧图像并将该图像作为当前帧图像,并重复上述步骤。
第二种方式:
获取待标定相机对在其前移动的定板正面拍摄的所有设定帧的图像,并基于各帧图像获得各特征图案在分别在各帧图像上的2D像素坐标;基于计算机视觉中经典的PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;其中,所述标定板的图案规格信息包括:各子特征图案的大小尺寸及位置信息等信息。获得与该待标定相机同步的光学追踪系统在该待标定相机拍摄各帧图像时自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿。
步骤S2:根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿。
可选的,步骤S2包括:基于机器人领域常用的手眼标定约束,根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;基于所述手眼标定几何约束,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量、由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量、所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量,获得各相机相对于所述光学追踪系统的相对位姿。
可选的,步骤S2包括:
根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;
基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;
基于所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量,获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
可选的,根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束:
其中,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿,为与序号为 j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿;Xj为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对位姿,Y为所述刚体模型与标定板上特征图案之间相对位姿;且i∈{1,…,Nj},j∈{1,…,m}。
其中,包括:第i帧图像下所述标定板的坐标系相对于序号为j的相机的相对位姿中的相对旋转矩阵以及相对平移量 包括:与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵以及相对平移量
利用手眼几何约束计算各相机相对于所述光学追踪系统的相对位姿的问题可以转化为利用下述线性方程先求解旋转参数,再带入求解平移参数的两步法求解未知参数Xj和Y。因此,需要将所述手眼标定几何约束转换为下述线性方程:
其中,所述第一线性方程组为:
其中,I为3*3的单位矩阵,为Kronecker积,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
其中,所述第二线性方程组为:
其中,I为3*3的单位矩阵,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
将第一个线性方程组解得的所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量带入第二个线性方程组(4),同理可得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量tY。
基于所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量,获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
步骤S3:根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
可选的,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及相对平移量,以获得无重叠视域多相机系统的外参数。
为了更好的描述所述无重叠视域多相机系统的外参数标定方法,提供一具体实施例进行说明;
实施例1:一种应用于车载环视多相机系统的外参数标定方法,图2为本实施例中应用于车载环视多相机系统的外参数标定方法的流程示意图。
应用于该系统在标定场景中设置有车载环视多相机系统,且并列放置有重叠视域双目相机进行外参数标定,还设置有可设定与各相机时间同步的搭配其配套esync2同步器设备的optitrack光学追踪系统。
所述方法包括:
基于车载环视多相机系统中启动的一待标定相机对在其前移动的标定板进行拍摄的当前帧图像,获得各特征图案在当前帧图像上的2D像素坐标;
基于PnP算法,解算对应当前帧图像的待标定相机相对于所述标定板的相对位姿;
将解算的位姿与从光学追踪系统获得的标记点位姿进行逐一配准;
判断是否有足够观测数据以供当前相机标定;
若是,则进行下一步;若否,则令所述待标定相机采集下一帧图像并将该图像作为当前帧图像,并重复上述步骤;
判断所述无重叠视域多相机系统已完成全部相机数据收集;
若是,则进行下一步;若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤;
通过配准的位姿对和多相机间的手眼标定约束解算相机系统外参数。
通过若干组实验,最终证明本申请所提出的外参数标定方法可以应用在实际场景中,并且与学术界先进的Shah,Li,Tabb等人提出的方法进行比较,本方法获得了更好的结果。在不同安装了多相机系统的平台上测试了本方法,首先是配有4个朝向不同方向的鱼眼相机的多相机系统,该系统的各相机之间没有重叠共视区域,与不同方法比较的结果如表1中 surround-view dataset所示;
此外,实验同样在有重叠视域的双目相机系统上测试,与不同方法比较的结果如表1中 stereo dataset所示。最后,对于stereo dataset序列,尽管相机间有共视区域,但是外参数计算过程中并未使用共视信息,而是将利用双目立体视觉标定的外参数作为真实外参数GT,与其他方法比较来验证算法准确度,结果如表2所示。
表1.本实施例与学术界现有方法结果对照表
表2.各不同标定方法与真实外参数结果对比
表1中的误差度量使用常规的手眼标定几何约束表示,其中eR表示旋转误差,单位为度, et表示平移误差,单位为米。表2中的tx、ty、tz分别表示双目相机间外参数的平移部分,yaw、 pitch、roll是以欧拉角形式表示的旋转部分。
从表1和表2可以看出,本方法在两项真实测试中的结果优于现有学术界的方法,并且计算结果与真实值非常接近,旋转误差精确到度,平移误差精确到厘米级。此外,本方法由于采用高度线性化的闭式解的求解方式计算外参数,用时非常短,在8核cpu的普通台式机上仅需数毫秒即可完成标定任务。上述结果均证明了本方法的有效性和优越性。
与上述实施例原理相似的是,本发明提供一种无重叠视域多相机系统的外参数标定系统,可以应用于终端中,例如手机,平板电脑等终端。
以下结合附图提供具体实施例:
如图3展示本发明实施例中的一种无重叠视域多相机系统的外参数标定系统的结构示意图。
所述系统包括:
数据收集模块31,用于基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
计算模块32,连接所述相机相对位姿数据收集模块31,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;
外参数获取模块33,连接所述计算模块32,根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
需说明的是,应理解图3系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现;
例如各模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
因此,由于该无重叠视域多相机系统的外参数标定系统的实现原理已在前述实施例中进行了叙述,因此此处不作重复赘述。
可选的,所述数据收集模块31用于基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;若是,则进行下一步;若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
可选的,所述数据收集模块31用于基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;基于PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D 像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
可选的,所述计算模块32包括:几何约束构建单元,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;方程组转换单元,连接所述几何约束构建单元,用于基于Kronecker 积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;相对旋转量计算单元,连接所述方程组转换单元,用于基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;相对平移量计算单元,连接所述相对旋转量计算单元,用于基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;相对位姿获取单元,连接相对平移量计算单元,用于获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
可选的,所述第一线性方程组为:
其中,I为3*3的单位矩阵,为Kronecker积,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;所述第二线性方程组为:
其中,I为3*3的单位矩阵,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m},RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对平移量,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对平移量,为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对平移量,tY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对平移量。
如图4展示本发明实施例中的无重叠视域多相机系统的外参数标定终端40的结构示意图。
所述无重叠视域多相机系统的外参数标定终端40包括:存储器41及处理器42所述存储器41用于存储计算机程序;所述处理器42运行计算机程序实现如图1所述的无重叠视域多相机系统的外参数标定方法。
可选的,所述存储器41的数量均可以是一或多个,所述处理器42的数量均可以是一或多个,而图4中均以一个为例。
可选的,所述无重叠视域多相机系统的外参数标定终端40中的处理器42会按照如图1 所述的步骤,将一个或多个以应用程序的进程对应的指令加载到存储器41中,并由处理器 42来运行存储在第一存储器41中的应用程序,从而实现如图1所述无重叠视域多相机系统的外参数标定方法中的各种功能。
可选的,所述存储器41,可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备;所述处理器42,可能包括但不限于中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路 (Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的,所述处理器42可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质,存储有计算机程序,所述计算机程序运行时实现如图1所示的无重叠视域多相机系统的外参数标定方法。所述计算机可读存储介质可包括,但不限于,软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品,也可以是已接入计算机设备使用的部件。
综上所述,本申请的无重叠视域多相机系统的外参数标定方法、系统、终端及介质,本发明通过引入了光学追踪系统基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿,并构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿,以获得无重叠视域多相机系统的外参数。本发明克服了传统基于优化函数的方法需要合理初始值的问题,可以得到满足SLAM系统要求的精确外参数估计,并且仅需要逐一将相机和光学追踪系统同步,无需对所有相机进行同步,降低了硬件配置的难度。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种无重叠视域多相机系统的外参数标定方法,其特征在于,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述方法包括:
基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;
根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
2.根据权利要求1中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿包括:
基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
判断所述无重叠视域多相机系统中全部相机所需收集的相对位姿数据是否收集完毕;
若是,则进行下一步;
若否,则启动未收集相对位姿数据的一相机作为待标定相机,并重复以上步骤。
3.根据权利要求1或2中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得该待标定相机在各帧图像下相对于所述标定板的相对位姿以及与该待标定相机同步的光学追踪系统在各帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿的方式包括:
基于一待标定相机对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,获得各特征图案在分别在各帧图像上的2D像素坐标;
基于PnP算法,根据标定板的图案规格信息以及各特征图案分别在各帧图像上的2D像素坐标计算对应各帧图像的所述待标定相机相对于所述标定板的相对位姿;
获得各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿。
4.根据权利要求1中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿包括:
根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;
基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;
获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
5.根据权利要求4中所述的无重叠视域多相机系统的外参数标定方法,其特征在于,所述第一线性方程组为:
其中,I为3*3的单位矩阵,为Kronecker积,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,为与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
6.一种基于无重叠视域多相机系统的外参数标定系统,其特征在于,应用于无重叠视域多相机系统,该系统在标定场景中设置有多个相机以及可设定与各相机时间同步的光学追踪系统,所述系统包括:
数据收集模块,用于基于各相机依次对在其前移动的具有多个特征图像以及标记点的标定板正面拍摄的多帧图像,分别获得各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿;
计算模块,连接所述相机相对位姿数据收集模块,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束,计算各相机相对于所述光学追踪系统的相对位姿;
外参数获取模块,连接所述计算模块,根据各相机相对于所述光学追踪系统的相对位姿获得各个相机之间的相对位姿,以获得无重叠视域多相机系统的外参数。
7.根据权利要求6中所述的无重叠视域多相机系统的外参数标定系统,其特征在于,所述计算模块包括:
几何约束构建单元,用于根据各相机在各帧图像下相对于所述标定板的相对位姿以及各相机在拍摄各帧图像时各标记点所构成的刚体模型相对于与各相机时间同步的光学追踪系统自身坐标系原点的相对位姿构建所述无重叠视域多相机系统的手眼标定几何约束;
方程组转换单元,连接所述几何约束构建单元,用于基于Kronecker积的计算方式,将所述手眼标定几何约束转换为第一线性方程组以及第二线性方程组;
相对旋转量计算单元,连接所述方程组转换单元,用于基于所述第一线性方程组,计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量以及由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
相对平移量计算单元,连接所述相对旋转量计算单元,用于基于所述第二线性方程组,根据所述光学追踪系统自身坐标系原点相对于各相机的相对旋转量计算获得所述光学追踪系统自身坐标系原点相对于各相机的相对平移量以及所述刚体模型与标定板上特征图案之间相对平移量;
相对位姿获取单元,连接相对平移量计算单元,用于获得各相机相对于所述光学追踪系统坐标系原点的相对位姿。
8.根据权利要求7中所述的无重叠视域多相机系统的外参数标定系统,其特征在于,所述第一线性方程组为:
其中,I为3*3的单位矩阵,为Kronecker积,为序号为j的相机在第i帧图像下相对于所述标定板的相对位姿中的相对旋转矩阵,与序号为j的相机时间同步的光学追踪系统在第i帧图像下自身坐标系原点相对于由各标记点所构成的刚体模型的相对位姿中的相对旋转矩阵,且i∈{1,…,Nj},j∈{1,…,m};为所述光学追踪系统自身坐标系原点相对于序号为j的相机的相对旋转量,RY为由各标记点组成的刚体模型与所述标定板上的特征图案之间相对旋转量;
所述第二线性方程组为:
9.一种无重叠视域多相机系统的外参数标定终端,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行如权利要求1至5中任一项所述的无重叠视域多相机系统的外参数标定方法。
10.一种计算机存储介质,其特征在于,存储有计算机程序,所述计算机程序运行时实现如权利要求1至5中任一项所述的无重叠视域多相机系统的外参数标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111270736.7A CN114092564B (zh) | 2021-10-29 | 2021-10-29 | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111270736.7A CN114092564B (zh) | 2021-10-29 | 2021-10-29 | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114092564A true CN114092564A (zh) | 2022-02-25 |
CN114092564B CN114092564B (zh) | 2024-04-09 |
Family
ID=80298258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111270736.7A Active CN114092564B (zh) | 2021-10-29 | 2021-10-29 | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114092564B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742905A (zh) * | 2022-06-13 | 2022-07-12 | 魔视智能科技(武汉)有限公司 | 一种多相机参数标定方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648240A (zh) * | 2018-05-11 | 2018-10-12 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
CN108717714A (zh) * | 2018-05-23 | 2018-10-30 | 曜科智能科技(上海)有限公司 | 多相机标定方法、标定系统、存储介质、及电子设备 |
CN109360245A (zh) * | 2018-10-26 | 2019-02-19 | 魔视智能科技(上海)有限公司 | 无人驾驶车辆多相机系统的外参数标定方法 |
US10585344B1 (en) * | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
WO2021063127A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市瑞立视多媒体科技有限公司 | 多相机环境中主动式刚体的位姿定位方法及相关设备 |
CN112669389A (zh) * | 2020-12-08 | 2021-04-16 | 深圳先进技术研究院 | 一种基于视觉引导的自动化标定系统 |
WO2021129791A1 (zh) * | 2019-12-27 | 2021-07-01 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
-
2021
- 2021-10-29 CN CN202111270736.7A patent/CN114092564B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10585344B1 (en) * | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
CN108648240A (zh) * | 2018-05-11 | 2018-10-12 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
CN108717714A (zh) * | 2018-05-23 | 2018-10-30 | 曜科智能科技(上海)有限公司 | 多相机标定方法、标定系统、存储介质、及电子设备 |
CN109360245A (zh) * | 2018-10-26 | 2019-02-19 | 魔视智能科技(上海)有限公司 | 无人驾驶车辆多相机系统的外参数标定方法 |
WO2021063127A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市瑞立视多媒体科技有限公司 | 多相机环境中主动式刚体的位姿定位方法及相关设备 |
CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
WO2021129791A1 (zh) * | 2019-12-27 | 2021-07-01 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
CN112669389A (zh) * | 2020-12-08 | 2021-04-16 | 深圳先进技术研究院 | 一种基于视觉引导的自动化标定系统 |
Non-Patent Citations (2)
Title |
---|
张旭;贾君慧;张刚;: "基于镜面反射的手眼标定方法", 中国机械工程, no. 10, 24 May 2018 (2018-05-24), pages 23 - 28 * |
王刚;尚洋;关棒磊;于起峰;: "无重叠视场多相机组安装关系的灵活标定", 中国激光, no. 06, 31 December 2017 (2017-12-31), pages 207 - 213 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742905A (zh) * | 2022-06-13 | 2022-07-12 | 魔视智能科技(武汉)有限公司 | 一种多相机参数标定方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114092564B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN110738143B (zh) | 定位方法及装置、设备、存储介质 | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN110705574B (zh) | 定位方法及装置、设备、存储介质 | |
EP3028252B1 (en) | Rolling sequential bundle adjustment | |
WO2021208442A1 (zh) | 一种三维场景的重建系统、方法、设备及存储介质 | |
CN107990940B (zh) | 一种基于立体视觉测量技术的运动物体追踪方法 | |
US10438366B2 (en) | Method for fast camera pose refinement for wide area motion imagery | |
CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
CN111862180B (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
CN106991705B (zh) | 一种基于p3p算法的位置参数估计方法 | |
CN109767470B (zh) | 一种跟踪系统初始化方法及终端设备 | |
CN111220126A (zh) | 一种基于点特征和单目相机的空间物体位姿测量方法 | |
CN111791235B (zh) | 一种机器人多相机视觉惯性点线特征定位方法及装置 | |
CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
KR102309608B1 (ko) | 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법 | |
CN113888639B (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
CN115797256B (zh) | 基于无人机的隧道岩体结构面信息的处理方法以及装置 | |
AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
CN114092564B (zh) | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 | |
WO2022088613A1 (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
CN110243339A (zh) | 一种单目摄像头定位方法、装置、可读存储介质及电子终端 | |
An et al. | Image-based positioning system using LED Beacon based on IoT central management | |
CN103489165A (zh) | 一种面向视频拼接的小数查找表生成方法 | |
CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |