CN115018931A - 多路侧相机的外参标定方法、装置及电子设备、存储介质 - Google Patents

多路侧相机的外参标定方法、装置及电子设备、存储介质 Download PDF

Info

Publication number
CN115018931A
CN115018931A CN202210660699.9A CN202210660699A CN115018931A CN 115018931 A CN115018931 A CN 115018931A CN 202210660699 A CN202210660699 A CN 202210660699A CN 115018931 A CN115018931 A CN 115018931A
Authority
CN
China
Prior art keywords
camera
roadside
coordinate system
sampling point
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210660699.9A
Other languages
English (en)
Inventor
郭波
李战斌
张岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202210660699.9A priority Critical patent/CN115018931A/zh
Publication of CN115018931A publication Critical patent/CN115018931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种多路侧相机的外参标定方法、装置及电子设备、存储介质,该方法包括:获取多个路侧相机视野内的采样点信息,采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;利用多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;根据外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。本申请同时考虑了共视区域和非共视区域的采样点对多路侧相机标定结果的影响,基于共视区域内同一采样点的约束,使得联合标定得到的多路侧相机的外参在非共视区域内也具有较高的精度,为融合定位提供了有力支撑。

Description

多路侧相机的外参标定方法、装置及电子设备、存储介质
技术领域
本申请涉及相机标定技术领域,尤其涉及一种多路侧相机的外参标定方法、装置及电子设备、存储介质。
背景技术
相机外参通常是指世界坐标系到相机坐标系的变换矩阵,包括旋转矩阵和平移矩阵,相机的标定就是为了在相机安装后,通过某种方法得到上述变换矩阵。相机外参是将物体在真实世界的位置和图像中的像素位置连接起来的必要条件,在自动驾驶等领域中发挥了重要作用,因此,如何标定出准确的相机外参十分必要。
以自动驾驶领域中的交通路口场景为例,在交通路口的不同方向上往往存在多个路侧相机,现有的多相机外参联合标定方法主要是针对多个相机之间存在共同视野的情况,基于共同视野内的多个参考点进行联合标定。
而实际情况是,交通路口往往在不同杆体上分布有多个路侧相机,不同路侧相机视野的共视范围大小不一,当共视范围较小时,仅仅使用较小的共视范围内的参考点进行联合标定,会导致非共视范围的相机标定结果并不好,进而造成在非共视区域的定位点的定位误差较大。
发明内容
本申请实施例提供了一种多路侧相机的外参标定方法、装置及电子设备、存储介质,以提高多路侧相机的标定精度,进而提高自动驾驶车辆的融合定位精度。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种多路侧相机的外参标定方法,其中,所述方法包括:
获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
可选地,所述获取多个路侧相机视野内的采样点信息包括:
利用RTK实时差分测量设备采集各个采样点在全局世界坐标系下的坐标值;
将各个采样点在全局世界坐标系下的坐标值分别转换到以各个路侧相机为原点的局部世界坐标系下,得到各个采样点在各个路侧相机对应的局部世界坐标系下的真值。
可选地,所述利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型包括:
根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参;
利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型,以利用所述外参的非线性优化模型得到各个路侧相机的最终外参;
其中,所述第二采样点信息中的采样点不同于所述第一采样点信息中的采样点。
可选地,所述第一采样点信息包括多个第一采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参包括:
根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第一采样点,所述第一采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第一采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第一采样点在相机坐标系下的坐标值;
根据各个路侧相机对应的第一采样点在相机坐标系下的坐标值以及各个路侧相机对应的第一采样点在局部世界坐标系下的真值,计算各个路侧相机的初始外参。
可选地,所述第二采样点信息包括多个第二采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型包括:
根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第二采样点,所述第二采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第二采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第二采样点在相机坐标系下的坐标值;
利用所述各个路侧相机的初始外参,将各个路侧相机对应的第二采样点在相机坐标系下的坐标值转换到局部世界坐标系下,得到各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值;
根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型。
可选地,所述根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型包括:
确定各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值;
根据所述各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值,构建各个路侧相机的外参损失函数,所述外参损失函数包括3D均方根误差最小化函数;
根据各个路侧相机的外参损失函数构建所述外参的非线性优化模型。
可选地,所述根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参包括:
利用预设求解算法对所述外参的非线性优化模型进行求解,得到各个路侧相机的外参。
第二方面,本申请实施例还提供一种多路侧相机的外参标定装置,其中,所述装置包括:
获取单元,用于获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
构建单元,用于利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
标定单元,用于根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
第三方面,本申请实施例还提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请实施例的多路侧相机的外参标定方法,先获取多个路侧相机视野内的采样点信息,采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;然后利用多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;最后根据非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。本申请实施例的多路侧相机的外参标定方法基于实际的路侧场景,同时考虑了多路侧相机之间的共视区域和非共视区域的采样点对路侧相机标定结果的影响,基于共视区域内同一采样点的约束,使得联合标定得到的多路侧相机标定结果在共视区域和非共视区域内均具有较高的标定精度,为后续自动驾驶车辆的融合定位提供了有力支撑。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种多路侧相机的外参标定方法的流程示意图;
图2为本申请实施例中一种交通路口三个相机的共视区域内的两个参考点示意图;
图3为本申请实施例中一种单杆场景下多路侧相机的拍摄视野示意图;
图4为本申请实施例中一种多路侧相机的外参标定装置的结构示意图;
图5为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种多路侧相机的外参标定方法,如图1所示,提供了本申请实施例中一种多路侧相机的外参标定方法的流程示意图,所述方法至少包括如下的步骤S110至步骤S130:
步骤S110,获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点。
本申请实施例在进行外参标定时,需要先获取多个路侧相机在各自拍摄视野内对应的采样点信息,这里的采样点信息可以基于真值设备如RTK(Real-Time Kinematic,实时差分)测量设备和相机标定板采集得到,基于RTK实时差分测量设备可以获取到多个采样点在世界坐标系下的真值,基于相机标定板可以获取到多个采样点在图像坐标系下的真值。
共视区域指多个相机可以同时观测到同一个目标的区域,非共视区域指无法与其他相机同时观测到同一个目标的区域,即与其他相机的拍摄视野无重叠的区域。如图2所示,提供了本申请实施例中一种交通路口三个相机的共视区域内的两个参考点示意图,图2中的左上半部分、右上半部分和左下半部分的两个白色圆圈分别表示三个不同相机拍摄到的相同的两个参考点,右下半部分表示的是两个参考点在高精地图中的世界坐标点。
本申请实施例获取的多个采样点需要满足的条件是既要覆盖各个相机之间的共视区域,又要覆盖各个相机之间的非共视区域,例如,对于相机c1和相机c2,相机c1的拍摄视野为a1,相机c2的拍摄视野为a2,相机c1与相机c2的拍摄视野存在共视区域a0,那么采样点的采集规则可以是在共视区域a0内获取一定数量的采样点,在相机c1相对于相机c2的非共视区域a1-a0内获取一定数量的采样点,在相机c2相对于相机c1的非共视区域a2-a0内获取一定数量的采样点,从而保证各个相机的共视区域和非共视区域均有采样点。
步骤S120,利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型。
由于各个路侧相机视野内的采样点信息中包含了多个采样点在局部世界坐标系下的真值和图像坐标系下的真值,因此基于这些采样点的真值信息可以构建外参的非线性优化模型,该非线性优化模型既考虑了共视区域内的采样点的约束,同时也考虑了非共视区域内的采样点对标定结果的影响。
步骤S130,根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
上述外参的非线性优化模型是针对多个路侧相机构建的一个模型,利用一定的非线性优化模型的求解算法对非线性优化模型进行求解,可以直接得到多个相机的最终外参,实现了多路侧相机的联合标定。
本申请实施例的多路侧相机的外参标定方法可以适用于交通路口多路侧相机的外参标定场景,如图3所示,提供了本申请实施例中一种单杆场景下多路侧相机的拍摄视野示意图。从图3可以看出,对于交通路口不同位置安装的路侧相机,所有路侧相机的视野可以共同组成一个大范围拍摄视野的交通路口场景。针对共视区域和非共视区域都进行世界坐标系下的真值点的采样,将每个路侧相机的相机坐标系下的坐标点转换到世界坐标系的同时,路侧相机与路侧相机之间的共视区域也进行了对齐运算。
本申请实施例的多路侧相机的外参标定方法基于实际的路侧场景,同时考虑了多路侧相机之间的共视区域和非共视区域的采样点对路侧相机标定结果的影响,基于共视区域内同一采样点的约束,使得联合标定得到的多路侧相机标定结果在共视区域和非共视区域内均具有较高的标定精度,为后续自动驾驶车辆的融合定位提供了有力支撑。
在本申请的一个实施例中,所述获取多个路侧相机视野内的采样点信息包括:利用RTK实时差分测量设备采集各个采样点在全局世界坐标系下的坐标值;将各个采样点在全局世界坐标系下的坐标值分别转换到以各个路侧相机为原点的局部世界坐标系下,得到各个采样点在各个路侧相机对应的局部世界坐标系下的真值。
本申请实施例在获取多个路侧相机视野内的采样点信息时,可以先利用RTK实时差分测量设备在各个相机的拍摄视野内进行采点,此时RTK测量设备测得的是各个采样点在全局世界坐标系下的坐标值,这里的全局世界坐标系一般是指地心地固直角坐标系(ECEF),其原点为地球的质心,x轴延伸通过本初子午线(0度经度)和赤道的交点,z轴延伸通过北极(即与地球旋转轴重合),y轴完成右手坐标系,穿过赤道和90度经度。
由于上述全局世界坐标系以地球的质心为原点建立,范围较大,且坐标值一般表示为经纬度的形式,因此本申请实施例可以将RTK测量设备测得的各个采样点在全局世界坐标系下的坐标值转换到局部世界坐标系下,例如可以以各个相机为原点分别建立东北天(ENU)局部坐标系,然后再将各个相机对应的采样点在全局世界坐标系下的坐标值分别转换到各自的局部世界坐标系下,得到了各个采样点在局部世界坐标系下的真值,便于后续计算相机外参。
另外,需要说明的是,对于位于共视区域内的采样点,需要根据其对应的多个相机进行多次坐标转换,例如对于相机c1和相机c2,二者共视区域内的采样点既需要转换到以相机c1为原点的局部世界坐标系下,还需要转换到以相机c2为原点的局部世界坐标系下。
在本申请的一个实施例中,所述利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型包括:根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参;利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型,以利用所述外参的非线性优化模型得到各个路侧相机的最终外参;其中,所述第二采样点信息中的采样点不同于所述第一采样点信息中的采样点。
本申请实施例在构建外参的非线性优化模型时,可以先利用采样点信息中的一部分采样点信息即第一采样点信息来初步计算各个路侧相机的初始外参,然后再利用采样点信息中的另一部分采样点信息即第二采样点信息和各个路侧相机的初始外参构建外参的非线性优化模型,从而利用该外参的非线性优化模型对各个相机的初始外参进行优化,得到各个路侧相机的最终外参。
当然,为了提高外参的优化效果,上述第一采样点信息中的采样点应当与第二采样点信息中的采样点均不相同。例如,针对相机c1和相机c2的拍摄视野共采集10个采样点,利用其中4个采样点对应的采样点信息先初步计算相机c1和相机c2的初始外参,再利用剩余的6个采样点对应的采样点信息对相机c1和相机c2的初始外参进行优化。
在本申请的一个实施例中,所述第一采样点信息包括多个第一采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参包括:根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第一采样点,所述第一采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第一采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第一采样点在相机坐标系下的坐标值;根据各个路侧相机对应的第一采样点在相机坐标系下的坐标值以及各个路侧相机对应的第一采样点在局部世界坐标系下的真值,计算各个路侧相机的初始外参。
本申请实施例在确定各个路侧相机的初始外参时,可以先确定各个路侧相机分别对应有哪些第一采样点,即各个路侧相机的拍摄视野范围内存在哪些第一采样点,然后利用事先标定好的相机内参将各个路侧相机各自对应的第一采样点在图像坐标系下的真值转换到各个路侧相机对应的相机坐标系下。例如,相机c1的拍摄视野内对应有第一采样点01、02和03,相机c2的拍摄视野内对应有采样点02、03和04,即第一采样点02和03为共视区域内的采样点,那么基于相机c1的内参,可以将第一采样点01、02和03的图像坐标值转换到相机c1所在的相机坐标系下,将第一采样点02、03和04的图像坐标值转换到相机c2所在的相机坐标系下。
之后可以根据多个第一采样点在各自对应的相机坐标系下的坐标值以及多个第一采样点在局部世界坐标系下的真值分别计算各个路侧相机的相机坐标系到局部世界坐标系的变换矩阵,作为各个路侧相机的初始外参。
在本申请的一个实施例中,所述第二采样点信息包括多个第二采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型包括:根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第二采样点,所述第二采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第二采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第二采样点在相机坐标系下的坐标值;利用所述各个路侧相机的初始外参,将各个路侧相机对应的第二采样点在相机坐标系下的坐标值转换到局部世界坐标系下,得到各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值;根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型。
在构建外参的非线性优化模型时,同样可以先根据各个路侧相机的拍摄视野确定各个路侧相机拍摄视野内的第二采样点,再将各个路侧相机对应的第二采样点在图像坐标系下的坐标值转换到各个路侧相机对应的相机坐标系下,该流程和上述实施例中对第一采样点的处理流程相同。
举例说明,相机c1的拍摄视野内对应有第二采样点05、06、07和08,相机c2的拍摄视野内对应有采样点07、08、09和10,即第二采样点07和08为共视区域内的采样点,那么基于相机c1的内参,可以将第二采样点05、06、07和08的图像坐标值转换到相机c1所在的相机坐标系下,将第二采样点07、08、09和10的图像坐标值转换到相机c2所在的相机坐标系下。
由于前述实施例中已经计算得到各个路侧相机的初始外参,因此基于各个路侧相机的初始外参,可以进一步将各个路侧相机对应的第二采样点在相机坐标系下的坐标值转换到局部世界坐标系下,得到各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值,最后可以根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值和各个第二采样点在局部世界坐标系下的真值之间的误差来构建外参的非线性优化模型。
在本申请的一个实施例中,所述根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型包括:确定各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值;根据所述各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值,构建各个路侧相机的外参损失函数,所述外参损失函数包括3D均方根误差最小化函数;根据各个路侧相机的外参损失函数构建所述外参的非线性优化模型。
如果各个路侧相机的外参足够准确,那么基于该外参转换得到的采样点在局部世界坐标系下的坐标值与真值之间的误差值应当足够小,因此本申请实施例可以基于各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与真值之间的误差值来构建外参的非线性优化模型,通过不断缩小各个路侧相机的外参带来的误差值,可以提高各个路侧相机的外参标定效果,进而提高融合定位的准确性。
由于基于图像计算的2D重投影误差在远处会被放大,因此本申请实施例在具体构建外参的非线性优化模型时可以基于3D均方根误差最小化函数来实现,使用3D均方根误差最小化函数作为损失函数Loss在不同距离的度量误差是一致的,提升了远距离的多路侧相机的联合标定精度。
本申请实施例的3D均方根误差最小化函数具体可以采用如下形式:
Figure BDA0003690358470000121
其中,n代表各个路侧相机分别对应的第二采样点的数量,δx、δy、δz分别代表各个路侧相机对应的第二采样点在局部世界坐标系下的3D坐标值(x,y,z)与对应的真值(x’,y’,z’)之间的误差值。
需要说明的是,在利用3D均方根误差最小化函数计算损失时,各个路侧相机是分别计算的,即每一个路侧相机对应一个损失函数,基于各个路侧相机对应的第二采样点分别计算相应的损失值,最后再通过联立方程租的方式求解各个路侧相机的最优外参。这样在每一个路侧相机的维度,由于损失值的计算同时考虑了共视区域和非共视区域的采样点,因此能够保证最终优化后的外参在非共视区域也能够实现较好的定位精度,而在多路侧相机的维度,由于共视区域的采样点的相互约束,通过联合优化的过程能够提高多个路侧相机外参的联合标定效果。
在本申请的一个实施例中,所述根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参包括:利用预设求解算法对所述外参的非线性优化模型进行求解,得到各个路侧相机的外参。
基于前述实施例,本申请实施例的非线性优化模型包含各个路侧相机对应的损失函数,因此可以通过联立方程租的方式求解非线性优化模型的最小二乘解,从而得到各个路侧相机的最优外参。
综上所述,本申请的多路侧相机的外参标定方法对于多路侧相机场景,在路侧相机视野的共视区域和非共视区域均进行了世界坐标系下的多个真值点的采集,并通过创建非线性优化模型求最小二乘解,利用共视区域的采样点来约束多个路侧相机的外参的优化,提高了较小共视区域情况下的外参联合标定效果。
本申请实施例还提供了一种多路侧相机的外参标定装置400,如图4所示,提供了本申请实施例中一种多路侧相机的外参标定装置的结构示意图,所述装置400包括:获取单元410、构建单元420以及标定单元430,其中:
获取单元410,用于获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
构建单元420,用于利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
标定单元430,用于根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
在本申请的一个实施例中,所述获取单元410具体用于:利用RTK实时差分测量设备采集各个采样点在全局世界坐标系下的坐标值;将各个采样点在全局世界坐标系下的坐标值分别转换到以各个路侧相机为原点的局部世界坐标系下,得到各个采样点在各个路侧相机对应的局部世界坐标系下的真值。
在本申请的一个实施例中,所述构建单元420具体用于:根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参;利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型,以利用所述外参的非线性优化模型得到各个路侧相机的最终外参;其中,所述第二采样点信息中的采样点不同于所述第一采样点信息中的采样点。
在本申请的一个实施例中,所述第一采样点信息包括多个第一采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述构建单元420具体用于:根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第一采样点,所述第一采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第一采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第一采样点在相机坐标系下的坐标值;根据各个路侧相机对应的第一采样点在相机坐标系下的坐标值以及各个路侧相机对应的第一采样点在局部世界坐标系下的真值,计算各个路侧相机的初始外参。
在本申请的一个实施例中,所述第二采样点信息包括多个第二采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述构建单元420具体用于:根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第二采样点,所述第二采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第二采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第二采样点在相机坐标系下的坐标值;利用所述各个路侧相机的初始外参,将各个路侧相机对应的第二采样点在相机坐标系下的坐标值转换到局部世界坐标系下,得到各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值;根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型。
在本申请的一个实施例中,所述构建单元420具体用于:确定各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值;根据所述各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值,构建各个路侧相机的外参损失函数,所述外参损失函数包括3D均方根误差最小化函数;根据各个路侧相机的外参损失函数构建所述外参的非线性优化模型。
在本申请的一个实施例中,所述标定单元430具体用于:利用预设求解算法对所述外参的非线性优化模型进行求解,得到各个路侧相机的外参。
能够理解,上述多路侧相机的外参标定装置,能够实现前述实施例中提供的多路侧相机的外参标定方法的各个步骤,关于多路侧相机的外参标定方法的相关阐释均适用于多路侧相机的外参标定装置,此处不再赘述。
图5是本申请的一个实施例电子设备的结构示意图。请参考图5,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成多路侧相机的外参标定装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
上述如本申请图1所示实施例揭示的多路侧相机的外参标定装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中多路侧相机的外参标定装置执行的方法,并实现多路侧相机的外参标定装置在图1所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中多路侧相机的外参标定装置执行的方法,并具体用于执行:
获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种多路侧相机的外参标定方法,其中,所述方法包括:
获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
2.如权利要求1所述方法,其中,所述获取多个路侧相机视野内的采样点信息包括:
利用RTK实时差分测量设备采集各个采样点在全局世界坐标系下的坐标值;
将各个采样点在全局世界坐标系下的坐标值分别转换到以各个路侧相机为原点的局部世界坐标系下,得到各个采样点在各个路侧相机对应的局部世界坐标系下的真值。
3.如权利要求1所述方法,其中,所述利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型包括:
根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参;
利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型,以利用所述外参的非线性优化模型得到各个路侧相机的最终外参;
其中,所述第二采样点信息中的采样点不同于所述第一采样点信息中的采样点。
4.如权利要求3所述方法,其中,所述第一采样点信息包括多个第一采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述根据所述采样点信息中的第一采样点信息确定各个路侧相机的初始外参包括:
根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第一采样点,所述第一采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第一采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第一采样点在相机坐标系下的坐标值;
根据各个路侧相机对应的第一采样点在相机坐标系下的坐标值以及各个路侧相机对应的第一采样点在局部世界坐标系下的真值,计算各个路侧相机的初始外参。
5.如权利要求3所述方法,其中,所述第二采样点信息包括多个第二采样点在局部世界坐标系下的真值和图像坐标系下的真值,所述利用所述采样点信息中的第二采样点信息和所述各个路侧相机的初始外参构建所述外参的非线性优化模型包括:
根据各个路侧相机的路侧相机视野确定各个路侧相机对应的第二采样点,所述第二采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
获取各个路侧相机的内参,并利用各个路侧相机的内参将各个路侧相机对应的第二采样点在图像坐标系下的真值分别转换到各个路侧相机对应的相机坐标系下,得到各个路侧相机对应的第二采样点在相机坐标系下的坐标值;
利用所述各个路侧相机的初始外参,将各个路侧相机对应的第二采样点在相机坐标系下的坐标值转换到局部世界坐标系下,得到各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值;
根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型。
6.如权利要求5所述方法,其中,所述根据各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值以及各个路侧相机对应的第二采样点在局部世界坐标系下的真值,构建所述外参的非线性优化模型包括:
确定各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值;
根据所述各个路侧相机对应的第二采样点在局部世界坐标系下的坐标值与各个路侧相机对应的第二采样点在局部世界坐标系下的真值之间的误差值,构建各个路侧相机的外参损失函数,所述外参损失函数包括3D均方根误差最小化函数;
根据各个路侧相机的外参损失函数构建所述外参的非线性优化模型。
7.如权利要求1所述方法,其中,所述根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参包括:
利用预设求解算法对所述外参的非线性优化模型进行求解,得到各个路侧相机的外参。
8.一种多路侧相机的外参标定装置,其中,所述装置包括:
获取单元,用于获取多个路侧相机视野内的采样点信息,所述采样点信息包括多个采样点在世界坐标系下的真值和图像坐标系下的真值,所述多个采样点包括各个路侧相机之间的共视区域的采样点以及非共视区域的采样点;
构建单元,用于利用所述多个路侧相机视野内的采样点信息,构建外参的非线性优化模型;
标定单元,用于根据所述外参的非线性优化模型对多个路侧相机的外参进行联合标定,得到各个路侧相机的外参。
9.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行所述权利要求1~7之任一所述方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行所述权利要求1~7之任一所述方法。
CN202210660699.9A 2022-06-13 2022-06-13 多路侧相机的外参标定方法、装置及电子设备、存储介质 Pending CN115018931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210660699.9A CN115018931A (zh) 2022-06-13 2022-06-13 多路侧相机的外参标定方法、装置及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210660699.9A CN115018931A (zh) 2022-06-13 2022-06-13 多路侧相机的外参标定方法、装置及电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN115018931A true CN115018931A (zh) 2022-09-06

Family

ID=83074096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210660699.9A Pending CN115018931A (zh) 2022-06-13 2022-06-13 多路侧相机的外参标定方法、装置及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN115018931A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245956A (zh) * 2022-12-07 2023-06-09 天津天地伟业信息系统集成有限公司 一种智能定位方法及电子设备
CN117808894A (zh) * 2023-12-28 2024-04-02 大陆软件系统开发中心(重庆)有限公司 图像采集装置的外参标定方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308926A (zh) * 2020-10-16 2021-02-02 易思维(杭州)科技有限公司 一种无公共视场的相机外参标定方法
WO2021249187A1 (zh) * 2020-06-09 2021-12-16 京东方科技集团股份有限公司 视线追踪方法、视线追踪装置、计算设备和介质
CN114581532A (zh) * 2019-10-09 2022-06-03 阿波罗智能技术(北京)有限公司 多相机外参的联合标定方法、装置、设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581532A (zh) * 2019-10-09 2022-06-03 阿波罗智能技术(北京)有限公司 多相机外参的联合标定方法、装置、设备和介质
WO2021249187A1 (zh) * 2020-06-09 2021-12-16 京东方科技集团股份有限公司 视线追踪方法、视线追踪装置、计算设备和介质
CN112308926A (zh) * 2020-10-16 2021-02-02 易思维(杭州)科技有限公司 一种无公共视场的相机外参标定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245956A (zh) * 2022-12-07 2023-06-09 天津天地伟业信息系统集成有限公司 一种智能定位方法及电子设备
CN117808894A (zh) * 2023-12-28 2024-04-02 大陆软件系统开发中心(重庆)有限公司 图像采集装置的外参标定方法、装置及系统

Similar Documents

Publication Publication Date Title
CN111127563A (zh) 联合标定方法、装置、电子设备及存储介质
CN115077541A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115018931A (zh) 多路侧相机的外参标定方法、装置及电子设备、存储介质
CN114279453B (zh) 基于车路协同的自动驾驶车辆定位方法、装置及电子设备
CN111080682A (zh) 点云数据的配准方法及装置
CN112652062A (zh) 一种点云地图构建方法、装置、设备和存储介质
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN114677663A (zh) 车辆定位方法、装置及电子设备、计算机可读存储介质
CN115143952A (zh) 基于视觉辅助的自动驾驶车辆定位方法、装置
CN115060289A (zh) 定位轨迹精度评估方法、装置及电子设备、存储介质
CN114777814A (zh) 基于车路云的融合定位精度评估方法、装置及系统
CN112150562A (zh) 相机标定方法、装置、设备及计算机可读存储介质
CN114723819B (zh) 用于自动驾驶车辆的标定方法、装置及电子设备、存储介质
CN114677448A (zh) 车载相机的外参校正方法、装置及电子设备、存储介质
CN114754761A (zh) 高精地图车道线的优化方法、装置及电子设备、存储介质
WO2022089173A1 (zh) 一种地图更新方法、相关装置、可读存储介质和系统
CN114814911B (zh) 用于自动驾驶车辆的标定方法、装置及电子设备、存储介质
CN117928650A (zh) 一种应用于大件货物运输的路勘方法、系统及终端设备
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN115164885A (zh) 图像的逆透视变换方法、装置及电子设备、存储介质
CN116152355A (zh) 一种路侧相机标定方法与装置、目标检测方法与装置
CN117152265A (zh) 一种基于区域提取的交通图像标定方法及装置
CN114693806A (zh) 相机标定方法、装置及电子设备、存储介质
CN115908551A (zh) 车辆测距方法、装置、电子设备及存储介质
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination